苹果AR领域布局分析报告

来源:互联网

点击:2078

A+ A-

所属频道:新闻中心

关键词:AR 智能化

    从近年来科技圈的表现来看,几乎绝大部分的世界级科技产业巨头都开始了对AR领域的布局。三星在CES 2020上展示了消费级AR概念眼镜,联想、佳能价值数万元的企业级AR眼镜已用于商用。2019年,Vivo、OPPO接连发布AR眼镜,谷歌推出第二代AR眼镜产品,微软的Hololens 2也已经开始发售。在科技行业风云变幻而又烟波诡谲的形势之下,苹果迄今为止似乎从未真正发布出一款AR光学硬件产品。

    苹果到底是不重视AR这一战略方向,还是另有隐情呢?不妨,让我们一探究竟。

    一、产品未动、专利先行

    古人云:“兵马未动,粮草先行。”这句话放在今天的商业中依然不算过时,只是将冷兵器时代的“粮草”的概念换为了21世纪互联网时代的“技术专利”。

    作为全球领先的科技企业,苹果深知技术专利的重要性。在产品进入市场之前,已经默默申请了无数AR相关专利。

    2020年2月美国专利商标局公布一项苹果的虚拟会议方案相关专利,而专利中指出一种通过网络远程连接,让两个或两个以上的用户可在计算机、AR眼镜(专利图为一款配备双摄透视功能的MR头显)、平板电脑、智能手机多种平台上参与的线上虚拟会议方案。该方案适用于商务会议、远程办公、社交平台等。

    同月,美国专利商标局公开苹果一项与MR头显光学相关专利,据了解,这专利指出一种透镜可调节的光波导光学系统,,可以让头显体积更小。而这MR头显采用分体式设计,可与iPhone、iPad或mac相连,并可采用叠加多层高透明度材料(玻璃或塑料)平面光波导,并且支持普通AR模式和摄像头透视模式。而MR头显的输入和输出耦合器或采用布拉格光栅、棱镜、有角度的透明结构或透镜结构,可采用全息耦合元件衍射耦合结构。

    同年3月, USPTO公布了苹果公司最新的MR头戴式设备专利,其主要围绕前方盖板展开。具体来看,前侧盖板支持透明度调节,可在AR或VR模式下进行按需切换。如果你需要体验沉浸式VR内容,那么可以让前侧盖板变暗,把透光度变低;如果你需要体验AR内容,可以把透光度调高,画面也会变通透。

    随即,苹果公司发布了第二项HMD发明专利,该专利指出:该设备可根据不同人的瞳距,面部轮廓等对透镜模组进行自适应调整,从而达到最佳的显示效果。可以满足家庭中爸爸、妈妈成年人,以及10岁以上的儿童,在不同人群之间进行自适应调整。而在专利描述中,描绘了一家人使用的场景。

    诸如此类的专利还有很多,从美国专利商标总局官网以“苹果”、“Augmented Reality”(AR全称)为关键词进行搜索,可以找到多达2335项相关专利。

    苹果AR相关专利布局分析图(仅部分)

    苹果AR技术专利布局分析图

    从专利布局上来看,苹果公司申请的AR相关专利涵盖了硬件、软件、系统、交互等诸多方面。仅在2020年1月,苹果公司就获得了增强现实与3D重建技术方面的59项专利,而这一数字随着时间发展,还在不断增多。由此看来,苹果已经建立了一条由核心技术专利的护城河,无论何时入局AR行业,专利都是苹果的重要保障,这些技术是很多AR领域的初创公司绕不开的壁垒。随着科技发展,21世纪的商业竞争逐渐演化为知识产权的竞争,这条规则在AR领域也同样适用。我们所有从事这一领域的科技公司,都应当要及时通过相应途径保护自己的产品及技术专利。

    二、常开大会,技术布局

    苹果在2017年WWDC推出的ARKit开发平台。开发人员可以使用这套工具为iPhone和iPad等iOS设备创建增强现实应用程序。开发者可以在苹果设备上开发出高质量的增强现实应用,此举极大的刺激了谷歌公司,随后重拾曾经放弃的Tango并推出ARCore平台与之抗衡。

    苹果每年都会召开 WWDC 全球开发者大会,WWDC是苹果公司每年定期在美国加州举办的会议活动,向全球的软件的设计师展示苹果公司最新的软件和技术。从2017起,AR技术也成为了WWDC大会夺目的亮点之一,每年都有极为重要且强大的功能更新。

    2017年 WWDC ARKit 1 功能

    在2017年的WWDC上,苹果首次推出ARKit技术,并推出了平面检测、SLAM、环境理解、光照估计等功能。

    2018年 WWDC ARKit 2 功能特性

    2018年WWDC,ARKit2.0版本正式推出,提供了图片识别、环境贴图、物体检测、多人AR等重要功能。

    2019年WWDC  ARKit 3 功能特性

    2019年WWDC,ARKit3.0版本推出,提供了动作捕捉、协同会话、人体遮挡等功能。并在更大程度上推广 AR Quick Look 基于浏览器的AR功能,以及AR开发工具 Reality Composer等。

    从技术角度来看,苹果对AR技术的投入非常巨大,发展日新月异,以至于不考虑自身设备的兼容性。每年推出的最新技术,几乎只有同一时期的最新设备才能支持。不仅刺激了大众用户花钱购买最新产品,也让很多追求新技术的开发者流出了感激的泪水。

    以2017年推出的人脸表情追踪为例,需要A11以上处理器,也就是要求带有前置TrueDepth摄像头的iOS设备:iPhone X,iPhone XS,iPhone XS Max或iPhone XR,iPad Pro(11英寸)或iPad Pro(12.9英寸,第三代),iOS 11.0或更高版本,而完全不考虑在此之前的iOS设备是否兼容。

    再以2019年推出的动作捕捉、人物遮挡这类功能为例,需要A12以上处理器,也就是iPhone XS、iPhone XR、iPhone 11等以上版本才可以支持。可以看出,苹果对AR技术的发展十分焦虑,几乎是在自我迭代,每年都在拼命更新更为强大的AR功能,放眼未来,不看过去。

    这样做的后果是,最新的技术功能推出以来,由于支持的设备较少,无法满足所有用户,短时间内一直无法应用普及。但不难想象,凭借苹果iPhone XR、iPhone 11系列产品2019年全球第一、第二的销量,在未来几年,这些新技术又将会慢慢逐渐成为主流。

    在很多报告中都可以得到iOS 最新系统中包含了XR眼镜相关功能的信息,所以把苹果的AR技术仅视为手机端AR技术来看,显然是不够长远的。

    在苹果开发者平台,AR技术被放置在中心模块的第一位,甚至在Siri之上,这点看来有些耐人寻味。苹果可以说是世界上最重视开发者生态的科技公司之一,正是因为其深刻知道今天iOS AppStore的辉煌源于无数开发者一直以来的探索和创新,所以它对AR领域的布局,也一定会先从开发者群体出发。

    苹果通过WWDC与开发者建立了长期且友好的互动关系,为其AR应用生态的建立提供了基础。

    三、百花齐放,应用生态

    苹果从iphone 6s/se以上版本的手机型号支持ARKit,可以运行高质量的AR应用。iPad同理,A9处理器以上全面支持ARKit技术。

    据统计,仅2019年,苹果商店上线AR应用就超过4000款,包括游戏、工具、旅游、商务等多个类型。苹果为此特地在AppStore中设置了AR游戏和AR应用的专栏,并为用户推荐优质iOS 平台AR应用。

    相对安卓平台碎片化、缺乏标准的AR系统生态,苹果在iOS平台AR方面的表现可谓是业内良心。

    四、三军夺帅,高管观点

    据国外媒体报道,苹果高管2019年10月于加州总部召开了一场内部会议,由副总裁迈克 · 罗克韦尔(Mike Rockwell)主持,有超过1000名员工参与。明确提出,苹果计划于2022年推出AR头显,2023年发布轻量级AR眼镜。

    根据外媒报道,在爱尔兰IDA活动上,苹果公司CEO蒂姆·库克被问及未来5-10年技术最大的技术变革有哪些时?库克再次发表 “AR将是下一个重要的技术”观点。蒂姆·库克表示:“我对AR技术感到兴奋,并认为这是下一个重要的技术,AR技术将影响我们未来的一生的生活。”

    五、从软到硬,贯通全局

    苹果作为移动互联网时代的科技霸主,无论在硬件和软件领域都有着近乎绝对的资源优势。我们不妨看看苹果与AR有关的硬件产品和软件技术,提前瞻望一下苹果在AR领域暗中建造的通天塔。

    从PC时代的电脑,到移动互联网时代的智能手机,再到AR时代的眼镜头显,苹果具有强大的硬件生态体系。不论iPhone还是iPad,从近几年的发展来看,这些产品对AR技术的支持都越来越好。

    虽然AR眼镜还没有正式发布,但从苹果申请的大量AR眼镜专利来看,其想法已是路人皆知。Home Pod 智能音箱属于物联网智能家居类产品。而在一项专利中显示,Home Pod在设计的过程中为苹果的AR头显设计了隐藏接口,未来或许可以通过眼镜设备操控。

    Apple Watch手表作为智能穿戴设备,已经用于和手机搭配使用,可以实现接听电话一类的功能,但其作用并没有被完全激发出来,如果在苹果推出AR眼镜以后,通过Apple Watch搭配眼镜使用,会发挥出更好的交互效果。

    在前文中所提到的苹果专利中,其中包含了数项车载AR显示专利,加上苹果本身有智能汽车的战略规划。在未来与谷歌在自动驾驶时代的竞争中,苹果一旦发布汽车产品,必定会搭载AR显示功能。

    3D内容是一切AR应用的基础,苹果作为极端的科技统治者,深谙闭环生态的玩法。在发展AR技术的过程中,苹果做了一套可以称得上是“釜底抽薪”的操作。

    苹果推出了一种叫USDZ 的模型格式,主要用于ARKit增强现实内容的展示。USDZ是苹果公司和皮克斯公司基于皮克斯公司的Universal Scene Description技术共同开发的一种新型文件格式。

    这个模型的特点是,USDZ可以通过 fbx、obj 等诸多格式的3D模型转换而来,但并不提供USDZ转换为其他格式的方式。这意味着不支持逆向转换,也就是说只进不出。举个简单的例子,如果有一天,一个开发人员发现一款模型的其他格式的模型文件找不到了,只有USDZ,那就只能用USDZ格式的模型,而USDZ只能用于ARKit及其相关技术开发,进而就只能选择ARKit。

    那么问题来了,为什么开发者和设计人员一定要用USDZ呢,用别的格式不好吗?苹果早就考虑到了这点。苹果通过 ARKit Quick Look为用户提供了小白式的AR开发流程,在AR QuickLook 的WebAR生态下,USDZ格式模型拖进去就能用,可以在苹果手机上直接实现AR效果,无需复杂的编程。

    举个比较有代表性的,如苹果官网的Mac Pro AR展示就是通过 USDZ+AR QuickLook模型实现的。

    除了ARQuick Look,苹果还为不会编程的美术、设计类开发人员提供了Reality Composer,通过Reality Composer这款软件,通过简单的拖、拉、拽,无需编程就可以实现AR开发。而Reality Composer 强制使用的模型格式就是——USDZ。

    在早些时候,USDZ的转换过程有些繁琐,需要用到XCode进行复杂的编译和命令调整。苹果又很快推出了Reality Converter,进一步简化了 USDZ 的转换方式,小伙伴们终于可以快速转换USDZ格式模型的文件了。但别忘了,USDZ依然是只进不出。

    面对Reality Composer和AR Quick Look的诱惑,如此便宜、简单又大碗的开发方式,谁不爱呢?

    很快,就有电商公司、AR营销公司纷纷采用了USDZ 模型文件的技术方案。如AR广告营销解决方案公司NexTech宣布,将支持苹果的3D文件格式USDZ,进一步优化iPhone端用户体验,用户通过手机内置的Quick Look功能就可以开启应用和浏览器中的AR内容。

    加拿大跨境电商公司Shopify宣布拥抱Apple AR Quick技术,采用USDZ格式模型文件,为商家带来增强现实展示功能,并为消费者提供AR预览体验。

    老大哥一看,都想做电商是吧?苹果顺水推舟,把 Apple Pay (苹果支付)也加进来了,顺带着对AR QuickLook 做了一波优化。

    2020年2月,基于Safari 浏览器和Quick Look技术实现的网页端WebAR加入了大量优化并加入部分新功能,其中在Quick Look(AR快速预览功能)加入了Apple Pay支付按钮,并且可跳转到购买页,通过Apple Pay打通电商购物从体验到购买的闭环。并且ARKit还新增空间音频效果,客户在与3D控件交互时可触发逼真的提示音、音乐等。移动虚拟物品时声音也会改变。

    说到这,我们不难看出硬件、软件、技术、开发工具,苹果几乎已经把AR领域中能做的几乎都做了一遍了,甚至连模型格式都不放过。只有你想不到,没有它做不到。

    苹果为AR开发者提供了开发工具、流程、文件格式全家桶套餐,覆盖了iOS开发者、Web前端人员以及零编程基础的小白创作用户,通过上图可以看出苹果已经形成了完整的AR开发流程体系。

    六、苹果的AR上半场对决

    由于苹果涉足了AR行业几乎所有方面,因此苹果的对手也极多,无论是从操作系统、硬件设备、开发工具、应用生态等诸多方面。

    首当其冲的必定是操作系统,目前在AR领域可见的对手有谷歌旗下的安卓,微软的Windows Core、华为应用于IOT时代的鸿蒙OS、以及Linux等。很多AR硬件创业公司认为在AR时代操作系统市场会重新洗牌,便选择了自研操作系统,用来争那一角未来。所以在新的时代背景下,操作系统市场必定会乱战一团。如Linux这类较为原始的系统,凭借庞大的市场体量与永恒的开源精神在服务器端依旧稳如泰山,但在AR时代的客户端可能会被甩出边缘。

    其次是开发工具,苹果先后推出了Reality Kit、RealityComposer。并且有着成熟的开发工具XCode和Swift编程语言。苹果希望通过 RealityKit ,iOS开发人员无需再学习Unity或虚幻引擎等游戏引擎工具,Reality Kit将是iOS开发人员更熟悉和更简单的选择。

    苹果这些开发工具虽好,却只能用于开发iOS平台应用,而用户显然不可能只使用苹果的设备,当今AR市场风云变幻,除了安卓平台的ARCore还有Vuforia、SenseAR、HuaweiAR、EasyAR、VoidAR等群雄逐鹿。在MR眼镜平台,有微软的Hololens MRTK、创业公司Magic Leap,以及国内众多MR眼镜厂商自己的开发平台。但开发工具往往依赖编程语言,所以大部分AR技术公司不会选择自研开发工具。苹果在开发工具方面的对手并不是创业公司,所以可能更接近上图情况。

    总之,苹果面临的挑战还是很多的,面对广泛的技术开发需求,开发者不可能完全摆脱Unity、Unreal这类开发工具。大部分开发者可能只是同时使用,或者极少部分开发者会选择只开发iOS平台AR应用。

    苹果在智能手机、AR眼镜以及AR技术方面的对手会有很多,在未来会更多,可能有些主角正在成长中甚至目前还没有诞生,所以就不一一赘述了。

    七、钞能力与时间线

    2010年9月20日      苹果收购面部识别技术公司Polar Rose。

    2015年5月 苹果收购了增强现实创业公司Metaio,随即于2017年推出了ARKit。

    2015年11月       苹果收购瑞士实时运动捕捉技术公司Faceshift。

    2016年1月7日 苹果收购情绪识别技术公司 Emotient。

    2016年1月29日 苹果收购增强现实技术公司Flyby Media。

    2016年12月1日      苹果收购室内地图导航技术公司 indoor.io。

    2017年6月16日 苹果收购德国眼动追踪硬件和软件技术公司SensoMotoric Instruments。

    2017年9月22日      苹果收购加拿大AR头戴显示硬件公司Vrvana。

    2017年9月29日      苹果收购法国公司Regaind,这是一家计算机视觉技术公司。

    2017年12月       苹果收购丹麦专注机器学习绿幕抠像技术的AR初创公司Spektral。

    2018年 苹果收购机器学习技术公司Laserlike。

    2018年9月24日      苹果收购英国图像及音频识别技术公司Shazam。

    2018年8月29    苹果收购AR眼镜初创公司Akonia Holographics。

    2019年6月25日 苹果收购自动驾驶汽车公司Drive.ai。

    2019年10月3日      苹果收购英国动作捕捉技术公司IKinema,完善ARKit人体姿态识别追踪技术功能。

    2019年12月收购了英国AI初创公司Spectral Edge; 该初创公司使用机器学习来增强照片,从而可以改善iPhone图片。

    2020年1月15日,苹果据收购AI公司Xnor.ai,传闻斥资2亿美元获得的低功率AI技术和相关专业技术可用于其AR头显。

    自2015年开始,苹果收购了大量AR与AI技术的软件、硬件公司,市值超过万亿美元的苹果公司堪称一台没有感情的收割机。上面所述的苹果在AR领域周密的技术布局,很大程度依赖于对这些技术的投资和收购。

    以上也只是仅仅一部分,苹果据传闻和国际光学巨头合作开发AR眼镜,随后又传闻取消AR眼镜研发,不久之后iOS 13内部版本又透露出AR头显相关功能。苹果的AR眼镜就像是一只薛定谔的猫,一会儿出现一会儿又消失,大家都在猜到底有没有,搞得跟量子纠缠一样。唯一不同的是,AR行业的从业者们心里很清楚,虽然不确定时间,但它一定会到来。

    总结

    苹果的优势在于其封闭的生态体系,一环扣一环,在这个平台上从硬件到软件,将开发者与用户牢牢锁住。在AR时代苹果宛如一座通天塔,封闭而独裁,绝立而高耸,它既是孤独的强者,同时也与世皆敌。

    苹果迟迟未发布AR光学硬件产品,不意味着苹果不重视AR领域。相反,苹果非常重视AR,多年以来,都在这一领域默默耕耘。用一句古话来形容也不为过:“此鸟不飞则已,一飞冲天;不鸣则已,一鸣惊人”。

    不论如何,苹果在AR领域的布局,已经慢慢的浮现出来。作为移动互联网时代抓住那一次科技范式变化的主角,凭借它在科技领域的影响力,以及与对下一代计算平台的执着,苹果的入场注定会为AR行业带来翻天覆地的变化。

    (审核编辑: 智汇张瑜)