关于苹果VR/AR眼镜的传言一直没有平息过。每当苹果收购一家VR/AR领域的技术公司,人们总会谈论苹果将会在未来的3-5年内推出新的VR/AR硬件设备。然而从2013年苹果收购了PrimeSense这家专注于三维重建的技术公司开始到现在已经过去了5年,苹果VR/AR眼镜似乎依然遥遥无期。
苹果一直以来都有收购小型技术公司并将其融入苹果公司的研发体系的传统,苹果收购这些技术公司以后也从不公布会将这些技术用于什么样的目的。不过从苹果公司对外收购的技术公司体系中我们依然可以大致了解到新设备的研发进度,苹果公司的VR/AR设备到底何时才会对外发布?了解完苹果在VR/AR领域的收购历史你就会明白。
疯狂收购积累基础技术
2013年11月24日,苹果宣布以高达3.45亿美元的价格收购了PrimeSense这家利用结构光技术做三维扫描的以色列公司。PrimeSense曾参与了微软Kinect设备的早期工作,在传感器技术领域广为人知。苹果的iPhone X、iPhone Xs手机的面容ID功能就是基于这项技术实现的。三维扫描技术与SLAM技术的结合可以精准的对周围的环境进行三维重建,给与AR设备准确感知周围环境的能力,可谓是AR设备的“眼睛”。
2015年5月,在AR领域已有12年历史的德国公司Metaio宣布将被苹果整体收购,总价值3200万美元。Metaio创建于2003年,曾是大众汽车项目的一个分支,是一家AR软件开发商与AR解决方案供应商。Metaio在2006年就已经为基于Web的AR应用发布了一款浏览器插件,随后发布了自己研发的AR浏览器Junaio。2010年Metaio推出了自家的2D无标识特征追踪应用,并于2011年赢得了ISMAR追踪大赛的冠军。Metaio的技术用于通过摄像头追踪特定物体,是AR技术最常见的应用场景。
2015年11月,苹果收购了Faceshift这家做实时动作捕捉的瑞士公司。这是我们在iPhone X以及Xs上看到的Animoji技术的由来。这家公司的动作捕捉技术无需像传统电影行业的面部捕捉那样在面部打上无数的Mark点即可进行精准的捕捉,是一种高效低成本的面部动作捕捉解决方案。
2016年1月7日,苹果收购了面部表情识别公司Emotient,这家公司可以通过人工智能算法来识别你面部即使是最微小的表情,从而了解你当前的情绪,准确率高达95%。
2016年1月29日,苹果收购了Flyby Media。Flyby Media曾与谷歌合作开展Project Tango项目,该项目的主要目标就是给予手机能够通过摄像头的图像与传感器确定自身方位的能力,也就是我们常说的SLAM技术。事实上在被收购之前,Flyby Media已经与苹果在某些项目上展开了合作。
2017年6月16日,苹果秘密收购了专注于眼球追踪软硬件研发的德国公司SensoMotoric Instruments,这是一家很老牌的公司,成立于1991年,曾为包括VR/AR在内的多个领域开发眼动追踪软硬件,它的设备可以以120Hz的采样率高速追踪人眼的注视方向。眼动追踪技术是VR/AR领域中一项非常重要的技术,通过眼动追踪技术可以实现如注视点渲染这种减小性能开销提高画面质量的功能,也可以实现注视瞄准这种更加轻松的交互方式。
2017年9月22日,苹果以3000万美元收购了加拿大蒙特利尔的AR头显制造商Vrvana,这家公司成立于2005年,与Valve、Tesla以及奥迪等公司存在合作关系,目前唯一对外公布过的设备是一款名为Totem的基于相机的AR头显。如果说之前的所有收购的技术都可以用于iPhone手机,这是我们首次可以确信苹果将推出自己的VR/AR头显。
2018年8月29日,苹果收购了Aknoia Holographics这家为AR眼镜提供镜片技术的公司。Akonia拥有200多项与全息技术相关的专利,前身是InPhase,该公司团队来自于贝尔实验室,以全息储存技术(Holographic Data Storage)为主。Akonia在吸收InPhase后于2012年成立,起初目标也就是全息储存技术,但大约在2016年初,Akonia开始调整策略,将目标放在AR的投影技术,从原本的技术基础发展出HoloMirror,作为该公司的AR视觉解决方案。该公司提供的全息方案基于自身的全息储存技术研发,目标是生产出全彩色(RGB)、光学效率高、透光性高、视场角大、生产成本低的全息镜片,弥补目前市面上光波导显示技术的缺陷(HoloLens与Magic Leap One均使用的是光波导显示技术)。
2018年10月11日,苹果以3000万美元的价格收购了Spektral。Spektral专注于通过机器学习以及计算机视觉技术实现手机端的实时视频人物背景分离(俗称的抠图),并将其无缝叠加到其他的背景中。这一技术可能将被用于拍摄一些趣味视频。
至此,苹果公司在AR领域的收购花费了超过4.5亿美元,这只计算了已经公布的交易金额,如果算上还未被公布的数据,苹果公司在AR领域的投资很可能远超5亿美元。
自身特长补齐AR版图
研发一款AR眼镜,仅仅依靠这些收购来的技术还不够。苹果自身也有很深厚的技术积累可以用于AR眼镜的研发。其中之一就是苹果一直保持领先的芯片技术了。今年iPhone Xs搭载的A12芯片在移动平台可谓是独领风骚,单核性能Geekbench评分高达4822,超过高通骁龙855与麒麟980性能40%以上,此外苹果一直以来追求极高的能耗比,以这样的理念为AR眼镜专门设计一款芯片应该可以给予AR眼镜更强悍的性能与更持久的续航,给用户带来更好的体验。
值得一提的是A12中包含的Neural Engine,拥有每秒5TFLOPS的运算能力,是目前为止移动设备搭载的性能最强大的人工智能芯片。优秀的AR眼镜离不开人工智能技术的加持,无论是人脸识别、物体识别甚至是如MICA那样的人工智能助手,都需要强大的运算能力作为支撑,苹果在这方面目前也是独占鳌头。
除此之外,苹果最近宣布将花费6亿美元收购Diaglog Semiconductor。这是一家主要为苹果提供电源管理芯片的公司。苹果将通过这次的收购行为来完成电源管理芯片自主研发,延长电池的寿命。这一芯片同样可以用于AR眼镜,以达到更好的电源管理,还能够提升设备整体的续航时间。
在软件方面,自不必多说。iOS系统一直以来以其稳定与流畅的体验赢得了大量消费者的青睐。传言苹果为AR眼镜所研发的操作系统代号为rOS(reality operating system),以苹果的设计功力以及watchOS以及TVOS的先例来看,肯定会拥有非常不错的体验。
ARKit自从随iPhone X发布以来已经日渐成熟,ARKit 2.0则是在原来的基础上增加了保存与加载地图(Saving and Loading Maps,用于支持持久化与多用户体验的强大新特性)、环境纹理(Environment Texturing,用于更逼真地渲染你的增强现实场景)、图像跟踪(Image Tracking,对真实场景中的2D图像进行跟踪)、物体检测(Object Detection,对真实场景中的3D物体进行跟踪)以及人脸跟踪的提升(Face Tracking Enhancements)。这些新特性的加入已经可以用来搭建一款强大的增强现实应用了。
如此一来,苹果就拥有了研发一款AR眼镜所需的完整技术栈——自家的芯片组提供了强有力的性能支撑与良好的电源管理,PrimeSense与Flyby Media的技术完成三维空间建模与追踪,加入SensoMotoric的眼球追踪功能,源于Vrvana的头显设计,来自Akonia的镜片,最后再搭配上自家的rOS操作系统、ARKit增强现实工具以及Siri语音助手。
所有迹象都指向了2020
我们列出了一张苹果收购时间图表,从图表中我们可以看出苹果大致的研发周期。
苹果对PrimeSense的收购在2013年11月完成,其结构光三维建模技术真正应用于苹果的产品则是在2017年9月,iPhone X通过这一技术做出了面容ID,研发周期接近4年。苹果公司从2016年1月对Flyby Media的收购开始开启了连续的买买买模式,对镜片技术公司Akonia的收购则成为苹果公司AR眼镜版图的最后一片拼图,近日苹果又将注意力收回到了AR的软件技术上。这意味着苹果公司在AR眼镜硬件方面的技术积累已经完成,按照研发周期来看,2020年是苹果AR眼镜最有可能的上市时间。
此前曾有报道称苹果正研发8K显示屏与5nm定制处理器,就目前的研发进展来看,至少8K显示屏不会应用于初代苹果AR眼镜中。对Akonia的收购明显意味着苹果将会使用光波导技术来现实全息画面,目前无论Magic Leap One或者是HoloLens,其光波导显示屏的分辨率均在1080P以下,短期内应该无法实现分辨率的飞跃。分辨率的提升对于芯片性能的需求也会大大提升,目前PCVR依然无法在4K分辨率下保证用户的体验,移动设备上8K几乎属于天方夜谭,同时过高的分辨率也会大大缩短设备的续航时间。至于5nm制程的芯片,有消息称台积电将于明年9月试产5nm制程的芯片,2020年投入量产,5nm制程的芯片对比7nm制程的芯片,功耗将降低20%,性能提升约15%。
无论是苹果自身的研发周期还是台积电芯片制程工艺的提升,都指向了这个重要的时间点——2020年, 介时苹果AR眼镜的面世几乎板上钉钉。
至于苹果能否像重新定义智能手机那样再次给我们一个惊喜?我们拭目以待。