近日苹果分析师郭明錤对于苹果AR眼镜上市日期的推测又一次将有关苹果的话题推上了风口浪尖。
根据先前披露的专利文件来看,苹果公司探索VR与AR技术已经超过了10年。而随着VR和AR的普及,苹果在自家的产品中也包含了越来越多的VR/AR技术。
2017年,苹果在AR和VR上进行了大量的投入。MacOS High Sierra的Metal 2图形接口让Mac能够支持VR设备的运行,而在iOS 11中,苹果推出了ARKit API,可让开发人员创建基于AR的应用和游戏。随着苹果越来越深的涉足VR/AR领域,距离其推出自家的VR/AR硬件产品也已经指日可待了。
据传,苹果公司拥有一个秘密研究部门,其中包括数百名从事AR和VR工作的员工,探索新兴技术在未来Apple产品中的应用方式。苹果公司VR/AR岗位招聘人数也在增加,再加上苹果已经收购了多家AR/VR公司,这一切表明:苹果公司内部正在孕育着某种事物。据称,苹果正在研究多种VR和AR头显原型,公司内部的工程师也正在寻找这种设备“最引人注目的应用”。
高性能AR/VR头显的传言
根据最新的传言,苹果也在开发一款拥有不可思议的性能的AR/VR头显,与目前市场上的任何产品大有不同。传言说这款设备将拥有每只眼8K分辨率的屏幕,与PC或者手机通过无线的方式连接,并且能够同时支持VR和AR应用。
相比依赖于手机或者PC的连接方式,这款头显将会通过被成为60GHz WiGig的高速低覆盖范围的无线技术连接到一个“独立的盒子”上。这个小盒子将由苹果定制的5nm处理器驱动,性能“超过目前市面上的所有同类型处理器“。
在使用这款头显时,用户无需在房间内设置额外的追踪用摄像头。所有相关技术都将集成在头显以及小盒子中,提供Inside-Out的追踪方式。
据传言苹果将在2020年发布这款AR/VR头显,但这一计划可能会延期甚至废弃。
新的AR智能眼镜传言
除了有关AR/VR头显的传言,也有传言称苹果内部正在进行有关AR智能眼镜的工作。目前尚不完全清楚AR智能眼镜和AR/VR头显是同一个项目还是两个不同的项目。
有传闻称苹果的增强现实项目是“智能眼镜”或“增强现实头显”,与上述完整的AR/VR头显有所不同,需要搭配iPhone使用。但这种变化可能是由苹果AR项目的推进或者抛弃了最初的一些元素造成的。这两个项目都使用T288的代号,但这一代号似乎是涉及数种AR/VR原型的一揽子代号。
苹果分析师郭明錤认为,苹果的AR智能眼镜将在2019年末至2020年第二季度之间推出,并将作为iPhone配件使用。这款眼镜将主要展示基于iPhone的无线分离式运算、网络和定位能力。
苹果将眼镜设计为iPhone配套设备可以让其保持纤薄轻巧,因为不需要在眼镜内内置处理器。
彭博社曾经报道过苹果正在开发一款专注于AR的产品,该产品具有专用显示器,内置处理器和新的“rOS”或现实操作系统(reality operating system)。据说rOS基于iOS系统,即在iPhone上运行的操作系统。对于这款AR头显,苹果正在开发一种类似于Apple Watch使用的“系统级封装”(system-on-a-package)芯片。
至于输入方式,苹果正在考虑触摸板、语音激活和头部姿势,并为从定位到短信等一系列应用进行原型设计。虚拟会议室和360度视频播放也是苹果正在探索的概念应用。
彭博社预计苹果公司计划在2019年完成AR头显的工作,最终产品可以在2020年上市销售。
其他传言
在2017年11月份,苹果收购了Vrvana,这是一家曾经研发出Totem MR头显的公司。Vrvana的技术很可能会应用到未来苹果的头显上。随后苹果收购了Akonia Holographics,这家公司主要为AR智能眼镜制造镜片。
也有一些其他传言称苹果可能将其对AR的研究纳入正在进行的汽车项目中,将AR作为车载软件系统的一部分。该系统可能包括HUD或其他一些功能。
库克对AR/VR的评论是传言的有力支持
最近,苹果CEO蒂姆库克表示,在目前这个时间点,现有的技术还不够制造出一副“高质量“的AR智能眼镜。
“但是今天我能够告诉你,目前的技术无法做出高质量的产品。显示技术和一大堆需要放在你脸上的硬件都需要改进,这些都是巨大的挑战。视场角、显示器的质量都没有达到理想的程度”,库克说。不过随后他补充说这些难题都是可以解决的,只是需要时间。
苹果公司的高层管理人员几乎没有透露过任何与VR相关的信息,但蒂姆库克在2017年9月推出ARKit的前几个月曾多次赞美AR的优点和好处。
库克在2016年曾这样说:“AR可能真的很棒,我们已经并将继续投入大量资金。从长远的角度来看,我们对AR有着很高的评价。我相信AR是大而意义深远的技术,也是我们回顾其诞生时会感到惊艳的技术之一。”库克坚信AR内容将使iPhone变得比现在更加重要。
根据库克的说法,AR应该鼓励而不是取代人与人之间的接触,它不应该成为“障碍”。“人与人之间的接触是无可替代的”,库克说,“所以你会想要技术也鼓励人与人之间的接触。”
库克相信,在VR和AR两种技术中心,AR拥有“更大的前景”,因为它能够让人们在使用这项技术的同时也“身处现实中”。他认为对VR感兴趣的人会少一些,但是VR在教育和游戏领域有着非常出色的用例。
库克认为AR“像智能手机一样重要”,是适用于每个人的产品。“我认为AR的市场非常巨大。我们所做的市场能够改善生活的许多方面,对此我十分兴奋”,库克在2017年年初时曾这样说。
苹果有着强大的VR/AR团队
苹果公司在VR和AR领域的工作可以追溯到许多年前,但与其相关的传言是在2015年3月一条新闻消息曝光了苹果公司内部的小型AR研发团队之后才开始大量出现的。从2015年到2016年年初,这一团队不断的进行扩张,聘请了具有AR/VR技术专业知识的员工并进行了多项相关收购。
苹果的AR/VR团队有着数百名工程师,他们都拥有VR和AR领域的专业知识。该团队在苹果Cupertino和Sunnyvale的园区工作,探索代号为T288的数个硬件和软件项目。
苹果的AR团队结合了“硬件和软件老手的长处”,由来自Dolby(杜比)的Mike Rockwell领导。团队里的员工有很多来自Oculus、HoloLens、Amazon VR团队以及Weta Digital、卢卡斯影业这样的3D动画团队。
苹果公司的开发团队同样加入了WebVR社群,WebVR社群主要致力于让VR内容能够通过网络在任何设备上浏览。
苹果公司最著名的VR/AR员工是计算机科学教授Doug Bowman。他曾担任弗吉尼亚理工大学人机交互中心的负责人。他专注于三维用户界面设计,并撰写了一本关于3D界面和沉浸式虚拟环境优势的书籍。他拥有VR和AR领域的专业知识。
苹果还聘请了在微软和Lytro从事过VR或AR产品相关工作的员工。Lytro是一家致力于将现实拍摄和计算机图形融为一体的光场相机公司。而来自微软的员工据传出自HoloLens团队,拥有研发高级AR头显的经验。
Zeyu Li,先前在Magic Leap担任首席计算机视觉工程师,目前在苹果工作,担任“高级视觉算法工程师”。
Yury Petrov是Facebook旗下Oculus的前研究科学家,现在担任苹果的“研究科学家”。根据他的LinkedIn个人资料,Petrov研究了VR体验、光学原型并开发了计算机模拟软件。
AR专家Jeff Norris在2017年4月加入了苹果,担任AR团队的高级经理。Norris在NASA工作期间创立了Mission Operations Innovation Office和JPL Ops Lab。他领导了多个专注于人机交互的项目,重点是VR和AR。
苹果于2018年5月聘请了Sterling Crispin,他曾为VR一体机开发了一款绘画应用Cyber Paint。这款应用能够在Oculus Go、Daydream、GearVR以及Vive Focus上运行,创作2D 260度的图片。Crispin的LinkedIn页面标注的工作岗位是“原型研究员”,这表明了他很可能加入了传言中的VR/AR头显的研发团队。
苹果在2018年12月聘请了前Tesla以及微软HoloLens设计师Andrew Kim。根据他先前的工作经历来看,Kim在苹果的工作很能与传言中的AR智能眼镜或者是开发中的苹果汽车有关。
除此之外还有许多其他VR专家的招聘已经引起了人们的关注。在LinkedIn上,苹果拥有多名具有VR经验的软件工程师,但目前还不清楚他们是否在神秘的AR/VR团队工作。
苹果对VR/AR技术公司的收购史
自2015年以来,苹果已经收购了多家拥有VR/AR相关产品的公司,而还有一些收购则可以追溯到更早的时间。
Akonia Holographics
苹果于2018年8月收购了Akonia Holographics,这是一家为AR眼镜制造镜片的初创公司。Akonia Holographics宣布推出“世界上第一款用于商用智能眼镜中的透明显示元件的空间全息反射波导光学系统”。
该公司制造的显示器据称使用名为HoloMirror的技术,拥有“超高清晰度、全色彩的性能”,是“世界上最薄最轻的头戴式显示器”。
Vrvana
在2017年11月,苹果收购了Vrvana。该公司开发了名为Totem的MR头显,不过并未公开发布。该头显的设计结合了VR与AR技术,通过前置的摄像头将VR的特性与基于屏幕的AR特性融合在一起。
Totem使用了一组摄像头将真实世界的画面投射到其内置的1440p OLED显示屏中,这种独特的方法使其与微软HoloLens等竞争产品区别开来,后者使用透明显示屏来结合VR和AR。苹果可能计划在未来的产品中使用Totem的一些技术。
PrimeSense
苹果于2013年收购了以色列的3D人体感应公司PrimeSense,引发市场猜测基于动作的功能将在Apple TV中实现。PrimeSense的3D深度技术和动作感应功能被用于微软最初的Kinect平台。
PrimeSense使用近红外光将不可见光投射到房间或场景中,然后由CMOS图像传感器读取,以创建物体或人的虚拟图像。这使得一些基于动作交互可以被用于软件中,但它也能够执行诸如测量虚拟对象和提供相对距离或大小等动作,这对于AR应用程序(如交互式游戏,室内重建等)非常有用。PrimeSense的技术还可以为人和物体创建高度精确的360度扫描,这对VR应用非常有用。
Metaio
苹果于2015年5月收购了增强现实创业公司Metaio。Metaio开发了一款名为Metaio Creator的产品,可用于在几分钟内创建AR场景。在被苹果收购之前,Metaio的软件被法拉利等公司使用,法拉利使用该软件创建了一个增强现实展厅。
Metaio技术也被用于柏林,允许参观柏林墙的人们使用智能手机或平板电脑查看柏林墙仍然存在时该区域的样子。Metaio的技术可以用于在像地图这样的应用程序中实现AR功能。
Faceshift
苹果于2015年8月收购了Faceshift,是其在2015年第二次收购AR公司。在被苹果收购之前,Faceshift与游戏和动画工作室合作开发了一种技术,旨在使用3D传感器快速准确地捕捉面部表情,将其实时转换为动画形象的面部表情。Faceshift还致力于以消费者为导向的产品,让人们可以在Skype中实时将他们的脸变成卡通或怪物脸。
Faceshift的技术具有广泛的可能用例,iPhone X中的Animoji功能很可能就是基于该技术开发的。
Emotient
Emotient是一家开发出了面部表情分析工具的公司,于2016年1月被苹果收购。Emotient的技术使用人工智能和机器学习来阅读人类情感,广告商在现实世界中使用这些功能来确定人们对广告的情绪反应。
苹果可以利用Emotient做很多事情,从在照片应用程序中实现更好的面部检测到分析苹果零售店中的客户的感受来解锁iOS设备,但它也有潜在的AR/VR用途。与Faceshift一样,Emotient的技术可用于分析和转换面部表情,以创建虚拟化身,这对社交媒体和游戏非常有用。Animoji可能会使用Emotient的技术。
Flyby Media
Flyby Media是苹果于2016年年初收购的致力于AR的公司。Flyby创建了一个应用程序,可与谷歌配备3D传感器的“Project Tango”智能手机配合使用,允许将消息附加到真实世界的物体上,并由其他人使用Google的设备进行查看。
例如,一个人可以扫描像旧金山金门大桥这样的地标并写下附加的信息。稍后访问桥梁的人将能够使用Flyby应用程序扫描桥梁以查看消息。Flyby应用程序很可能吸引了苹果的注意力,因为它能够识别和理解扫描的不同对象,苹果可以通过多种方式在照片和地图等应用中使用这些技术。
RealFace
2017年2月,苹果收购了RealFace,这是一家专门从事面部识别技术的网络安全和机器学习公司,可以用于未来的AR功能。
RealFace开发了面部识别技术,将人工智能集成到无摩擦人脸识别中。Realface的技术很可能被用在了iPhone X上,这是苹果首款具有Face ID形式的面部识别功能的智能手机。
AR/VR专利
苹果在几年前申请了很多与VR头显直接相关的专利。随着技术的发展,其中一些专利已经落后,但我们仍然能够从这些专利中一窥苹果曾经的探索。
一份2008年申请的专利展示了一个相当基础的“个人显示系统”,旨在模拟在电影院观影时的体验。
第二项专利描述了一种“头戴式显示系统”,其具有“激光引擎”,能够将图像投影到佩戴在眼镜上的透明玻璃显示器中,外观与眼镜类似。这种装置需要连接到iPod等拥有处理能力的视频播放设备上。
最初于2008年提交的第三项专利有着类似的设计,是一种类似护目镜的视频头显,旨在让用户观看电影和其他内容。它概述了两个可调节的光学模块,与用户的眼睛对齐,可以提供视力校正并允许观看3D内容。苹果将其描述为提供个人媒体观看体验。
2008年的第四项专利涉及类似于谷歌眼镜的头显,允许用户将其iPhone或iPod插入头显提供画面显示。这款头显被描述为一种增强现实产品,可让用户在观看视频或查看电子邮件的同时注意周围环境。
除了与头显相关的专利外,苹果还申请了可以在其设备中实现虚拟和增强现实功能的其他专利。例如,2009年的专利申请涉及配备相机的3D显示器,其将基于用户的相对位置来改变视角。
该显示器将结合用户周围的环境来检测用户头部的运动,允许用户移动他们的头部以从不同角度观看3D图像。
2010年和2012年的专利描述了通过AR技术结合运动传感器来为iOS设备创建3D界面。苹果将该界面描述为通过内置传感器或通过手势操纵设备方向来导航的“虚拟空间”。
2011年,苹果为其地图应用提交了一项增强现实功能专利。通过相机,用户可以查看周围的区域,并获得两点之间距离的实时估计以及相关信息的叠加。
2014年申请、2017年授予的一项专利涵盖了一个可以通过相机检测环境中的物体并在其上叠加虚拟信息的手机AR系统、一个显示屏以及一个用户界面。苹果将该系统描述为头戴式显示器的理想系统,也可以用于智能手机。
苹果一直致力于可以在自动驾驶汽车中使用的虚拟现实技术。几项苹果的专利描述了一个系统,其中包括了车载虚拟现实系统,该系统配有VR头显,可以提供娱乐功能,并减轻车辆行驶时阅读和工作等任务的晕车感。
发布日期的猜测
苹果在“ 智能眼镜 ”和VR头显方面的工作仍处于原型阶段,因此产品推出可能还需要数年时间。苹果经常开发出永远不会成为实际产品的原型,因此如果苹果公司认为这不是一个值得进入的市场,或者它的产品可以更简单地实现,那么苹果在VR和AR领域工作有可能被搁置。
苹果公司目前的目标是到2019年完成AR或VR产品的工作,最终产品可能会在2020年上市。但苹果公司的时间表据称“非常激进”,因此最终产品的发布事件可能会改变。
苹果AR眼镜时间轴