文/VR陀螺冉启行

一则机圈裁员消息，暴露了厂商布局XR业务的“野心”。

2023年8月，星纪魅族集团被爆旗下芯片研究院即将进行人员调整，该研究院大约有200名员工，调整计划是裁撤所有应届生，留下一小部分老员工。

多名知情人士透露，被裁撤的芯片研究院属于前瞻技术业务之下，也是该业务板块的主力部门，成立刚刚一年，主要做AR芯片。

裁撤原因在于，芯片投资周期长，成本高，AR芯片现在没有出产品，影响上市计划，星纪魅族便“不想做了”。

作为“下一代计算平台”，未来市场潜力不可估量，面对“芯片”这块难啃的骨头，有退场者，也有迎面直上的新玩家涌入。

XR芯片这条赛道，正成为科技巨头乃至创业公司争相布局的新赛道。

智能手机产业的发展已证明自研芯片价值

手机产业早期的“造芯热”，正在XR行业上演。

凭借海思麒麟系列芯片，华为曾站在了与苹果、三星同等的高度，并一度成为全球手机销量霸主。

8月底，搭载最新款海思麒麟9000s的华为Mate60Pro悄然上市，时隔1500多天后，华为“芯产品”在国内市场被疯抢至售罄。

当然，于其他国产手机厂商而言，虽不设计核心处理平台，但特定场景芯片，譬如影像芯片（拍摄算法优化）、充电管理芯片（解决快充及安全）、独显芯片（游戏场景优化）也成为了它们抢占用户，争夺市场的杀手锏。

抛开其他地缘政治因素不谈，自研芯片的魅力不仅仅在于功能设计上的自主，更为重要的是产品差异化上带来的强大市场竞争力，以此冲击高端市场，较高的技术门槛还意味着其难以复制，最终形成品牌的护城河。

“自研芯片之争”出现于智能手机产业的成熟期，这是行业面对同质化现象，消费需求质量拉升，市场下降的积极应对。

然而，在XR芯片上，我们看到了“芯片之争”的提前到来，在通用PC、移动芯片的基础上，主要聚焦“交互”与“显示”两大板块，以“协处理器”作为切入，这是XR产品本身设计需求的延伸。

XR协处理器解决“交互”与“显示”需求

相对于传统PC、手机，XR设备需要解决的是“交互”与“显示”两个最特殊，也是最重要的技术面。

交互方面，XR设备需要提供更加自然、直观、高效的人机交互方式，例如SLAM定位、眼动追踪、手势识别等。显示方面，作为近眼显示的XR设备需要提供更加高清、快速、舒适的视觉效果，例如高分辨率VST、高刷新率、低延迟等。

显然，传统的PC、移动通用芯片无法满足XR设备对于交互和显示方面的特殊需求和标准。通用芯片在设计时往往考虑的是以手机为主的多种应用场景和兼容性，难以针对XR设备的高并发进行专门的优化和加速。

因此，XR协处理器应运而生。XR协处理器是一种专门针对XR设备进行优化和加速的芯片，它可以与通用芯片协同工作，分担部分或全部的交互和显示任务。XR协处理器可以根据不同的XR形式和应用场景进行定制化设计，以满足不同的性能和体验需求。

XR协处理器可以利用专门的算法和架构来提高传感器数据处理和图像渲染的效率和质量，通过技术手段降低延迟和晕眩感，提高视觉效果和用户体验。

以苹果VisionPro为例，其不仅配备了PC级性能的M2芯片，还有一颗为MR量身定制的R1芯片。

12毫秒处理传感数据苹果R1“上传下达”

苹果M2芯片的任务是运行与操作，简而言之就是可以让用户通过头显打开应用程序，运行应用程序，而R1处理器则负责来自交互传感器的几乎所有信息。

这些传感器包括12个摄像头，5个传感器和6个麦克风，传感器将其感测到的任何内容转换或数字化为数字数据输入。R1芯片接收输入数据进行实时处理，以生成塑造混合现实环境的输出数据。

具体来看，两个主要的RGB外部摄像头记录外部真实世界，每秒将超过十亿像素推送到头显的4K屏幕上。最重要的是，一对侧面摄像头，以及两个底部安装的摄像头和两个红外传感器，即使在弱光条件下，也可以从各种位置跟踪手部运动。

外向传感器还包括LiDAR扫描仪和TrueDepth摄像头，可捕获周围环境的深度图形，使VisionPro能够在用户的空间中准确定位数字对象。在头戴面内部，每个周围有一圈LED灯和两个红外摄像头，用于跟踪眼球运动。

通过这一系列的传感器，苹果实现了最重要的VST显示传输、SLAM空间定位、手势+眼动交互和深度信息感知，而作为“上传下达”这一切的中枢，R1解决了一款MR头显最重要的一环。

该芯片本质上是一个数字信号处理器（DSP），但据外媒称，它却采用了集成更多晶体管的5nm芯片工艺，从而提高芯片的性能和效率，并且集成了1GBDRAM以支持高速处理。

该DRAM同样不简单，为了应对R1的高速处理需求，SK海力士专门开发了一款定制的1GBDRAM，新的DRAM将输入和输出的引脚数量增加了8倍，可最大限度减少延迟，此类芯片也被称为LowLatencyWideIO。

对于近眼显示系统而言，端到端的低延迟非常重要。延迟是指摄像头看到的内容与头显4K屏幕上显示的图像之间的延迟，理论上滞后越短越好。当大脑从眼睛接收的输入与感知的输入之间存在明显的滞后时，就会发生晕动病，产生不适感。

R1虽仅是一颗协处理器，但依旧是一套系统化的工程，麻雀虽小，五脏俱全。整套下来，据称，R1可以在12毫秒内处理来自这些传感器的输入数据，这比眨眼速度还快8倍。

除苹果外，不少正在布局XR业务的企业，也在XR协处理器上发力。

品牌厂商下场做芯片三星、华为和vivo？

目前，XR芯片玩家主要分两大类：一类是产品未出，芯片先行的品牌厂商们，另一类则是瞄准XR增量市场的三方芯片厂商的卷入。

作为科技产业的头部企业，在半导体上一直有输出和布局的三星自然不例外。XR方面，三星入局并不算晚，只是早期略有曲折。而在近两年，伴随着苹果的竞争，我们也看到了三星XR的更多动态。

2023年5月，据报道，三星旗下设计Exynos处理器和ISOCELL相机传感器的部门SystemLSI已开始迈出为XR设备制造处理器的第一步。

由于三星本身就有Exynos系列移动平台的设计能力，并有自家的晶圆代工厂，所以不管是做一颗“R1”的专用协处理器芯片，还是做一颗类“高通骁龙XR2”的扩展芯片，皆有可能。

在苹果VisionPro的惊艳冲击下，三星的XR头显被爆料已经推迟至2024年6月，早前曝光的产品也或将重新设计。基于三星过去高举高打，一直对标苹果的市场策略，芯片方面，三星或重塑产品，打造专用协处理器，以更好应对苹果的VisionPro带来的市场竞争。

Meta在XR业务上的投入每年都高达数十亿美元，自然也包括涉及了芯片业务。根据早前的一份报道，Meta公司为第二代Ray-BanStories智能眼镜开发自己的芯片以失败告终，所以才决定用高通芯片代替。而根据泄露的硬件路线图，未公布的可穿戴设备可能会在今年发布。

据TheInformation报道，Meta与三星曾合作开发AR眼镜的芯片，但该合作关系于2022年结束，当时Meta决定只为开发者生产数量非常有限的设备，联合开发的芯片将被用于2024年MetaConnect上亮相的第一款AR眼镜。

在Meta与三星的合作关系结束后，Meta寻找到了新的合作伙伴——联发科，这家公司将为AR眼镜设计芯片，该眼镜预计将于2027年发布。

回归国内视野，vivo在XR芯片方面一直都有人才积累，其芯片研发中心位于上海，首款手机ISP芯片vivov1于2021年发布。不过，在XR硬件方面，由于一直未有相关产品露出，仍有待进一步观察。

华为上一代VRGlass6DoF游戏套装于2020年发布，而据小道消息称华为VST的MR产品也将十分惊艳，可能也与海思加持的协处理器芯片有关。

这个猜测也并非无中生有，海思并非没有XR相关积累。早在2020年5月，上海海思就曾发布XR芯片平台，推出了可支持8K解码能力的集成GPU、NPU的XR芯片，应用于双目AR眼镜RokidVision。

整机品牌公司是一方面，近两年，以XR协处理器揭竿而起的初创企业也受到了极大的关注。

XR供应链初创企业瞄准类“R1”芯片

国内企业耀宇视芯成立于2022年1月19日，公司位于南京，是一家SLAM算法及芯片提供商，主要从事SLAM算法及芯片研发、设计业务，致力于提供AR、VR软硬件解决方案。

其SLAM算法已落地某AR整机品牌厂商，交互质量已初见成效，预计其主打交互的XR协处理器将于今年Q4看到更多消息。

另一家XR芯片厂商可谓是资本宠儿，万有引力GravityXR成立于2021年。2022年4月公司宣布在半年内连获天使轮、Pre-A轮融资，融资金额共计数亿元。

天使轮由高榕资本领投，红杉资本、IDG资本和金沙江创投共同投资。Pre-A轮则由某知名XR领军企业领投，高榕资本、红杉资本、联想创投、耀途资本、米哈游、追远创投、三七互娱、奇绩创坛、远阳资本、五源资本等投资机构共同投资。

据相关介绍，万有引力将于2024年完成第一代芯片的量产，这款芯片将是业内首款专门针对XR应用，高硬件应用定制化、高集成度的芯片平台，且在显示、感知、图像等多方面具备硬件加速处理的定制化设计。致力于解决四大问题：

• 其一，缓解主SoC通用平台的渲染负荷，更智能地达到8K/120Hz；
• 其二，采用视频穿透式（VST），解决VR硬件终端的“老大难”晕眩问题；
• 其三，增强VR/MR的画质效果，包括动态高质量的显示/光学增强和相机处理；
• 其四，为感知技术提供足够的灵活性和计算能力，使得XR头显在不同的交互感知性能中，能够灵活分配算力资源。

根据万有引力官网介绍，其团队成员均来自苹果、Meta、华为等高科技公司，担任技术与产品研发的重要职位。在显示、感知、图像视觉、芯片和XR领域有着深厚的积累。据VR陀螺获悉，万有引力的XR芯片的制程可能会是在14nm以内的先进制程工艺，或能成为安卓版的“R1”。

放眼海外市场，以色列VR/XR光学技术公司超视觉（hypervision）也在布局XR协处理器。据介绍，为快速实现基于超视觉IP的PCVRVR/XR头显，超视觉正在开发电子设备和协处理器，以在MIPIDSI显示器、MIPICSI图像传感器和PC之间建立桥梁。有以下模块：

• 4xMIPI显示器驱动基于显示端口的电子设备到2xMIPIDSI桥接器
• 传感器电子模块：3DoFIMU、接近传感器、IPD传感器
• 基于4（或5）个MIPI相机的真实世界240°/360°立体相机流的See-through
• 眼睛和面部跟踪MIPI相机流与用于NIR和RGB照明的LED驱动器的组合

作为第二阶段，超视觉计划将所有模块组合到基于FPGA（或ASIC）的单个协处理器中，该协处理器将驱动高达4倍高分辨率/帧速率的MIPI显示器，将从外部摄像头以及凝视和面部收集图像流跟踪摄像机。

协处理器将连接到PC或SoC（用于独立VR/XR）。可以对流进行实时处理、失真补偿和显示内容渲染，以减轻PC或SoC的负担。将真实图像直接定向到显示器（绕过PC或SoC）的选项将实现接近“零延迟”，这对于VST非常重要（就像在AR眼镜中的OST那样自然）。

从上文一系列解决方案和技术解析可以看出，XR协处理器芯片依旧在围绕XR硬件最核心的“交互”与“显示”两个层面设计。

高成本与长周期机遇与挑战并存

尽管XR协处理芯片已成为XR行业谋求高质量交互与显示的共识，并且在未来更能助品牌形成差异化竞争力，但由于半导体行业本身的技术门槛问题，厂商需要承担较长的时间周期，以及高昂的研发成本，仍面临较大的挑战。

今年，手机半导体行业的一大地震事件是OPPO旗下半导体子公司ZEKU的解散，3000多名员工全部毕业。OPPO方面对外宣布：面对全球经济、手机市场的不确定性，经过慎重考虑，公司决定终止ZEKU业务。

究其核心原因，还是投入与产出的不成正比导致。以马里亚纳芯片为例，INNODAY上，陈明永就曾透露，“单颗SoC的投入都是一亿美金级别的”。

成熟的手机产业尚且如此，还未被点燃市场的XR产业则可能会面对更大的风险，星纪魅族集团的AR芯片夭折就是一个前车之鉴，厂商们仍需做好长期入不敷出的准备。

另外，值得注意的是，目前做XR协处理芯片的企业还面临高通、联发科等传统手机芯片巨头业的挑战，一旦其开始重视XR板块，并发力VST显示、SLAM算法等方面，凭借其原有的半导体产业架构，不光是在研发速度，还是落地客户上，都有极高的优势存在。

自研芯片是个好方向，于品牌厂商而言，可以建立品牌护城河，打差异化高端产品；于供应链企业而言，可以解决XR硬件在使用体验上的核心问题，供给未来需求市场。

然而，如此吸睛且举足轻重的业务也是最烧钱，最漫长的投资。

参考：https://www.profolus.com/topics/what-is-the-apple-r1-chip-specifications-and-capabilities/

https://www.hypervision.ai/copy-of-xr-rr-coprocessor