查看
定制芯片
（
MetaOrion十年突破：从颈带原型到便携式AI协处理器
现在，Meta正积极介绍Orion的方方面面。继眼镜本身和外接计算组件之后，团队日前又以《从零到一：我们的定制芯片如何彻底改变AR》为题分享了相关组件的发展历程：
在Meta创始人兼首席执行官马克·扎克伯格的支持下，RealityLabs首席科学家迈克尔·亚伯拉什于2017年通过当时的
眼动追踪和手部追踪等功能。同样，团队开发了自定义压缩协议，以减少数据从计算包移动到显示器时的带宽和功耗。开发定制芯片来实现Orion的形状参数目标需要对高度模糊的容忍度和对细节的细致关注，以交付令人难以置信的复杂系统架构。”
斯诺德格拉斯指出：“我们面临的最大挑战是如何呈现3D世界锁定的渲染图像，以及空间化的音频，使其看起来像是来自虚拟对象。我们必须将所有电子元件整合到热容量和物理空间中，然后由电池运行。而且我们必须以一个真正的眼镜形态做到这一切。”
SoC解决方案总监罗伯特·希勒（RobertShearer）表示：“我们知道如何提供必要的计算能力来实现我们对Orion的愿景，但我们面临着一项艰巨的任务：将功耗降低100倍。这要求我们突破芯片设计的界限，采用来自行业各个角落的方法——从物联网到高性能计算——并发明新的方法来弥合差距。我们的行业伙伴认为我们疯了，或许他们并没有完全错。但这正是它所需要的：挑战传统智慧和重新思考一切的意愿。打造一个能够无缝融合虚拟世界和物理世界的计算机需要对环境有深刻的理解，而这远远超过了现有计算平台所能提供的。从本质上讲，我们已经重塑了计算机与人类交互的方式，这意味着我们要重新构想如何从零开始构建芯片。”
MicroLED的魔力
有时候事情会落后于计划，或者出现了看似无法克服的技术挑战，所以很难保持动力和士气。但团队非常有韧性，他们总能找到绕过障碍的途径，或者干脆把它们推倒。
以Orion的显示器为例。团队负责位于眼镜角落的显示投影仪中的芯片。
斯诺德格拉斯指出：“对于投影仪而言，我们是否能够以足够高的效率和亮度将MicroLED排列，以部署宽视场显示，这是一个悬而未决的问题。在我们考虑的时间框架内，我们是否能够做到这一点存在巨大的疑问，因为这是一项非常新颖的技术。”
麦克·易补充道：“我们很早就意识到，我们必须重新思考产品开发的诸多模式。对于AR眼镜来说，制作可用显示器所需的光量要大得多，因为作为可穿戴显示器，你要和太阳竞争。所以我们需要能与之匹敌的能量水平，或者至少这是我们的目标。我们尚未完全做到这一点，但这是我们的主要工作内容。这就意味着你需要能够做到这一点的显示器光源，而且需要能够控制它的电路。同时，你需要确保它足够小。”
MicroLED似乎是最适合投影仪的光源，而定制芯片帮助释放了它们的潜力。
麦克·易解释道：“对于显示器，我们谈论的是像素间距，这是相邻像素中心点之间的距离。对于电视而言，距离是数百微米。对于你的手机，数十微米。现在，我们需要把这个数字降到个位数，而唯一能做到这一点的半导体制造就是硅。”
令工作变得复杂的是，显示屏的背面必须是一块硅，而当时尚未有人为MicroLED设计硅。
麦克·易说：“之前没有人为MicroLED设计过背板。我们面临着一个非常独特的挑战，因为它是一个光学元件。它必须是平的。你不能刮伤它。它必须具备所有的特性，因为当你透过波导、透过投影仪时，你实际上是在看这块硅片的上表面。”
团队为MicroLED显示器开发了一系列复杂的测试平台，并与全球供应商密切协调。所述MicroLED的足迹遍布全球，从一个地方开始，然后转移到另一个地方，然后晶圆运往美国，切割成特定的形状，然后与另一个晶圆粘合在一起，接下来又运往全球各地并进行实际模块的建造和测试。这是一个极其复杂的过程。
团队同时需要找到一种方法来将电力输送到眼镜角落的MicroLED显示屏。模拟团队开发了一个定制的电源管理芯片以适应这个体积。
模拟与混合信号系统负责人指出：“对于这种小尺寸可穿戴设备而言，电池尺寸有限，空间非常宝贵，所以供能至关重要。我们的定制电源管理IC解决方案利用了尖端技术，在系统级为我们的特定工作负载优化电源效率，同时满足可用空间的限制。实现这一最佳解决方案需要我们的机械、电气、SoC、μLED和热团队密切的跨学科合作，以确保所有组件的无缝集成并最大限度地提高整体性能。”
斯诺德格拉斯补充道：“这不仅是工程方面的壮举，同时是组织管理方面的壮举：将一个团队聚拢在一起，跨越时区，与所有不同的供应商合作。在某种程度上，组织管理所有这一切，和满足技术规格一样具有挑战性。”
麦克·易接着道：“不仅设计是定制的，整个制造过程都是定制的。我们非常幸运，有一系列优秀的业内合作伙伴帮助我们实现了这一目标。他们看到了整体AR显示的长期潜力，当然看到了Meta对它的愿景。所以他们愿意与我们合作进行定制和优化。”
模糊性<愿景
因为Orion是真正的从0到1，参与的团队必须处理大量的模糊性。
克洛塞特说道：“对于Orion，我不能夸大这种模糊性增加了多少复杂。例如，当你制造一台电脑时，你通常对显示器是什么有一个很好的概念。但我们不知道波导最终会变成什么样子，所以我们必须对不同的波导进行采样，并提出一种机制以应对最坏的情况，因为我们不知道最终会变成怎样。”
值得注意的是，Orion不仅仅是一副增强现实眼镜，它是由三部分组成的硬件星座。许多处理都是在外接计算包中进行，这就要求它和眼镜之间有具有非常强的连接。另外，将表面肌电腕带加入环路令系统架构变得更加复杂。
斯诺德格拉斯表示：“这对团队来说是一个巨大的挑战，但所有这一切都是可行的。这是整个公司的芯片团队、无线团队和软件团队之间的一次惊人合作。”
克洛塞特补充道：“通过Orion，我们建立了一个由各种各样的工程师组成的完整团队，而他们能够设计一个全新的管道。这是一个处理3D空间中对象六个自由度运动的管道。它使用自己的定制显示驱动程序。我们必须进行非常独特的图像质量校正。我认为我们面临的挑战是，因为这是一个从零到一的项目，没有现有的规范可以对着调整和改进。这里的一切都是全新的，所以我们有足够的自由。”
就像外接计算包在表面之下隐藏了一定的功能，定制芯片的能力远超表面所见。尽管Orion不允许用户使用RGB摄像头拍照，但芯片能够支持这项功能，以及CodecAvatars。另外，就像外接计算包减轻了计算负担，解锁了真正的眼镜形态一样，Orion的定制芯片证明是AR拼图的必要组成。
斯诺德格拉斯解释道：“为了实现像AR眼镜这样的零到一体验，你需要定制芯片。随着时间的推移，如果有市场，芯片供应商将开发产品来满足需求。但从零到一的角度来看，你不能只是把现有的产品从货架拿下来，它们本来是为不同的产品设计的，然后你把它放进一个新的模具里。你必须投资定制的产品。为了将零对一的体验变为现实，你需要软件合作伙伴、工业设计师、机械工程师等之间的广泛合作。”
希勒补充道：“通过打破传统的思维模式，我们创造了真正的非凡设备。我们相信这个计算平台代表了技术的未来——它将彻底改变我们生活、工作和交互的方式。我们非常高兴能站在这项创新的最前沿，推动可能的界限，帮助塑造历史的进程。”
【AI总结】
Meta在2024年Connect大会上发布的增强现实眼镜Orion，标志着该公司在AR技术领域的一次重大突破。Orion不仅是Meta迄今为止最先进、最精致的产品原型，还展示了Meta在硬件、芯片设计和软件优化方面的深厚积累和创新精神。通过定制芯片、MicroLED显示技术、跨学科协作和全球供应链管理，Meta成功将Orion从一个概念变成了现实。Orion的成功为Meta未来的AR产品线奠定了坚实的基础，同时也为整个AR行业树立了新的标杆。以下是Orion项目的几个关键亮点和背后的故事：
1.定制芯片的突破
Orion的核心在于其定制芯片解决方案，这是Meta为满足AR眼镜独特需求而专门设计的。传统的智能手机芯片无法满足AR眼镜对低功耗、高性能和紧凑设计的要求。因此，Meta的芯片团队从零开始，重新构想了一个全新的架构，以支持全天可穿戴的AR体验。
低功耗设计：AR眼镜的外形限制了电池容量和散热能力，因此芯片的功耗必须极低。Meta的芯片团队通过优化架构、引入机器学习加速器、开发自定义压缩协议等手段，成功将功耗降低了100倍。
跨学科合作：芯片团队与RealityLabsResearch、XRTech等部门紧密合作，确保硬件和软件的高度协同。这种垂直整合的环境使得Meta能够快速迭代和优化，从而在短时间内推出复杂的定制芯片。
2.MicroLED显示技术
Orion的显示器采用了MicroLED技术，这是AR眼镜的关键组件之一。MicroLED具有高亮度、高效率和低功耗的特点，非常适合AR显示需求。然而，这项技术在当时尚未成熟，Meta的团队不得不面对诸多技术挑战：
像素间距：为了在AR眼镜中实现高分辨率显示，团队需要将像素间距降低到个位数微米，这要求他们在硅基板上进行创新设计。
全球供应链协作：MicroLED的制造过程涉及全球多个供应商，Meta与这些合作伙伴紧密协调，定制了复杂的制造流程，以确保显示器的质量和性能。
3.跨功能团队协作
Orion项目的成功离不开Meta内部多个团队的紧密协作。芯片团队、无线团队、软件团队、机械工程师等跨学科专家共同应对了AR眼镜开发中的各种挑战：
模糊性与创新：由于Orion是一个从零到一的项目，团队面临大量技术不确定性。例如，波导显示器的最终形态未知，团队必须设计出能够应对各种情况的灵活解决方案。
知识共享：Meta的芯片团队不仅为Orion开发了定制芯片，还与其他产品线（如Ray-BanMeta智能眼镜和MetaQuest头显）分享了技术经验和最佳实践，推动了整个公司的技术进步。
4.未来愿景
Orion虽然只是一个原型，但它为Meta未来的AR产品奠定了基础。通过Orion项目，Meta不仅证明了定制芯片和跨学科协作的重要性，还展示了AR技术在未来计算平台中的潜力。Meta相信，Orion所代表的技术将彻底改变人类与虚拟世界的交互方式，推动社会进入一个全新的数字时代。
5.挑战与创新
Orion的开发过程中，团队面临了诸多看似无法克服的挑战，但他们通过技术创新和团队合作，成功找到了解决方案。例如：
3D渲染与空间音频：团队开发了复杂的算法，确保虚拟对象在3D空间中的位置和音频能够与现实世界无缝融合。
热管理与电池优化：AR眼镜的紧凑设计要求团队在散热和电池寿命之间找到最佳平衡，这进一步推动了芯片和电源管理技术的创新。
