编译/VR陀螺

近日，美国专利商标局正式授予苹果公司一项专利，该专利涉及AirPodsPro和其下一代头戴式显示器设备（HMD）的双耳音频。更具体地说，这项专利向我们介绍了预测性头部追踪双耳音频。这方面的音频可能会改变VRRPG游戏、恐怖电影、动作片等的游戏规则，它可以让你直接进入角色的动作之中。

苹果公司在其专利背景中指出，虚拟现实允许用户体验和/或与沉浸式人工环境互动，这样用户就会觉得自己仿佛身处该环境。例如，虚拟现实系统可以向用户显示立体场景，以创造一种深度的错觉，计算机可以实时调整场景内容，以提供用户在场景中移动的错觉。

当用户通过虚拟现实系统观看图像时，用户可能因此感觉到他们正从第一人称视角在场景中移动。同样，混合现实（MR）将计算机生成的信息（称为虚拟内容）与现实世界的图像或视图相结合，能够为现实世界增强效果，或者将现实世界物体的虚拟表现与三维（3D）虚拟世界的视图相结合。

因此，虚拟现实的模拟环境和/或混合现实的混合环境可以被用来为多种应用提供互动的用户体验。为了使这些VR环境尽可能逼真，苹果公司在空间音频之外还设计了头部追踪双耳音频渲染，这可能改变音乐、高端游戏和电影的游戏规则。

苹果公司的发明涵盖了用于预测性头部追踪双耳音频渲染的方法和装置的各种实施方案。专利所描述的音频渲染系统和方法的实施方案可由移动多用途设备实现，如智能手机、PAD设备和平板设备，这些设备通过无线技术（如蓝牙）渲染和传输头部追踪的双耳音频到用户佩戴的双耳音频设备（如罩耳式耳机、AirPodsPro等）。

本实施例也可以在VR/AR系统中实现，该系统包括一个计算设备（被称为基站），该设备通过无线技术将头部追踪的双耳音频渲染并传输到提供双耳音频输出的头戴式显示器（HMD），或传输到与HMD一起使用的单独的双耳音频设备。

头部追踪双耳音频渲染是一种可用于包括但不限于VR/AR应用的技术，以创建虚拟音源，无论听众的实际方向/位置如何，这些音源在环境中都会显得很稳定。

头部追踪双耳音频渲染方法可以渲染并输出双耳音频流（包括左和右音频通道）到耳机，以便听者以空间音频的方式听到声音。换句话说，听众听到的声音就像声音来自现实世界中的准确距离和方向。

例如，系统可以通过耳机播放声音，使听者听到的声音来自他们左边、右边、正前方、后面或某个角度的虚拟音源。左边和右边音频通道的某些方面（例如，电平、频率、延迟、混响等）可以被削弱，以影响声音的感知方向性和距离。

图源：patentlyapple

苹果公司的专利图1A说明了使用双耳音频的iPhone和AirPodsPro的用户，2A说明了使用双耳音频的未来头戴式设备（HMD）的VR游戏；图6B说明了双耳音频的不同之处，即它跟踪用户的头部，从而使音频随用户移动，好像它总是在用户面前或者相对于用户的头部投射声音。在VR模式下，这非常适合RPG类型的游戏。

苹果公司的专利图8说明了在多个维度提供声音的方向性。

图源：patentlyapple

苹果公司指出，虽然一般描述的实施方案中，渲染设备可以渲染多个音频流，耳机能够选择一个或多个音频流以在一个维度（即水平维度）提供声音的方向性，但实施方案可用于在多个维度提供声音的方向性，例如提供方位角、仰角的声音，以及表示平移运动的声音。

例如，基站可以在水平维度的多个位置呈现音频流，也可以在水平维度上方和/或下方呈现音频流。

如图8所示，基站可以在水平维度的A和B位置渲染音频流，还可以在水平维度上方渲染音频流C。

而在耳机上，可以根据最近的头部追踪数据选择并播放最接近头部实际位置和高度（或倾斜度）的音频流，或者如果头部的实际位置和倾斜度在音频流之间，则混合两个或多个音频流。

例如，如果头部位置处于或接近其中一个位置，耳机可以选择A、B或C；如果头部位置在A和B之间，可以混合A和B；如果头部位置在A和C之间，可以混合A和C；如果头部位置在B和C之间，可以混合B和C；或者如果头部位置在中间某处，可以混合A、B和C。这样做的目的是为了提供真实的音频，使用户处于中间的位置，而现在的游戏玩家在玩第一人称射击游戏时并没有这种体验。

如果苹果的下一代音频能够实现它的承诺，那么它肯定会改变苹果头显设备的游戏规则。

欲了解更多细节，请查阅苹果公司的授权专利11,202,164。

来源：patentlyapple