查看
苹果正在为XR开发一种专门的音频格式
(已在皮克斯发展6年,解读苹果USDZAR文件格式,对AR发展有何帮助
名为“FileFormatForSpatialAudio”的苹果专利申请指出:“在增强现实、虚拟现实和混合现实应用中生成三维音效是一个挑战,因为现有的音频格式最初是为在有着固定扬声器位置和固定听者的物理环境中产生3D声音而设计,比如电影院。”
苹果在这份专利文档中将AR、VR和MR统称为模拟现实(SimulatedReality;SR),并表示他们希望以现有的3D音频格式作为基础来为SR模拟现实构建一种空间音频格式。这家公司指出,设计用于产生3D声音的空间音频格式可以包括MPEG-H3DAudio标准、HOA空间音频技术和杜比ATMOS环绕声技术。
苹果进一步介绍道:“在SR环境中产生3D音效的另一种选择是操纵音频对象所包含的单个离散声音,而所述声音几乎可以位于3D环境中的任何地方。”
ApplePatent|FileFormatForSpatialAudio
苹果在解释需要一种全新的格式时指出:“(然而)使用现有的空间音频格式和对象来为SR应用程序合成音频十分困难,因为没有统一的方法来访问各种声源并将它们合并到动态SR环境中。”
苹果提出的解决方案是创建一种类似于.m4v和.mp4,并负责将不同元素组合在一起的“容器”格式。就苹果的空间音频需求而言,这家公司建议创建一种“音频asset库…(其中)包括允许SR应用开发者编写用于SR应用的asset元数据。”
asset元数据不仅描述了声音是如何编码,而且描述了模拟现实环境中的用户是如何体验声音。配置模拟现实开发者平台,以便开发者可以使用音频库中存储的音频资源来为模拟现实对象合成声音。包括asset元数据编辑,以纳入支持asset元数据实现动态转换的转换参数,从而改变用户体验合成声音的方式。
在另一份名为“SpatialAudioUpmixing”的专利申请中,苹果主要介绍了一种可用于XR设备的空间音频上混频(Upmixing)。作为说明,音频领域存在Upmixing(上混频)和Downmixing(下混频)的技术。一般而言,与下混频相反,上混频是指将音频声道转换成更多的音频声道,实际上,这个过程主要是将双声道转换为5.1声道,亦即中央声道,前置左右声道和后置左右声道,以及所谓的0.1重低音声道。
苹果进一步指出:“SpatialBed是一种代表完整声场描述的多声道音频内容,SpatialBed是表示完整声场描述的多声道音频内容,如虚拟声场。通过混合至少两个这样的SpatialBed,可以生成新的SpatialBed。”
音频专业人士或许会认为这里的上混频只是指左右位置,但对于XR领域,苹果是在考虑一种球体布置。