我们都知道，理想的VR体验不只需要沉浸、清晰的视觉效果，还需要模拟逼真的体感环境，而具有空间感的3D音频也同样重要。在VR中常用到两种音频，即ObjectBasedAudio和Ambisonic。
其中，Ambisonic可应用于3DoF全景VR视频。指的是一种高保真的立体声像复制技术，特点是将声源贴在360°全景视频上，又称为full-sphere环绕音频。而Object-based音频则是一种将声源与位置信息结合的技术，原理是在空间中特定位置，放置支持实时渲染的声源，为体验者提供具有空间感的声音效果。
索尼表示：随着音频技术发展，多声道音频格式已经在电影、游戏、音乐等领域普遍使用。而在近年来，通常用于影视、动画后期的Object-based音频技术也开始应用于6DoFAR/VR应用。
近年来，索尼不断在探索360°沉浸式音频技术，比如在CES2019年展示的360RealityAudio系统，特点是可为高清音乐加入空间维度信息，营造“演唱会级”临场感。而近期，索尼公布了最新的空间音频研究：360VME，进一步向大家介绍这项技术的更多细节。
据青亭网了解，VME全称为虚拟混音环境，其特点是可以在耳机中，精准重现混音工作室的声音环境。而360VME是一种空间声音技术，可模拟300人规模混音工作室的声音环境，其准确性足够高，可满足一些专业场景的需求。作为空间音频方案，360VME的关键在于结合了个性化的HRTF算法，因此可还原体验感足够逼真的3D声场。
作为空间音频技术，360VME是一种声音再现技术，目前索尼影视娱乐公司（SPE）已经在电影制作中，将该技术投入实际使用。据了解，此前SPE一直受到混音工作室数量少的限制，因此希望找到一种不受地理位置限制的，高质量混音工作室模拟方案。使用混音工作室模拟方案，电影后期可以随时随地播放和制作电影音效。
后来，SPE了解到索尼研发中心正在开发一种空间音频技术，于是便开始合作，探索空间音频在专业领域的应用。索尼表示：用360VME技术渲染的空间音频质量足以满足专业音频创作的需求，未来还可以应用于电影之外的场景，优化各种音频内容创作的流程。
据了解，HRTF是一种与头部位置相关的传输函数，也是一种声学模型，涉及空间参数（与体验者头部为中心的球形相对坐标系）、声音频率、人体学参数等等。理论上讲，使用基于个人的全空间HRTF数据，将可以渲染出完整的声场，包括人移动到任何位置的声音效果，与真实的声音足够接近。
我们知道，人眼通过视差变化来测量物体的距离，而人耳则是通过声音入耳的时间和音量差异来定位声源。有趣的是，即使不同的人聆听同一声源，他们的实际感受也会受到耳朵形状等因素影响。与此同时，HRTF可以记录声音从声源到双耳的变化特性，并利用这些数据来还原逼真的声场，在虚拟空间中固定位置相关的声源。于是，你便可以在耳机中感受媲美混音室的3D音效。
为了给用户制定个性化的HRTF函数，索尼还开发了HRTF数据测量、信号处理、耳机音频渲染等完整的音频处理流程。
索尼表示：未来计划将360VME部署至更多声音创作应用，为创作者们提供更多新功能，除了电影音效外，还可以用来开发游戏、音乐等等。可以想象，AR/VR也将成为360VME的潜在应用场景。
当然，游戏和音乐创作者的需求与电影创作者可能并不相同，因此使用360VME的方式可能也与电影不同。通过与创作者交流，索尼将有望优化技术的实际应用效果，同时也会根据应用场景来提升空间音频重现的准确性。参考：
