查看
将继续改进SDK以支持更多的引擎和框架
(MicrosoftMesh正式发布,实现多终端共享协作式MR体验
在今天这篇博文中,微软MR团队将介绍MicrosoftMesh平台的构成要素。但首先,我们先来看看为什么需要这样一个平台。
微软指出:“混合现实是后计算机领域继大型机、个人电脑和智能手机之的第四次浪潮。能够将屏幕体验释放到你的空间之中的混合现实正在成为消费者和商业世界的主流。全世界有上亿的
- Quest2),提供三维立体体验,再到iOS或Android的智能手机和平板电脑,Mesh可以支持一系列的设备。
- 开发者平台:接下来,Mesh可以实现一个完成的开发者平台和工具,而核心则是Azure。通过像AzureActiveDirectory和MicrosoftAccounuts这样的认证服务,它能够把经过正式身份验证和授权的用户带入一个安全可信的会话中。MicrosoftGraph则继续跟随用户,允许其向商业和消费者空间引入关系、内容和偏好。而且,作为一名开发者,您不需要担心音频/视频传输和底层实时状态管理功能等核心基础设施。
除了核心平台之外,微软同时提供了关键的人工智能功能,从而允许Mesh解决复杂的技术挑战,并实现混合现实的大规模多用户在线场景。其中包括:沉浸式临在,空间映射,全息渲染,以及多用户同步。
1.沉浸式临在感:多用户场景的一个基本方面是,能够根据参与者加入的设备以不同的形式表示参与者。Mesh通过设备的内向外传感器来提供具有代表性的虚拟化身。Mesh平台配备了一个avatarrig和一个定制studio,以便你可以使用开箱即用的虚拟化身。所述平台同时能够通过基于人工智能的运动模型来驱动虚拟化身,从而捕捉与用户动作一致的精确运动和表情。
除了虚拟化身,Mesh同时能够通过外向内传感器实现了最为逼真的360度全息瞬移。这种外向内传感器可以是一个定制的摄像头设置,如有助于以完全保真度捕捉三维图像的MixedRealityCaptureStudio;它又可以是可以捕捉深度感测图像以协助产生全息表示的AzureKinect。一旦制作出来,全息图就可以应用于混合现实头显或智能手机、PC和平板电脑的Mesh应用程序,并以最为逼真的临场感实现360度全息瞬移。
2.空间映射:要构建能够现实世界中保存全息内容的应用程序,我们需要每个参与者对空间的共同视角以及对物理世界的理解。无论是技术人员的服务记录还是客户的寻路记录,可靠地放置能够跨时间、空间和设备保存的全息图都是一种常见的需求。Mesh中的空间映射可以实现这一点。在使用Mesh之前,每个设备都有自己的局部世界映射。通过Mesh可以将本地缓存合并和优化,以便提供关于它们所处的空间/环境的全局理解。所述框架支持锚定内容、共享设备视点和协作三维模型。
Mesh可以帮助你创建一个比GPS精确几个数量级的世界映射,它甚至可以在没有GPS接入的地方工作。它有助于提供“世界锁定的全息图”,亦即可以绑定到特定的兴趣点。另外,Mesh可以生成与给定对象的精确布局和几何体一致的相同理解,从而允许开发者轻松构建需要视觉信息(如指令、服务记录和其他重要数据)叠加的应用程序。
3.全息渲染:全息渲染是一个典型的智能边缘和智能云架构实例。不论计算和热预算几何,它都能够提供毫无折损的保真度。对于每个场景和模型,Mesh允许你在应用程序中无缝地选择本地独立渲染或云端远程渲染。这为设计应用程序提供了灵活性,并允许你根据设备对延迟和保真度进行优化。不仅如此,全息渲染支持大多数3D文件格式在Mesh应用中进行本地渲染,从而解决了引入用户现有3D模型以进行协作的难题。
4.多用户同步:在协作会话中创建全息图和彼此的共同视角是一个巨大的挑战。在Mesh中,多用户同步将能够实现所述的情景,包括任何姿势更新(动作和表情),或者任何正在空间中发生的全息变换。不论是在同一物理空间还是相隔地球两半,所有这一切都发生在100毫秒的延迟之内。另外,Mesh的空间音频能够增强体验,在多用户场景中创建一种临在同一物理空间中的感觉。
为了利用所述功能和核心平台特性,Mesh提供了一个跨平台开发者SDK,这样你就可以创建各种平台和设备的应用程序。今天,它支持Unity,以及本地C++和C#,但在未来几个月里,Mesh将将支持Unreal,Babylon和ReactNative。除了访问所述功能之外,SDK另外提供了预构建的UXconstruct。这种预构件的设计使开发过程变得更简单,更快捷。
支持Mesh的应用程序:MicrosoftMesh已经提供了一系列的应用体验。HoloLens2版的Meshapp和具有全新企业功能的
团队最后总结道:“Mesh开发平台是一个全面的平台,其工具和功能旨在帮助开发者快速入门,并提供引人入胜的多用户混合现实体验。我们将继续改进SDK以支持更多的引擎和框架。”