文/VR陀螺Pancake

2018年，一支别开生面的VR游戏视频风靡全球，从此成就了一款现象级产品，它就是《BeatSaber》。直到现在《BeatSaber》仍然霸榜全球，单Quest平台收入就超过了一亿美元。

全球巨头探索MRC视频拍摄

依靠绿幕或蓝幕的虚拟现实混合拍摄在影视制作行业几乎是标配，特别是在需要进行虚实融合特效制作、动画电影拍摄时，制作团队几乎都会采用绿幕+动作捕捉的方式，如今也有一部分采用LED屏幕代替绿幕背景，来实现虚拟拍摄的方案。

影视制作当中的虚拟拍摄，是为了实现更好的虚实融合特效，以及降低传统制作成本，更具定制化的故事情节；而目前VR领域中兴起的MRC视频拍摄则是基于热门的游戏场景，更好地表现VR游戏的沉浸魅力，吸引玩家。为了实现更低门槛、低成本的MRC拍摄方案，全球诸多头部企业都进行了积极的探索。

（一）Meta：绿幕+实时串流，较高成本的MRC视频制作

Meta是VR行业龙头企业，它也是最早探索基于VR头显的MRC视频制作的厂商。早在2019年的开发者大会OculusConnect6上，Meta就展示了其混合现实捕捉工具（MixedRealityCaptureTool，简称MRC）。

官方的MRC展示视频中，效果十分震撼，不仅虚实画面实时同步，而且人物在虚拟场景抠像十分清晰，接触边缘也无噪点和模糊处。

如此精美的MRC视频，当然也需要制作者付出更高的代价。据Meta官方介绍，Meta的MRC视频制作，需要使用MRC工具，还要使用分发软件（OBS）进行拍摄。

与之进行配合的硬件还包括：具备独显功能的游戏级个人电脑，接入个人电脑的外置摄像头，一台Meta的VR头显以及绿幕背景。

虽然Meta的MRC存在一定学习成本、时间成本和配置要求，但相对于传统“纯后期抠图”的视频制作形式，Meta在工作流程上进行了大幅度精简，开创了早期基于VR头显的第一方MRC视频制作的先河。

（二）LIV：PC+手机双端，玩法多样的第三方MRC

相对于Meta提供的基于PC的MR视频制作解决方案，第三方平台LIV的解决方案则更加具备灵活性，它支持PC和手机双端，并且在深度机器学习的加持下，无论用户是否有绿幕，皆可进行MRC的视频拍摄。

另外，LIV在PC端不仅仅支持MRC视频拍摄，还支持MRC视频直播、自定义Avatar类型的MR视频等。

LIV官网

与Meta一样，LIV在PC端效果突出，并且操作更简单，仅需从Steam平台上下载LIV即可解决软件端的所有问题。

不过基于PCVR内容的LIV也提出了更高的PC配置要求——至少英伟达GTX1060或6GB同档位的独立显卡，8GBDDR3、英特尔i5处理器、固态硬盘。

LIV还支持手机端的配置，它需要在手机端上安装LIV，以及在Quest头显上安装LIVConnect应用。安装完所有内容后，Quest上的LIVConnect应用会提醒用户通过快速校准进行调整。

PICO：无绿幕+智能手机,更低门槛的MRC制作方案

2022年，PICO也正式推出了其官方的MRC，在提升效果的同时进一步降低了使用门槛。

官方教程显示，只需让VR一体机与智能手机处于同一局域网下，再通过手机端的“PICOVR助手”APP点击“混合现实录制”，按照官方提示，经过简单的头显与手机校准，即可实现MR视频的录制。

图源：VR陀螺

PICO的MRC没有MetaQuest那样复杂的PC环境配置，只需一部智能手机即可，与LIV的手机端录制功能一样，PICO的MRC不需要绿幕（同时也有绿幕模式，使用绿幕模式拍摄效果更好），并且不需要在手机端安装额外的工具，也不受英语以及网络的限制，对于国内用户来说，使用门槛更低，拍摄效果更好。

事实上，PICO的MRC从推出至今，在小半年的时间里也历经了两次的迭代和优化，作为第一批体验到MRC的用户，陀螺君也看到了PICO在MRC上进步，包括支持更多的手机型号和更多VR内容适配。

图源：VR陀螺

在第一代的版本中，PICOMRC仅支持在iPhoneX及更新版本的苹果手机中使用，而现在它同时也扩展到了安卓机型当中。不过，由于实时抠图对性能要求较高，手机性能会在一定程度上影响抠图效果。

目前PICO的MRC已支持在八款主流热门游戏中使用，包括《多合一运动VR》、《疯狂功夫》、《超燃一刻》、《方寸幻境》、《VFC格斗家》、《Histream》、《动感音旅》、《水果忍者》，更多作品在陆续适配中。

PICOMRC背后原理揭秘：AI抠图+无线投屏

之所以PICO的MRC能够实现如此好用的拍摄效果，据VR陀螺了解，其主要依赖于多项技术创新以及背后字节的技术中台提供的强大的抠图技术以及无线投屏能力的帮助。

一方面，PICO利用了深度学习抠图模型，将人物从物理环境中抠出并且叠加到虚拟游戏空间中。混合现实录制抠图模型不仅可以抠人，也可以抠VR头显和手柄，是对VR场景下做的特别优化。

图源：VR陀螺

AI深度学习的抠图模型，让PICOVR实现了不用绿幕也能拍出虚实融合的MR视频效果，而且其“虚实叠加”的显示效果极具层次感，非一般的后期剪辑可比。当然，PICO也支持“绿幕模式”拍摄，在增加背景绿幕等显著颜色背景之后，通过实时自动合成渲染的方式，可以大幅提升抠图和视频整体效果。

另一方面，在手机端实时显示的“虚实叠加”混合现实视频，背后则是其强大的“无线投屏”技术，它需要将VR头显内实时显示的“虚拟画面”通过WIFI/蜂窝网络同步输出到手机端，这对于带宽网络环境和PICOVR头显内的实时录屏传输技术都提出了苛刻的要求。

低门槛MRC视频制作,激活VR商业生态循环

MRC视频是一种极具科幻气息的内容展现形式，在5G大流量时代，短视频时代，可以给到内容创作者、VR开发商和VR硬件厂商连环正向效应。

国产化“混合现实录制”工具的出现，可以让更多视频博主加入到MRC视频拍摄的队伍中来，丰富UGC视频内容创作，凭借差异化的内容，也能赢得更多流量关注。

并且，透过MRC视频，VR内容开发商们也能让更多C端用户接触到自家内容的创新性和趣味性，让MRC视频成为VR内容的最佳传播介质，从而提高产品销量和品牌影响力。据悉，VR内容开发商只需在软件内集成对应SDK，即可让自家VR软件支持PICOMRC。

结语

MRC的可拓展性很强，未来或许并不局限于“混合现实视频”制作，在MRC视频的基础上，还能进一步利用纯视觉全身动捕等技术，将真人自定义为Avatar，从而创作个性化MRC视频；此外，通过在线流媒体技术，实现MR直播，在VR中与用户互动，创新传统直播形式也是未来的发展趋势之一。

MRC虚实融合视频创作工具的推出，将大幅改变VR内容传播效率与效果，为全球VR终端普及带来重要价值。期待未来的MRC功能不断拓展，VR内容生态更加丰富，中国VR产业迈向更高的阶梯。