迪士尼研究院协同几所大学的研究人员，最近发表论文，介绍了一项最新研究成果：通过机器深度学习，模拟真实人类语言和发音与口型之间的关系，实时为VR中的虚拟人物或者动画CG角色配音。
从视频来看，不仅声音是原装的，而且口型也是基本吻合的。
在上面提到的论文里，研究人员阐述了这个“深度学习／神经网络”（deep learning / neural network）系统，通过同一位演讲者的8小时共2543个句子讲话的训练，习得口型与不同音节之的匹配，并且能够将不同的发音与口型实时对应起来。
从迪士尼发布的视频看到，经过训练，这套系统可以分析来自不同人说的不同语种的语言（中文那个有惊喜）。自动匹配好相应的口型。并且自动关联到动画或者虚拟人物的面部动作。
迪士尼在演示视频中介绍，通过深入学习的系统具有下列几个很具吸引力的特性：实时运行，极少需要修正参数，轻松调整语言逻辑，易于编辑，创建个性化和带有情感的语言，并且与现有的动画重定向方式兼容。
目前给动画片的CG角色配音都是由技术熟练的动画师手工完成。比如我们此前介绍过今年奥斯卡最佳视效提名影片、迪士尼的《奇幻森林》中，为猩猩王Louie配音的是大家熟悉的老戏骨Christopher Walken（蝙蝠侠、断头谷等，1978年奥奖最佳男配）。观众会觉得他的样貌特征有一种与Louie合体的感觉，这也是这部影片特效团队的杰作——把为动物角色配音的明星们的面貌特征与动物角色融合在一起，创建CG的明星“动物形象。 比如为那只熊配音的老比尔·莫瑞。但是这么做需要付出的代价（技术、资源和预算）都是超高的，否则也不会赢得奥斯卡提名。这对于高票房回馈的好莱坞当然是可行的，但更大范围的普及应用就不能都指望用得起特效团队了。
目前迪士尼的这套最新机器神经系统，虽然暂时还无法实现大银幕上那种，配音与角色表情合二为一的清晰逼真效果。但是它的自动合成和实时配音还是在很多场合都有很实际的应用。比如大型角色扮演的游戏直播、没钱请动画师手工制作或者受时效性限制（直播）的项目等。
在VR里，这个系统可以为用户的虚拟形象实时配音。不仅保持现实中的声音，甚至还有口型。这似乎解决了目前VR社交中虚拟阿凡达与现实角色“同步开口”的问题。虽然面部动作捕捉技术实际上是跟踪口型最准确的方式，但就目前的情形看，想要这一技术普遍进入市场应用仍然需要一个较长的时间，在此之前，迪士尼的这个机器神经系统还是能顶上用场的。
从视频演示的demo来看也是非常轻松的。只需要录制一段话，然后系统就会自动匹配到选定的动画角色上。而且并不界定语种，你说什么语言，都可以实时配音。虽然略显粗糙，但的确很好玩。不管是看着一个模拟真实人类的虚拟人开口说跟自己一样的话、还是看着一头猩猩模仿你的语言。都又惊悚又好笑。
https://v.qq.com/x/page/u0538ogh3vh.html
另一方面，即使不能用在大银幕上，这个系统其实对于动画和VR内容的创作、甚至社交平台上的应用都是很吸引人的。
相关链接：
迪士尼最新混合现实技术：无需头盔手控直接与CG电影角色互动
5部特效巨制 谁将获得89届奥斯卡最佳视效奖
[ IN2原创资讯未经正式书面许可不得转载｜视频／图片来自YouTube]
