外媒报道,谷歌研究人员开发出一种深度学习系统,旨在帮助计算机更好地识别和分离出嘈杂环境中的个体声音。
谷歌公司内部团队正试图复制“人类大脑专注于某个声音来源同时可过滤掉其他声音”这种能力,就像你在就会上只与某个朋友交谈。谷歌的方法中使用了一个视听模型,所以它主要集中于在视频中隔离声音。该公司发布了一些视频,展示了该技术的实际应用情况。
谷歌表示,这项技术可以应用与使用单一音轨的视频,并能在视频算法中隔离声音,这取决于谁在说话,或者是让用户手动选择他们想听到的声音的人脸。谷歌称,这里的视觉组件是关键,因为当某人的嘴在动时,这项技术会观察到,以便能在特定时刻更好地识别在某人的声音,并为视频的长度创建更精确的个人语音轨迹。
这篇博客文章写道,研究人员在YouTube上收集了10万段“讲座和谈话”视频,从这些视频中提取了近2000小时的视频片段,并将音频与人工背景噪声混合,创造了“合成鸡尾酒派对”。然后谷歌通过阅读人们在每个视频框架中说话的“脸缩略图”和该视频原声带的谱图,训练技术人员将混合音频进行拆分。该系统能够分辨出哪个音频源在给定的时间内属于哪张人脸,并为每个扬声器创建单独的语音轨迹。
谷歌特别指出,封闭字幕系统是该系统的一个优势,但该公司表示,它设想了“这一技术的广泛应用”,并且“目前正在探索将其纳入各种谷歌产品的机会”。Hangouts和YouTube似乎是两个容易起步的地方。当应用到智能眼镜(比如谷歌眼镜、语音放大耳塞)中时,不难看出该技术是如何工作的。
帮助像谷歌Home这样的智能音箱识别个人声音,这似乎是另一个用例,但是因为这个模型集中在视频上,它可能与配有显示器的智能音箱合作效果会更好,比如亚马逊的Echo Show。今年早些时候,谷歌为“智能显示设备”(如Echo Show)集成了Google Assistant,但该公司还没有发布自己的类似硬件产品。