结合机器学习技术,AR虚拟钢琴应用《AR Pianist》

2020-01-28 19:40:04来源:青亭网


1月28日青亭网报道,此前,软件开发者和3D艺术创作者FayezSalka在社交媒体分享了一段AR软件的体验视频获得大量网友关注。

无我VR 聚合新闻

据了解,这是一个基于《ARPianist》软件的视频,该软件是一个基于钢琴的AR软件,当你将手机摄像头对准一架钢琴时,就会弹奏乐曲,并且钢琴按键会对应颜色标识。

不仅如此,软件还会模拟一个AR弹奏着,通过虚拟化身的形式进行演奏。甚至,最终只识别钢琴,然后进行整个AR环境的模拟。

据悉,《ARPianist》结合了机器学习技术,其通过CoreML模型,重点在于可以在任何光照环境下,识别任何品牌的钢琴,无需使用特殊带有marker的图像或标记等,也无需扫描任何钢琴的3D模型。

目前,该应用仅在iOS端提供。FayezSalka表示:这款AR应用潜力巨大,是一个基于手机上体验钢琴演奏的新方式,并且是一个有效的音乐教育资源。例如,你可以将歌曲速度放慢100倍,来查看手部动作,未来这些体验将无缝迁移到AR头显上。

实际上,FayezSalka以及团队此前开发的另一款与钢琴有关的应用《Piano3D》就是一个非常优秀的应用,其也内置了AR模式,并且多次被AppStore推荐,下载量超700万次。而这款《ARPianist》也是基于此前《Piano3D》的一些成就。

参考:VRscout

新闻媒体更多>>
  • VR网
  • Yivian
  • 青亭网
  • 麦逗VR
  • VR陀螺
  • 魔多VR