苹果新专利:可根据平面视频生成MR环境的系统,用户可使用iPhone或HMD体验

2020-12-13 06:10:35来源:VR陀螺


编译/VR陀螺

据最新曝光的专利,苹果公司正在开发一种系统,该系统可以根据平面视频内容生成混合现实或虚拟现实环境,使用户可以浏览和探索片段。

这项专利由美国专利商标局于日前发表,研究主题是“一种用于生成平面视频内容的合成现实重建的方法和设备”。该专利将合成现实(synthesizedreality,简称SR)定义为数字生成的对象和环境。SR本质上是苹果所指的一个广泛类别,包括虚拟现实、增强现实和混合现实。

用户可以在设备上参与SR体验,无论通过是iPhone或iPad等手持设备,还是传闻中的“AppleGlass”等头戴式设备。他们可以通过一种或多种感觉(包括视觉、味觉、嗅觉和触觉)与SR环境互动。

无我VR 聚合新闻

该专利的大部分重点集中在可以从平面视频内容生成SR角色、对象和环境的系统上。换句话说,该系统可以将电视节目变成VR环境,用户可以使用上述设备进行浏览。

“用户可能希望体验视频内容(例如电视剧集或电影),就像他们和角色一起在场景中一样。换句话说,用户希望将视频内容视为SR体验,而不是简单地观看电视或其他显示设备上的视频内容。”

如苹果所述,大多数SR内容是“精心制作”的,并已添加到用户可以选择的内容库中。然而,该专利描述了一种用于通过“利用数字资产”以“无缝且快速地”将平面内容移植到SR体验中来生成按需SR内容重建方法。

该系统通过识别场景中的“情节效应者”,合成场景描述并通过“根据场景的场景描述来驱动与第一情节效应者相关联的第一数字资产来生成场景的重构。”

正如苹果公司指出的那样,数字资产可能与“情节效应者”的模型相对应-它被定义为视频内容中的角色或演员。

虽然系统可以基于视频内容生成SR重建,但它也可以从关联的文本内容和外部数据中提取信息。可能是视频片段中演员的照片、身高,场景的各种视图以及其他数据。

“在某些实现中,数字资产是至少部分基于视频内容和与视频内容相关联的外部数据即时生成的。在一些实现中,与视频内容相关联的外部数据对应于演员的图片、角色的身高和其他尺寸、布景和物体的各种视图(例如,平面图、侧视图、透视图等视图)等。”

有趣的是,苹果公司还指出,类似的SR生成系统可以基于音频和相关内容(包括有声读物,广播剧和其他纯音频内容)创建交互式场景。

专利的几个部分还详细说明了动作对象(或角色与之交互的对象)与不动作对象之间的区别。这种区别可以使SR系统提前知道场景中需要交互的对象类型。

该专利列出了发明者IanM.Richter、DanielUlbricht、Jean-DanielE.Nahmias、OmarElafifi和PeterMeier。

苹果每周都会申请大量专利,并且不能保证其中描述的技术会成功推向市场。同样,专利申请也并未说明苹果何时会将使用该技术的新产品推向市场。

来源:appleinsider

新闻媒体更多>>
  • VR网
  • Yivian
  • 青亭网
  • 麦逗VR
  • VR陀螺
  • 魔多VR