编译/VR陀螺
近日,美国商标专利局发布了一项苹果公司的专利,涉及具有物体移动检测功能的头戴式显示设备。
苹果公司在其专利中指出,该专利公开的各种实施方案用于检测处于头戴式设备(HMD)视场中的移动物体。在各种实施方案中,HMD包括显示器、事件摄像头以及相关的处理器。
在某些实施方案中,该方法包括根据与一个或多个物体相关联的深度数据,合成描述事件摄像头视场中一个或多个物体特征的第一光流。在某些实施方案中,该方法包括根据事件摄像头提供的事件图像数据,确定描述事件摄像头视场中一个或多个对象的第二光流。在某些实施方案中,该方法包括根据第一光流和第二光流确定一个或多个物体中的第一物体正在移动。
在各种实施方案中,头戴式设备(HMD)包括摄像头和显示器。在某些实施方案中,摄像头包括一个面向场景的摄像头。在某些实施方案中,显示屏呈现摄像头视场中物体的视觉呈现。
在各种实施方案中,HMD是可移动的。例如,佩戴HMD的用户可以倾斜和/或旋转HMD,随着HMD的移动,摄像头视场中的物体也会发生变化。在各种实施方案中,HMD可能需要识别正在移动的物体。在某些实施方案中,HMD可能需要在HMD移动时(例如,在HMD旋转、倾斜和/或平移时)识别正在移动的物体。
在各种实施方案中,HMD利用来自事件摄像头的图像数据来识别正在移动的物体。在某些实施方案中,HMD合成第一光流(例如,预期光流),该光流描述事件摄像头视场中的一个或多个物体。
HMD会根据事件摄像头提供的事件图像数据确定第二光流(例如,当前光流),该光流用于描述事件摄像头视场中的物体。在某些实施方案中,HMD根据第一光流和第二光流确定事件摄像头视场中的一个物体正在移动。例如,HMD根据当前光流不同于预期光流来确定其中一个物体正在移动。
HMD还会显示场景中的物体正在移动的指示。在某些实施方案中,当HMD的显示器显示与场景不对应的内容时(例如,当显示器显示与游戏、电影或视频聊天对应的内容而不是显示场景中物体的视觉表示时),HMD会显示该指示。在某些实施方案中,HMD会指示事件摄像头视场中的哪个物体正在移动。
图源:ApplePatent11838492
图1是根据某些实施方案的示例操作环境#100的框图。作为一个非限制性示例,操作环境#100包括控制器#200和HMD#300。在图1的示例中,HMD#300位于场景#105(例如,会议室等地理位置)。在图1的示例中,场景#105包括各种物体,如狗#160a和球#160b。如图1所示,用户#110可以佩戴#HMD300。
在一些实施例中,控制器#200被配置为管理和协调用户#110的AR/VR)体验。在一些实施例中,控制器#200包括软件、固件和/或硬件的适当组合。
图源:ApplePatent11838492
图2是根据某些实施方案的控制器#200示例的框图。在某些实施方案中,一个或多个通信总线#204包括用于互连和控制系统组件之间通信的电路。在某些实施方案中,一个或多个I/O设备#206包括键盘、鼠标、触摸板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器、触摸感应显示器和/或类似设备中的至少一种。
图源:ApplePatent11838492
图4是根据某些实施方案绘制的HMD#300框图。在各种实施方案中,数据获取单元#342获取场景#105的3D模型#352。在某些实施方案中,数据获取单元#342获取与场景相关的深度数据#354。
在某些实施方案中,数据获取单元#342从3D模型#352中检索深度数据#354。而深度数据#354显示场景#105中各种物体相对于HMD#300的位置。换句话说,在某些实施方案中,深度数据#354表示每个物体距离HMD#300有多远。
在某些实施方案中,数据获取单元#342从深度摄像头#314b获取深度数据#354。数据获取单元#342从控制器#200接收三维模型#352和/或深度数据#354。而数据获取单元#342会将深度数据#354提供给光流确定单元#346。
在各种实现方式中,光流确定单元#346根据深度数据#354合成场景#105的预期光流(OF)#358。在某些实施方案中,预期光流#358会描述事件摄像头#314a视场中的物体。
例如参照图1,预期光流#358描述了事件摄像头#314a视场#316中的狗#160a和球#160b。在某些实施方案中,HMD#300(例如光流确定单元#346)从另一个实体(例如控制器#200)接收场景#105的预期光流#358。在某些实施方式中,光流确定单元#346将预期光流#358提供给运动检测单元#348。
来源: