摄像辅助装置、摄像辅助方法及存储介质专利检索-框架门，大门和窗户专利检索查询-专利查询网

摄像辅助装置、摄像辅助方法及存储介质

阅读：217发布：2020-05-08

专利汇可以提供摄像辅助装置、摄像辅助方法及存储介质专利检索，专利查询，专利分析的服务。并且本发明提供摄像辅助装置、摄像辅助方法及存储介质。该摄像辅助装置使用户能够容易地识别出摄像模块的摄像范围。该摄像辅助装置，包括：头戴式显示单元，其被佩戴到用户的头部；以及控制单元，其被配置为控制所述头戴式显示单元。所述头戴式显示单元包括：框架，其被佩戴到用户的头部；以及透过型显示屏，其由所述框架支撑于在用户佩戴所述框架的状态下所述显示屏覆盖用户的视野的位置处，所述显示屏被配置为显示虚拟空间中定义的物体以使得所述物体叠加在现实空间上。所述控制单元在所述显示屏上显示引导图形作为虚拟空间中定义的物体，所述引导图形指示摄像模块的摄像范围。，下面是摄像辅助装置、摄像辅助方法及存储介质专利的具体信息内容。

权利要求

1.一种摄像辅助装置，包括：
头戴式显示单元，其被佩戴到用户的头部；以及
控制单元，其被配置为控制所述头戴式显示单元，
其中，
所述头戴式显示单元包括：
框架，其被佩戴到用户的头部，以及
透过型显示屏，其由所述框架支撑于在用户佩戴所述框架的状态下所述显示屏覆盖用户的视野的位置处，所述显示屏被配置为显示虚拟空间中定义的物体以使得所述物体叠加在现实空间上，以及
所述控制单元被配置为进行控制以在所述显示屏上显示引导图形作为虚拟空间中定义的物体，所述引导图形指示摄像模块的摄像范围。
2.根据权利要求1所述的摄像辅助装置，其中，
所述摄像模块由所述头戴式显示单元的所述框架支撑，以及
所述控制单元被配置为进行控制以在所述显示屏上显示所述引导图形，以使得所述引导图形位于以所述摄像模块为基准的虚拟空间的坐标系中的恒定坐标处。
3.根据权利要求1所述的摄像辅助装置，还包括位置和姿势传感器，所述位置和姿势传感器被配置为检测所述头戴式显示单元的位置和姿势，其中，
在安装所述摄像模块的现实空间中，所述摄像模块的位置、姿势和视角是固定的，以及所述控制单元被配置为基于由所述位置和姿势传感器检测到的所述头戴式显示单元的位置和姿势来进行控制，以在所述显示屏上显示所述引导图形使得所述引导图形位于相对于现实空间固定的虚拟空间的坐标系中的恒定坐标处。
4.根据权利要求1所述的摄像辅助装置，还包括位置和姿势传感器，所述位置和姿势传感器被配置为检测所述头戴式显示单元的位置和姿势，其中，
所述摄像模块的位置、姿势和视角中的至少一个是可变的，以及
所述控制单元被配置为：
获取可变的所述摄像模块的位置、姿势和视角中的至少一个，
基于所获取的所述摄像模块的位置、姿势和视角中的至少一个，计算在相对于现实空间固定的虚拟空间的坐标系中要显示所述引导图形的坐标，以及
基于计算出的虚拟空间中的要显示所述引导图形的坐标以及由所述位置和姿势传感器检测到的所述头戴式显示单元的位置和姿势来进行控制，以在所述显示屏上显示所述引导图形使得所述引导图形位于计算出的虚拟空间中的要显示所述引导图形的坐标处。
5.根据权利要求1至4中任一项所述的摄像辅助装置，还包括布置信息获取单元，所述布置信息获取单元被配置为获取用于指示物体在包括所述摄像模块的摄像范围的现实空间中的布置的布置信息，其中，
所述控制单元被配置为进行控制以基于所述布置信息和指示要被摄像的摄像对象物的形状的信息来识别所述摄像对象物的位置，以及
在所述摄像对象物没有位于所述摄像范围内的情况下，所述控制单元被配置为进行控制以在所述显示屏上显示用于引导所述摄像对象物移动到所述摄像范围内的导航信息和/或指示所述摄像对象物没有位于所述摄像范围内的警报信息。
6.一种摄像辅助装置的摄像辅助方法，所述摄像辅助装置包括：头戴式显示单元，其被佩戴到用户的头部，所述头戴式显示单元包括：框架，其被佩戴到用户的头部；以及透过型显示屏，其由所述框架支撑于在用户佩戴所述框架的状态下所述显示屏覆盖用户的视野的位置处，所述显示屏被配置为显示虚拟空间中定义的物体以使得所述物体叠加在现实空间上，
所述摄像辅助方法用于控制所述头戴式显示单元，并且包括：
进行控制以在所述显示屏上显示引导图形作为虚拟空间中定义的物体，所述引导图形指示摄像模块的摄像范围。
7.一种存储介质，其存储用于使计算机执行根据权利要求6所述的摄像辅助方法的程序。

说明书全文

摄像辅助装置、摄像辅助方法及存储介质

技术领域

[0001] 本发明涉及帮助识别摄像模块的摄像范围的摄像辅助装置。

背景技术

[0002] 近年来，随着配备有诸如照相机等的摄像模块的电子设备的普及，已经实现了利用图像进行各种类型的处理的各种系统。例如，专利文献1公开了包括如下的测量数据收集装置：摄像模块，其被配置为拍摄表示测量结果的对象测量工具的外观图像；以及测量读取模块，其被配置为从由摄像模块拍摄的对象测量工具的外观图像读取测量值。测量数据收集装置能够从图像读出测量值。

[0003] 引文列表

[0004] 专利文献

[0005] 专利文献1：JP 2016-186439A

发明内容

[0006] 发明要解决的问题

[0007] 为了使专利文献1中描述的测量数据收集装置读出测量值，需要使测量工具位于摄像模块的摄像范围内。然而，用户不容易准确地掌握摄像模块的摄像范围，并且测量值可能无法平滑地读出。这也适用于利用由摄像模块拍摄的图像的其它系统。因此，在要使被摄体位于摄像模块的摄像范围内的情况下，用户难以识别摄像模块的摄像范围。

[0008] 鉴于上述，本发明的目的在于提供使用户能够容易地识别摄像模块的摄像范围的摄像辅助装置。

[0009] 用于解决问题的方案

[0010] 为了解决上述问题，本发明提供了摄像辅助装置，包括：头戴式显示单元，其被佩戴到用户的头部；以及控制单元，其被配置为控制所述头戴式显示单元。所述头戴式显示单元包括：框架，其被佩戴到用户的头部；以及透过型显示屏，其由所述框架支撑于在用户佩戴所述框架的状态下所述显示屏覆盖用户的视野的位置处，所述显示屏被配置为显示虚拟空间中定义的物体以使得所述物体叠加在现实空间上。所述控制单元被配置为进行控制以在所述显示屏上显示引导图形作为虚拟空间中定义的物体，所述引导图形指示摄像模块的摄像范围。

[0011] 在本申请的发明中，所述摄像模块可以由所述头戴式显示单元的框架支撑，以及所述控制单元可以被配置为进行控制以在所述显示屏上显示引导图形，以使得所述引导图形位于以所述摄像模块为基准的虚拟空间的坐标系中的恒定坐标处。

[0012] 可选地，在本申请的发明中，在所述摄像模块的位置、姿势和视角在安装所述摄像模块的现实空间中固定的情况下，所述摄像辅助装置还可以包括位置和姿势传感器，所述位置和姿势传感器被配置为检测所述头戴式显示单元的位置和姿势，以及所述控制单元可以被配置为基于由所述位置和姿势传感器检测到的所述头戴式显示单元的位置和姿势来进行控制，以在所述显示屏上显示所述引导图形使得所述引导图形位于相对于现实空间固定的虚拟空间的坐标系中的恒定坐标处。

[0013] 可选地，在本申请的发明中，在所述摄像模块的位置、姿势和视角可变的情况下，所述摄像辅助装置还可以包括位置和姿势传感器，所述位置和姿势传感器被配置为检测所述头戴式显示单元的位置和姿势，以及所述控制单元可以被配置为：获取可变的所述摄像模块的位置、姿势和视角中的至少一个，基于所获取的所述摄像模块的位置、姿势和视角中的至少一个来计算在相对于现实空间固定的虚拟空间的坐标系中的要显示所述引导图形的坐标，以及基于计算出的虚拟空间中的要显示所述引导图形的坐标以及由所述位置和姿势传感器检测到的头戴式显示单元的位置和姿势来进行控制，以在所述显示屏上显示所述引导图形使得所述引导图形位于计算出的虚拟空间中的要显示所述引导图形的坐标处。

[0014] 所述摄像辅助装置还可以包括布置信息获取单元，所述布置信息获取单元被配置为获取用于指示物体在包括所述摄像模块的摄像范围的现实空间中的布置的布置信息。然后，所述控制单元可以被配置为进行控制以基于布置信息和指示摄像对象物的形状的信息来识别要被摄像的所述摄像对象物的位置，以及在所述摄像对象物没有位于所述摄像范围内的情况下，所述控制单元可以被配置为进行控制以在所述显示屏上显示用于引导所述摄像对象物移动到所述摄像范围内的导航信息和/或指示所述摄像对象物没有位于所述摄像范围内的警报信息。

[0015] 本发明提供了一种摄像辅助装置的摄像辅助方法，所述摄像辅助装置包括：头戴式显示单元，其被佩戴到用户的头部，所述头戴式显示单元包括：框架，其被佩戴到用户的头部；以及透过型显示屏，其由所述框架支撑于在用户佩戴所述框架的状态下所述显示屏覆盖用户的视野的位置处，所述显示屏被配置为显示虚拟空间中定义的物体以使得所述物体叠加在现实空间上，所述摄像辅助方法用于控制所述头戴式显示单元，并且包括：进行控制以在所述显示屏上显示引导图形作为虚拟空间中定义的物体，所述引导图形指示摄像模块的摄像范围。

[0016] 本发明提供一种存储介质，其存储用于使计算机执行上述摄像辅助方法的程序。

[0017] 另外，本发明的程序使计算机用作上述摄像辅助装置中的任何一个摄像辅助装置中的控制单元。附图说明

[0018] 图1是示出根据第一实施例的摄像辅助装置100的结构的示意性概略图。

[0019] 图2是示出在佩戴HMD单元110的用户的视野V1中显示示出照相机113的摄像范围V2的引导图形F的情况的示意图。

[0020] 图3A和3B是示出根据第一实施例的视野V1和摄像范围V2之间的关系的示意图。

[0021] 图4是示出根据第二实施例的摄像辅助装置200的结构的示意性概略图。

[0022] 图5A和5B是示出根据第二实施例的视野V1和摄像范围V2之间的关系的示意图。

[0023] 图6是示出根据第三实施例的摄像辅助装置300的结构的示意性概略图。

[0024] 图7A和7B是示出根据第三实施例的视野V1和摄像范围V2之间的关系的示意图。

[0025] 图8是示出根据第四实施例的摄像辅助装置400的结构的示意性概略图。

[0026] 图9是示出根据第四实施例的用户的视野V1的示例的图。

[0027] 图10是示出引导图形F的修改示例的图。

[0028] 附图标记说明

[0029] 100,200,300,400 摄像辅助装置

[0030] 110,210,310,410 HMD单元

[0031] 120,220,320,420 控制单元

[0032] 430 布置信息获取单元

[0033] C 照相机

[0034] F 引导图形

[0035] V1 用户的视野

[0036] V2 摄像范围具体实施例

[0037] 以下将基于附图描述本发明的实施例。

[0038] 第一实施例

[0039] 图1是根据第一实施例的摄像辅助装置100的结构的示意性概略图。图2是示出在佩戴HMD单元110的用户的视野V1中显示表示照相机113的摄像范围V2的引导图形F的情况的示意图。如图1所示，摄像辅助装置100包括头戴式显示单元110(以下称为HMD单元110)和控制单元120。HMD单元110和控制单元120通过有线或无线通信地连接在一起。

[0040] HMD单元110包括框架111、显示屏112和照相机113。框架111被佩戴到使用HMD单元110的用户的头部以支撑显示屏112和照相机113。框架111例如是支承在两个耳朵和鼻子处的眼镜型、通过将弹性带绑在头部周围而由用户佩戴的护目镜型、或者由用户佩戴使得框架佩戴在头部上的头盔型等。然而，可以使用任何类型的框架111，只要框架111能够稳定地支撑显示屏112和照相机113即可。

[0041] 显示屏112是被配置为显示三维图像的透过型显示装置，并且被设置在当用户佩戴HMD单元110时显示屏112覆盖视野V1的位置处。佩戴HMD单元110的用户可以通过显示屏112观看现实空间中存在的物体。另外，用户可以如存在于虚拟空间中一样观看在显示屏
112上三维显示的物体。因此，HMD单元110可以向用户提供混合现实(MR)空间，在该混合现实空间中，现实空间中存在的物体和虚拟空间中存在的物体彼此重叠。

[0042] 使用如上所述的HMD单元110，摄像辅助装置100在显示屏112上显示示出摄像范围V2的引导图形F作为虚拟空间中的物体。

[0043] 照相机113与本发明中的摄像模块相对应，并拍摄摄像范围V2内的视频。照相机113可以是拍摄运动图像的照相机，但是也可以是拍摄静止图像的照相机。照相机113被设置在框架111的中心附近，以面向对佩戴HMD单元110的用户的正面进行摄像的方向。照相机
113的摄像范围V2由照相机113的光学系统的特性确定，并且是以照相机113为基准的预定范围。

[0044] 控制单元120控制由显示屏112提供的虚拟空间的坐标系定义的物体的显示。控制单元120由包括诸如CPU、存储介质和输入/输出模块等的计算机通过CPU执行存储介质中所存储的程序来实现。在图2中，控制单元120通过有线或无线连接到HMD单元110，但是可以与HMD单元110一体地配置。

[0045] 如上所述，摄像范围V2是以照相机113为基准的预定范围，因此，控制单元120使用以照相机113为基准的相对坐标系作为虚拟空间的坐标系，并显示示出摄像范围V2的引导图形F(例如，矩形框)以使得引导图形F位于该坐标系中的恒定坐标处。这里，由于照相机113固定到HMD单元110的框架111，因此在头部上佩戴HMD单元110的用户移动头部的情况下，以照相机113为基准的坐标系也改变。然而，由于不仅照相机113而且显示屏112也固定到HMD单元110的框架111，因此显示屏112不相对于照相机113移动，并且总是在以照相机
113为基准的坐标系中的适当位置。因此，控制单元120显示示出摄像范围V2的引导图形F，以使得引导图形F总是在通过显示屏112可见的视野V1内的相同位置处呈现。

[0046] 图3A和3B是示出从用户上方(在垂直于图的纸面的方向上)观看时第一实施例中的视野V1和摄像范围V2之间的关系的示意图。以照相机113为基准的坐标系如图3A和3B所示定义。也就是说，在本实施例中，虚拟空间的坐标系根据HMD单元110中安装的照相机113的位置和姿势的改变而相对于现实空间改变。

[0047] 图3A示出用户佩戴HMD单元110并且面向图中的上方。在这种状态下，示出摄像范围V2的引导图形F显示在Y轴方向上位于距照相机113预定距离(例如，一米)的位置处。示出摄像范围V2的引导图形F可以是例如在预定距离处沿着摄像范围V2的轮廓延伸的闭合曲线框。

[0048] 图3B示出用户相对于图3A中的状态将头部的方向向右侧改变的状态。在用户改变头部的方向的情况下，坐标系也如图3B所示地改变。然而，显示屏112也与坐标系同样地改变方向，因此，位于以照相机113为基准的相对坐标系中的恒定坐标处的示出摄像范围V2的引导图形F保持显示在显示屏112上，以使得引导图形F呈现在用户的视野V1中的恒定位置处。

[0049] 控制单元如上所述控制显示屏的显示，以使用户能够可视地识别HMD单元中安装的照相机的摄像范围。

[0050] 第二实施例

[0051] 图4示出根据第二实施例的摄像辅助装置200的示意性概略图。在第二实施例中，照相机C未被包括在HMD单元210中，并且以预定方向固定在佩戴HMD单元210的用户站立的现实空间的预定位置处(例如，在天花板或壁面上)，其中照相机C的摄像范围V2通过摄像辅助装置200变得可见。另外，照相机C的视角固定。如图4所示，根据第二实施例的摄像辅助装置200包括HMD单元210和控制单元220。第二实施例中的HMD单元210与第一实施例中的HMD单元110的不同之处在于，HMD单元210不包括照相机，而是包括位置和姿势传感器214。然而，HMD单元210在其它方面被配置为与HMD单元110相同，例如，HMD单元210包括显示屏212。另外，与根据第一实施例的控制单元120一样，控制单元220由包括CPU、存储介质、输入/输出模块的计算机实现。然而，控制单元220与控制单元120的不同之处在于，控制单元220具有基于位置和姿势传感器214的输出来控制示出摄像范围V2的引导图形F的绘制的功能。

[0052] 位置和姿势传感器214是用于检测HMD单元210的位置和姿势的传感器。位置和姿势传感器214可以由加速度传感器或陀螺传感器等实现。注意，代替被包括在HMD单元210中，位置和姿势传感器214可以与HMD单元210分开设置。

[0053] 照相机C与本发明的摄像模块相对应，并且拍摄摄像范围V2内的视频。照相机C可以是拍摄运动图像的照相机，但也可以是拍摄静止图像的照相机。如上所述，照相机C固定在现实空间中的预定位置处(例如，在天花板或壁面上)。照相机C的摄像范围V2通过照相机C的视角确定，并且是以照相机C为基准的预定范围。

[0054] 这里，在佩戴HMD单元210的用户移动头部的情况下，引导图形F相对于显示屏212的相对位置改变。因此，控制单元220基于由位置和姿势传感器214检测到的HMD单元210的位置和姿势以及引导图形F的坐标进行控制，以根据需要更新示出摄像范围V2的引导图形F在显示屏212上的绘制使得引导图形F静止呈现在相对于安装照相机C的现实空间固定的虚拟空间的坐标系中的恒定坐标处。

[0055] 图5A和5B是示出从用户上方(在垂直于图的纸面的方向上)观看时根据第二实施例的视野V1和摄像范围V2之间的关系的示意图。如图5A和5B所示，以现实空间中的安装照相机C的预定位置为基准来定义虚拟空间的坐标系。换句话说，在本实施例中，虚拟空间的坐标系是无论HMD单元110的位置和姿势的改变如何，相对于现实空间都固定的坐标系。

[0056] 在图5A中，照相机C布置为面向图中的上方，并且佩戴HMD单元210的用户位于照相机C的右侧，面向图中的左上方。由于照相机C相对于现实空间固定，因此引导图形F被限定在虚拟空间的坐标系中的恒定位置坐标处。根据HMD单元210的位置和姿势，在HMD单元210的显示屏212上显示示出摄像范围V2的引导图形F，以使得引导图形F位于距照相机C的预定距离(例如，一米)处。示出摄像范围V2的引导图形F可以是例如在预定距离处沿着摄像范围V2的轮廓延伸的闭合曲线框。

[0057] 在图5B中，用户相对于图5A的状态将头部向右转动，以面向图中的上方。由于照相机C相对于现实空间固定，因此即使在用户改变头部的方向的情况下，要显示引导图形F的位置也保持不变。另一方面，显示屏212与用户的头部同样地改变方向。因此，通过显示屏212的用户的视野V1改变。然而，引导图形F根据HMD单元210的位置和姿势保持显示在显示屏112上，以静止呈现在相对于现实空间的固定坐标系中的恒定位置处。

[0058] 如上所述的基于HMD单元210的位置和姿势的显示控制使用户能够在视觉上识别出相对于现实空间固定安装的照相机C的摄像范围V2。

[0059] 第三实施例

[0060] 图6示出根据第三实施例的摄像辅助装置300的示意性概略图。同样，在第三实施例中，照相机C也未被包括在HMD单元310中，其中照相机C的摄像范围通过摄像辅助装置300变得可见。然而，与第二实施例不同，照相机C被配置为能够改变位置、姿势和视角中的至少一个(以下称为“位置等”)。照相机C的位置等可以被配置为通过自动控制或外部操作而改变。如图6所示，与根据第二实施例的摄像辅助装置相同，根据第三实施例的摄像辅助装置300包括HMD单元310和控制单元320。HMD单元310被配置为与第二实施例中的HMD单元210在例如HMD单元310包括显示屏312以及位置和姿势传感器314方面相同。另外，与第一实施例中的控制单元120相同，控制单元320由包括CPU、存储介质和输入/输出模块的计算机实现。
然而，控制单元320与控制单元120的不同之处在于，控制单元320具有基于照相机C的位置等以及HMD单元310的位置和姿势来控制引导图形F的绘制的功能。

[0061] 为了实现这种绘制，控制单元320获取照相机C的位置等。照相机C的位置等可以从照相机C中包括的传感器的检测值来获取，或者可以从用于控制照相机C的位置等的设备或程序来获取。可选地，可以通过利用3D传感器等进行跟踪来获取照相机C的位置等。

[0062] 如上所述，照相机C没有被包括在HMD单元310中，并且被配置为改变位置等。照相机C的摄像范围V2由照相机的光学系统的特性确定，并且是以照相机C为基准的预定范围。由于该原因，控制单元320响应于照相机C的位置、姿势和视角的改变，计算显示示出摄像范围V2的引导图形F(例如，矩形框)的坐标。

[0063] 另外，在佩戴HMD单元310的用户移动头部的情况下，引导图形F相对于显示屏312的位置改变。因此，控制单元320基于由位置和姿势传感器314检测到的HMD单元310的位置和姿势以及基于照相机C的位置等所计算出的要显示引导图形F的坐标进行控制以根据需要来更新示出摄像范围V2的引导图形F在显示屏312上的绘制。进行该更新以使得示出照相机C的摄像范围V2的引导图形F随着照相机C的位置等的改变而呈现改变。

[0064] 图7A和7B是示出从用户上方(在垂直于图的纸面的方向上)观看时根据第三实施例的视野V1和摄像范围V2之间的关系的示意图。如图7A和图7B所示，以现实空间中的预定位置为基准来定义虚拟空间的坐标系。换句话说，在本实施例中，虚拟空间的坐标系是无论HMD单元110的位置和姿势以及照相机C的位置等的改变如何，相对于现实空间都固定的坐标系。

[0065] 在图7A中，照相机C位于佩戴HMD单元310的用户的后方，并且用户面向图中的左上方。基于照相机C的位置确定虚拟空间中要显示引导图形F的坐标。根据HMD单元310的位置和姿势，在HMD单元310的显示屏312上显示示出摄像范围V2的引导图形F，以使得引导图形F位于通过照相机C的位置确定的位置(例如，位于距照相机C预定距离的位置)。示出摄像范围V2的引导图形F例如可以是在预定距离处沿着摄像范围V2的轮廓延伸的闭合曲线框。

[0066] 在图7B中，照相机C已经相对于图7A中的状态向前移动，并且用户已经将头部向右转动以面向图中的上方。要显示引导图形F的位置根据照相机C的位置等的改变而改变。显示屏312与用户头部的方向相同地改变方向，从而改变通过显示屏312的用户的视野V1。响应于这些改变，控制单元320基于照相机的位置等来计算要显示示出摄像范围V2的引导图形F的位置，并且根据HMD单元310的位置和姿势来控制引导图形F在显示屏312上的显示。结果，引导图形F显示在显示屏112上，以使得引导图形F的位置、姿势和形状等随着照相机C的位置等的改变而呈现改变。

[0067] 由于如上所述的基于照相机C的姿势等以及HMD单元310的位置和姿势的显示控制，用户可以在视觉上识别出位置等要被改变的照相机C的摄像范围V2。

[0068] 第四实施例

[0069] 第一至第三实施例中的摄像辅助装置被配置为通过显示引导图形F来将照相机的摄像范围可视化。第四实施例中的摄像辅助装置400具有在摄像范围中引导并定位摄像对象物以及将摄像范围可视化的功能。

[0070] 图8示出根据第四实施例的摄像辅助装置400的示意性概略图。与第二实施例中的摄像辅助装置200相同，摄像辅助装置400包括HMD单元410和主单元420。照相机C未被包括在HMD单元410中，并且以预定方向固定在佩戴HMD单元410的用户站立的现实空间的预定位置处(例如，在天花板或壁面上)，其中照相机C的摄像范围V2通过摄像辅助装置400变得可见。HMD单元410被配置为与第二实施例中的HMD单元210在例如HMD单元410包括显示屏412以及位置和姿势传感器414方面相同。另外，与第二实施例中的控制单元220相同，控制单元420由包括CPU、存储介质和输入/输出模块的计算机实现。

[0071] 除了HMD单元410和主单元420之外，摄像辅助装置400还包括获取指示包括照相机C的摄像范围V2的现实空间中的物体布置的布置信息的布置信息获取单元430。布置信息获取单元430和控制单元420通过有线或无线而通信地连接在一起。作为布置信息获取单元430，可以使用与拍摄布置有照相机C的现实空间的图像的照相机C不同的照相机、或用于获取指示布置有照相机C的空间中的对象的位置的点云数据的3D传感器等。在本示例中，布置信息获取单元430与HMD单元410分开布置，但是可以包括在HMD单元410中。为了与由布置信息获取单元430获取的数据匹配，预先在控制单元420中记录规定要由照相机C摄像的摄像对象物T的形状的信息(例如，摄像对象物T的外观图像或三维模型)，并且控制单元420分析由布置信息获取单元430获取的布置信息并识别摄像对象物T在现实空间中的位置。

[0072] 与第二实施例中的摄像辅助装置200相同，摄像辅助装置400基于HMD单元210的位置和姿势以及引导图形F的坐标进行控制以根据需要来更新示出摄像范围V2的引导图形F在显示屏412上的绘制，以使得引导图形F静止呈现在相对于安装照相机C的现实空间固定的虚拟空间的坐标系中的恒定坐标处。这使用户能够在视觉上识别出照相机C的摄像范围V2。

[0073] 另外，摄像辅助装置400基于由布置信息获取单元430获取的布置信息来识别摄像对象物T的位置，并且判断摄像对象物T是否位于照相机C的摄像范围V2内。然后，在摄像对象物T没有位于摄像范围V2内的情况下，摄像辅助装置400向用户呈现用于引导摄像对象物T移动到摄像范围V2中的导航信息和/或指示摄像对象物T在摄像范围V2之外的警报信息。用于向用户呈现这种信息的方法是可选的。然而，例如，如图9所示，指示摄像对象物T要移动的方向的图形N(例如，箭头)可以作为导航信息显示在显示屏412上。除了这种视觉信息之外，导航信息和警报信息可以呈现为诸如语音的音频信息、诸如振动的触觉信息等。

[0074] 根据上述结构，根据第四实施例的摄像辅助装置400能够显示引导图形F以及更主动地促进用户在摄像范围内快速定位摄像对象物T。注意，在上述的第四实施例中，作为示例描述了照相机C固定在与第二实施例中的空间相同的空间的系统，但是即使在如第三实施例的情况中那样照相机C改变位置等的系统中以及如第一实施例的情况中那样照相机被包括在HMD单元的系统中，也可以分别识别出摄像范围V2和摄像对象物T的位置，并且基于摄像范围V2和摄像对象物T的位置之间的位置关系，可以呈现导航信息和警报信息。

[0075] 实施例的变型

[0076] 注意，本发明不限于上述实施例，并且可以实现本发明的目的范围内的变型和改进等包括在本发明内。例如，可以根据照相机的操作状态(是否正在拍摄图像)来改变引导图形F的显示模式(显示/隐藏以及显示颜色等)。

[0077] 另外，在上述实施例中，从照相机到显示图形的位置的距离是恒定的。然而，从照相机到显示图形的位置的距离可以是可变的。例如，从照相机到要显示引导图形F的位置的距离可以由用户设置。可选地，可以在照相机的聚焦的距离处显示引导图形F。

[0078] 另外，在上述实施例中，已经作为示例描述了显示矩形框作为引导图形F的形状的情况。然而，引导图形F的形状不限于此。例如，如图10所示，可以绘制包括与照相机相对应的顶点和与照相机的摄像范围的端部相对应的侧面的四角锥作为引导图形F。可选地，可以绘制与上述四角锥的除了照相机未能聚焦的部分之外的部分相对应的图形(例如，与上述四角锥的除了靠近照相机的顶点附近之外的部分相对应的四角锥平截头体)作为引导图形F。另外，可以绘制上述四角锥的照相机聚焦的部分作为引导图形F。以这种方式绘制引导图形F使得用户能够三维地掌握摄像范围V2。

[0079] 在上述实施例中，作为示例描述了在位于距照相机预定距离的位置处显示示出摄像范围V2的引导图形F的情况，但是从照相机到图形的距离可以是可变的。例如，用户可以设置要显示图形的位置。

[0080] 另外，在上述第二和第三实施例中，通过HMD单元中包括的传感器获取HMD单元的位置和姿势。然而，可以由外部安装的3D传感器等获取HMD单元的位置和姿势。

[0081] 另外，在第四实施例中，在即使物体没有位于摄像范围内也拍摄图像的情况下，可以将对象物没有包括在摄像结果中的指示合成到由照相机拍摄的图像中。

[0082] 只要实施例或示例包括本发明的要点，本领域技术人员进行了适当的组件添加、去除和设计改变的上述实施例或其具体示例可以包括在本发明的范围中。

标题	发布/更新时间	阅读量
LED箱体及LED显示屏	2020-05-08	348
路段平均速度的确定方法、装置及系统	2020-05-08	682
一种一维金属氧化物/碳化物复合材料及其制备方法	2020-05-08	552
自主多租户数据库云服务框架	2020-05-08	618
大压力倒装键合机的压板治具精准定位及移送机构	2020-05-08	265
供应链数据的追溯方法、装置、计算机设备	2020-05-11	429
一种基于卷积神经网络的城市视觉污染物识别方法及系统	2020-05-11	24
分析板的置放用支架和分析套件	2020-05-08	344
一种非接触模块封装智能卡及其制备方法	2020-05-11	149
神经网络的生成方法、生成装置和电子设备	2020-05-11	612

摄像辅助装置、摄像辅助方法及存储介质

摄像辅助装置、摄像辅助方法及存储介质

技术领域

背景技术

发明内容

该功能需要专业版企业版VIP权限，您可以：