首页 / 专利分类库 / 教育;密码术;显示;广告;印鉴 / 信息处理设备及对应方法、系统、介质和投影设备

信息处理设备及对应方法、系统、介质和投影设备

申请号 CN202080043307.3 申请日 2020-06-08 公开(公告)号 CN113994662B 公开(公告)日 2024-04-16
申请人 索尼集团公司; 发明人 赤尾雅人;
摘要 本技术涉及信息处理设备、信息处理方法、程序、投影设备和信息处理系统,通过其可以使用任意成像设备来校正投影图像的失真。本技术的一方面中的信息处理设备基于由投影设备投影到投影面的投影图像和通过在多个成像 位置 处对投影图像进行成像而获得的多个捕获图像来检测各个图像上的对应点;基于表示对应点的关系的对应点信息来估计包括多个成像位置和在各个成像位置处在成像时间期间的 姿态 的成像参数和包括投影设备的位置和姿态的投影参数;基于对应点信息、成像参数和投影参数来生成用于输入图像的几何校正的校正数据;以及传送校正数据。本技术可以应用于控制投影仪的投影的 图像处理 设备。
权利要求

1.一种信息处理设备,包括:
检测单元,其基于投影图像和多个捕获图像来检测所述投影图像和所述多个捕获图像上的对应点,所述投影图像被投影设备投影在投影面上,所述多个捕获图像通过在多个图像捕获位置处对所述投影图像进行图像捕获而获得;
估计单元,其基于指示所述对应点之间的关系的对应点信息来估计包括所述多个图像捕获位置和所述图像捕获位置中的每个图像捕获位置处的图像捕获时的姿势的图像捕获参数以及包括所述投影设备的位置和姿势的投影参数;
生成单元,其基于所述对应点信息、所述图像捕获参数和所述投影参数来生成用于输入图像的几何校正的校正数据;以及
传送单元,其传送所述校正数据,
其中,在基于所述图像捕获参数而获得的所述投影面的估计误差大于阈值的情况下,所述检测单元检测添加的捕获图像上的对应点。
2.根据权利要求1所述的信息处理设备,其中,
所述校正数据是在所述投影设备中使用的信息,并且
所述传送单元将所述校正数据传送至所述投影设备。
3.根据权利要求1所述的信息处理设备,还包括:
捕获单元,其捕获由所述投影设备投影在所述投影面上的所述投影图像的图像。
4.根据权利要求1所述的信息处理设备,其中,
所述捕获图像的数量为三个或多于三个。
5.根据权利要求1所述的信息处理设备,其中,
所述估计单元切换所述多个捕获图像的组合来估计所述图像捕获参数。
6.根据权利要求5所述的信息处理设备,其中,
所述估计单元基于所述投影面的所述估计误差或基于图像捕获度的离差来选择用于生成所述校正数据的所述捕获图像的所述组合,所述估计误差基于所述图像捕获参数而获得。
7.根据权利要求1所述的信息处理设备,其中,
所述估计单元基于所述捕获图像共同的图像捕获参数来估计添加的捕获图像的图像捕获参数。
8.根据权利要求1所述的信息处理设备,还包括:
引导控制单元,其基于所述图像捕获参数来输出成为所述图像捕获位置的引导的信息。
9.根据权利要求8所述的信息处理设备,其中,
所述引导控制单元显示与已经执行了图像捕获的所述图像捕获位置不同的位置。
10.根据权利要求9所述的信息处理设备,其中,
所述检测单元通过使用通过在与已经执行了图像捕获的所述图像捕获位置不同的位置处进行图像捕获而获得的捕获图像来检测所述对应点。
11.根据权利要求8所述的信息处理设备,其中,
所述引导控制单元输出用于指定所述投影面上的预定位置的信息,并且所述信息处理设备还包括确定单元,所述确定单元确定导致在所指定的所述投影面上的位置处的估计误差的图像捕获位置。
12.根据权利要求11所述的信息处理设备,其中,
所述检测单元通过使用通过将与所确定的图像捕获位置不同的位置作为图像捕获位置来再次执行图像捕获而获得的捕获图像来检测所述对应点。
13.根据权利要求8所述的信息处理设备,其中,
所述引导控制单元输出用于指定所述投影面上的预定位置的信息,并且所述传送单元向所述投影设备传送信息,所述信息指示在包括所指定的所述投影面上的位置的预定范围内投影具有比作为所述投影图像被投影的图案的密度高的密度的其他图案。
14.根据权利要求13所述的信息处理设备,其中,
所述检测单元通过使用通过对所投影的所述其他图案进行图像捕获而获得的捕获图像来检测所述对应点。
15.根据权利要求1所述的信息处理设备,其中,
所述检测单元基于通过对被投影在多个投影区域中的每个投影区域中的投影图像进行图像捕获而获得的多个捕获图像中的每个捕获图像来检测所述对应点,所述多个投影区域通过划分整个投影面而获得,并且
所述生成单元对针对各个所述投影图像生成的多条所述校正数据进行整合。
16.一种信息处理方法,由信息处理设备执行:
基于投影图像和多个捕获图像来检测所述投影图像和所述多个捕获图像上的对应点,所述投影图像被投影设备投影在投影面上,所述多个捕获图像通过在多个图像捕获位置处对所述投影图像进行图像捕获而获得;
基于指示所述对应点之间的关系的对应点信息来估计包括所述多个图像捕获位置和所述图像捕获位置中的每个图像捕获位置处的图像捕获时的姿势的图像捕获参数以及包括所述投影设备的位置和姿势的投影参数;
基于所述对应点信息、所述图像捕获参数和所述投影参数来生成用于输入图像的几何校正的校正数据;以及
传送所述校正数据,
其中,在基于所述图像捕获参数而获得的所述投影面的估计误差大于阈值的情况下,检测添加的捕获图像上的对应点。
17.一种存储有程序的计算机介质,所述程序用于使计算机执行:
基于投影图像和多个捕获图像来检测所述投影图像和所述多个捕获图像上的对应点,所述投影图像被投影设备投影在投影面上,所述多个捕获图像通过在多个图像捕获位置处对所述投影图像进行图像捕获而获得;
基于指示所述对应点之间的关系的对应点信息来估计包括所述多个图像捕获位置和所述图像捕获位置中的每个图像捕获位置处的图像捕获时的姿势的图像捕获参数以及包括所述投影设备的位置和姿势的投影参数;
基于所述对应点信息、所述图像捕获参数和所述投影参数来生成用于输入图像的几何校正的校正数据;以及
传送所述校正数据,
其中,在基于所述图像捕获参数而获得的所述投影面的估计误差大于阈值的情况下,检测添加的捕获图像上的对应点。
18.一种投影设备,包括:
投影单元,其将投影图像投影在投影面上;
接收单元,其接收用于输入图像的几何校正的校正数据,所述校正数据是从信息处理设备传送的,所述信息处理设备基于所述投影图像和多个捕获图像来检测所述投影图像和所述多个捕获图像上的对应点,所述多个捕获图像通过在多个图像捕获位置处对所述投影图像进行图像捕获而获得;所述信息处理设备基于指示所述对应点之间的关系的对应点信息来估计包括所述多个图像捕获位置和所述图像捕获位置中的每个图像捕获位置处的图像捕获时的姿势的图像捕获参数以及包括所述投影设备的位置和姿势的投影参数;以及所述信息处理设备基于所述对应点信息、所述图像捕获参数和所述投影参数来生成所述校正数据;以及
生成单元,其基于所述校正数据对所述输入图像执行所述几何校正,并且生成经校正的图像,
其中,在基于所述图像捕获参数而获得的所述投影面的估计误差大于阈值的情况下,检测添加的捕获图像上的对应点。
19.一种信息处理系统,包括:
信息处理设备,其包括:
检测单元,其基于投影图像和多个捕获图像来检测所述投影图像和所述多个捕获图像上的对应点,所述投影图像被投影设备投影在投影面上,所述多个捕获图像通过在多个图像捕获位置处对所述投影图像进行图像捕获而获得,
估计单元,其基于指示所述对应点之间的关系的对应点信息来估计包括所述多个图像捕获位置和所述图像捕获位置中的每个图像捕获位置处的图像捕获时的姿势的图像捕获参数以及包括所述投影设备的位置和姿势的投影参数,
生成单元,其基于所述对应点信息、所述图像捕获参数和所述投影参数来生成用于输入图像的几何校正的校正数据,以及
传送单元,其传送所述校正数据;以及
所述投影设备,其包括:
投影单元,其将所述投影图像投影到投影面上,
接收单元,其接收从所述信息处理设备传送的所述校正数据,以及
生成单元,其基于所述校正数据对所述输入图像执行所述几何校正,并且生成经校正的图像,
其中,在基于所述图像捕获参数而获得的所述投影面的估计误差大于阈值的情况下,所述检测单元检测添加的捕获图像上的对应点。

说明书全文

信息处理设备及对应方法、系统、介质和投影设备

技术领域

[0001] 本技术涉及信息处理设备、信息处理方法、程序、投影设备和信息处理系统,并且更具体地,涉及能够通过使用任何图像捕获设备来校正投影图像的失真的信息处理设备、信息处理方法、程序、投影设备和信息处理系统。

背景技术

[0002] 在作为从投影仪投影的图像的投影图像中,根据投影仪与投影面之间的相对位置关系,通常会出现梯形失真。投影图像中可能会出现反映投影面的局部不平整或扭曲的非线性失真。
[0003] 为了校正这样的失真,已经提出了各种技术,其中移动电话的摄像机捕获投影面上的投影图像的图像以观察失真的状态,并且在投影之前对图像执行校正以消除失真。使用移动电话的摄像机参数执行校正以消除失真。
[0004] 引用列表
[0005] 专利文献
[0006] 专利文献1:日本公开特许公报第2006‑33357号;
[0007] 专利文献2:日本公开特许公报第2013‑172444号;
[0008] 专利文献3:日本公开特许公报第2014‑160998号。发明内容
[0009] 本发明要解决的问题
[0010] 在上述技术中,通常使用摄像机参数已知的移动电话作为捕获投影面的图像的移动电话。也就是说,可以仅从通过使用特定型号的移动电话或经校准的移动电话捕获的捕获图像来观察失真的状态。
[0011] 本技术是鉴于这样的情况而进行的,并且使得可以通过使用任何图像捕获设备来校正投影图像的失真。
[0012] 问题的解决方案
[0013] 根据本技术的第一方面的信息处理设备包括:检测单元,其基于投影图像和多个捕获图像来检测投影图像和多个捕获图像上的对应点,投影图像被投影设备投影在投影面上,多个捕获图像通过在多个图像捕获位置处对投影图像进行图像捕获而获得;估计单元,其基于指示对应点之间的关系的对应点信息来估计包括多个图像捕获位置和图像捕获位置中的每个图像捕获位置处的图像捕获时的姿势的图像捕获参数以及包括投影设备的位置和姿势的投影参数;生成单元,其基于对应点信息、图像捕获参数和投影参数来生成用于输入图像的几何校正的校正数据;以及传送单元,其传送校正数据。
[0014] 根据本技术的第二方面的投影设备包括:投影单元,其将投影图像投影在投影面上;接收单元,其接收用于输入图像的几何校正的校正数据,该校正数据是从信息处理设备传送的,该信息处理设备基于投影图像和多个捕获图像来检测投影图像和多个捕获图像上的对应点,多个捕获图像通过在多个图像捕获位置处对投影图像进行图像捕获而获得;基于指示对应点之间的关系的对应点信息来估计包括多个图像捕获位置和图像捕获位置中的每个图像捕获位置处的图像捕获时的姿势的图像捕获参数以及包括投影设备的位置和姿势的投影参数;基于对应点信息、图像捕获参数和投影参数来生成校正数据;以及生成单元,其生成通过基于校正数据对输入图像进行几何校正而获得的经校正的图像。
[0015] 根据本技术的第一方面的信息处理设备基于投影图像和多个捕获图像来检测投影图像和多个捕获图像上的对应点,投影图像被投影设备投影在投影面上,多个捕获图像通过在多个图像捕获位置处对投影图像进行图像捕获而获得;基于指示对应点之间的关系的对应点信息来估计包括多个图像捕获位置和图像捕获位置中的每个图像捕获位置处的图像捕获时的姿势的图像捕获参数以及包括投影设备的位置和姿势的投影参数;基于对应点信息、图像捕获参数和投影参数来生成用于输入图像的几何校正的校正数据;以及传送校正数据。
[0016] 根据本技术的第二方面的投影设备将投影图像投影在投影面上,接收用于输入图像的几何校正的校正数据,该校正数据是从信息处理设备传送的,该信息处理设备基于投影图像和多个捕获图像来检测投影图像和多个捕获图像上的对应点,多个捕获图像通过在多个图像捕获位置处对投影图像进行图像捕获而获得;基于指示对应点之间的关系的对应点信息来估计包括多个图像捕获位置和图像捕获位置中的每个图像捕获位置处的图像捕获时的姿势的图像捕获参数以及包括投影设备的位置和姿势的投影参数;以及基于对应点信息、图像捕获参数和投影参数来生成校正数据;以及生成通过基于校正数据对输入图像进行几何校正而获得的经校正的图像。附图说明
[0017] 图1是示出根据本技术的实施方式的信息处理系统的配置示例的图。
[0018] 图2是示出信息处理系统的整体处理流程的图。
[0019] 图3是示出使用移动终端的图像捕获位置的示例的图。
[0020] 图4是示出用作对图像捕获位置的引导的信息的示例的图。
[0021] 图5是示出移动终端的硬件配置示例的框图
[0022] 图6是示出投影仪的硬件配置示例的框图。
[0023] 图7是示出信息处理系统的功能配置示例的框图。
[0024] 图8是示出移动终端的捕获图像分析单元的配置示例的框图。
[0025] 图9是用于描述移动终端的校正数据计算处理#1的流程图
[0026] 图10是用于描述对应点检测处理的流程图。
[0027] 图11是用于描述图案检测处理的流程图。
[0028] 图12是示出转换为投影仪坐标系的示例的图。
[0029] 图13是用于描述摄像机姿势估计处理#1的流程图。
[0030] 图14是用于描述摄像机内部参数估计处理#1的流程图。
[0031] 图15是用于描述投影仪姿势估计处理的流程图。
[0032] 图16是用于描述校正矢量生成处理的流程图。
[0033] 图17是示出视点位置和表示平方向的X轴的设置示例的图。
[0034] 图18是示出校正矢量的计算示例的图。
[0035] 图19是用于描述投影仪的投影失真校正处理的流程图。
[0036] 图20是用于描述移动终端的校正数据计算处理#2的流程图。
[0037] 图21是用于描述摄像机内部参数估计处理#2的流程图。
[0038] 图22是示出选择最佳估计值的方法的示例的图。
[0039] 图23是示出图像捕获度的示例的图。
[0040] 图24是用于描述移动终端的摄像机姿势估计处理#3的流程图。
[0041] 图25是示出适当的图像捕获位置的呈现示例的图。
[0042] 图26是用于描述移动终端的校正数据计算处理#3的流程图。
[0043] 图27是示出指定投影面上的位置的示例的图。
[0044] 图28是示出移动终端的捕获图像分析单元的配置示例的框图。
[0045] 图29是用于描述移动终端的校正数据计算处理#4的流程图。
[0046] 图30是示出指定投影面上的位置和再投影的示例的图。
[0047] 图31是用于描述移动终端的校正数据计算处理#5的流程图。
[0048] 图32是示出区域划分的示例的图。
[0049] 图33是用于描述移动终端的校正数据计算处理#6的流程图。

具体实施方式

[0050] 在下文中,将描述用于执行本技术的模式。将按以下顺序进行描述。
[0051] 1.投影失真校正应用
[0052] 2.每个设备的配置
[0053] 3.每个设备的操作
[0054] 4.第二实施方式(通过逐渐增加捕获图像的数量进行估计的示例)[0055] 5.第三实施方式(当重试投影失真校正时的处理的示例)
[0056] 6.第四实施方式(对图像捕获位置的引导的示例)
[0057] 7.第五实施方式(用户指定校正部分的第一示例)
[0058] 8.第六实施方式(用户指定校正部分的第二示例)
[0059] 9.第七实施方式(通过对划分的图案图像进行图像捕获的估计的示例)[0060] 10.其他
[0061] <投影失真校正应用>
[0062] 图1是示出根据本技术的实施方式的信息处理系统的配置示例的图。
[0063] 图1的信息处理系统包括作为信息处理设备例如智能电话的移动终端1和作为投影设备的投影仪2。投影面3被设置在投影仪2的前方,该投影仪2放置在诸如地板表面或桌子的顶板的平坦表面上。
[0064] 用户可以观看投影图像,该投影图像是由投影仪2投影在投影面3上的图像。例如,存储在内部存储器中的运动图像内容、经由网络接收的运动图像内容等通过投影仪2再现,并且运动图像内容的图像被投影。通过移动终端1再现的运动图像内容的图像可以经由无线通信传送至投影仪2并且进行投影。
[0065] 此处,投影面3具有形成在其上的不平整。在投影之前未执行校正等的情况下,由投影仪2投影在投影面3上的投影图像中会出现失真,投影面3是不平整面。
[0066] 在图1的信息处理系统中,在预定定时处例如在运动图像内容的图像被投影之前,移动终端1生成用于对输入图像进行几何校正的校正数据。由移动终端1生成的校正数据被传送至投影仪2。
[0067] 投影仪2接收从移动终端1传送的校正数据,并且基于校正数据对输入图像执行几何校正,该输入图像是通过例如再现运动图像内容而获得的图像。投影仪2投影经校正的图像,经校正的图像是几何校正之后的输入图像。基于经校正的图像投影的投影图像是已经校正了由于投影面3的不平整而引起的失真的图像。
[0068] 投影失真校正应用被安装在移动终端1中,投影失真校正应用是用于生成用于输入图像的几何校正的校正数据的应用。用户激活投影失真校正应用,并且作为观看运动图像内容之前的准备,执行诸如根据由投影失真校正应用呈现的引导等捕获投影面3的图像的操作。
[0069] 图2是示出信息处理系统的整体处理流程的图。
[0070] 当投影失真校正应用被激活时,投影仪2投影预定图案的图像。例如,投影仪2投影点阵图案的图像,在该图像中各自均具有预定直径的圆形点规则地布置在投影仪2的整个投影范围内。代替点阵图案的图像,可以投影另一种已知图案例如棋盘格图案的图像。
[0071] 如图2的下部中心所示,用户使用移动终端1的摄像机功能在多个不同的图像捕获位置处捕获由投影仪2投影的点阵图案的图像。通过图像捕获而获得的捕获图像示出例如包括作为投影图像被投影在投影面3上的整个点阵图案的范围。
[0072] 图3是示出在其处使用移动终端1的图像捕获位置的示例的图。
[0073] 如图3的左侧所示,操作移动终端1的用户在任何图像捕获位置P1处捕获图像。在图3的示例中,从右斜方向观看投影面3的位置是图像捕获位置P1。移动终端1获得通过从右斜方向捕获由投影仪2投影在投影面3上的点阵图案的图像而获得的图像作为第一捕获图像。
[0074] 在图像捕获位置P1处的图像捕获完成之后,用户移动至如图3的中心所示的图像捕获位置P2并捕获图像,图像捕获位置P2是与图像捕获位置P1不同的位置。在图3的示例中,从前方观看投影面3的位置是图像捕获位置P2。移动终端1获得通过从前方捕获由投影仪2投影在投影面3上的点阵图案的图像而获得的图像作为第二捕获图像。
[0075] 在图像捕获位置P2处的图像捕获完成之后,用户移动至如图3的右侧所示的图像捕获位置P3并捕获图像,图像捕获位置P3是与图像捕获位置P1、P2不同的位置。在图3的示例中,从左斜方向观看投影面3的位置是图像捕获位置P3。移动终端1获得通过从左斜方向捕获由投影仪2投影在投影面3上的点阵图案的图像而获得的图像作为第三捕获图像。
[0076] 投影失真校正应用向用户呈现了用于这样的图像捕获的引导。
[0077] 图4是示出作为用于图像捕获位置的引导的信息的示例的图。
[0078] 如图4所示,移动终端1的显示器显示指示投影面的位置和在其处图像捕获已经完成的位置的画面。在图4的示例中,投影面的位置通过使用具有在横向上长的矩形形状的图标来显示,并且在其处图像捕获已经完成的每个位置通过使用代表移动终端1的外观的图标来显示。如稍后所描述的,根据基于捕获图像等的估计结果来显示投影面的位置和在其处图像捕获已经完成的位置。
[0079] 此外,如图4的文字气球所示,移动终端1的扬声器输出用于说明显示内容等的语音。
[0080] 根据这样的引导,用户在改变图像捕获位置的情况下执行多次图像捕获。注意,基于在执行了三次或更多次图像捕获之后的三个或更多个捕获图像来估计投影面的位置与在其处图像捕获已经完成的位置之间的关系。例如,在估计了投影面的位置与在其处图像捕获已经完成的位置之间的关系之后需要附加图像捕获的情况下,呈现如图4所示的引导。
[0081] 在图4的示例中,显示器的显示和语音被用作引导,但是可以仅使用显示和语音之一。
[0082] 移动终端1基于以这种方式捕获的多个捕获图像生成校正数据,并且将校正数据传送至投影仪2。稍后将描述生成校正数据的细节。
[0083] 返回图2的描述,投影仪2基于由移动终端1生成的校正数据来对输入图像执行投影失真校正(几何校正)。如图2的右侧所示,基于投影失真校正之后的图像投影失真已经被校正的图像。
[0084] 如上面所描述的,图1的信息处理系统可以基于通过使用任何移动终端捕获的捕获图像来校正投影图像的失真。此外,可以基于在任何图像捕获位置处捕获的捕获图像来校正投影图像的失真。
[0085] 即,用户可以在无需使用特定型号的移动电话或经校准的移动电话并且无需在预定位置处执行图像捕获的情况下捕获用于生成校正数据的图像。
[0086] 注意,在图2的示例中,智能电话被示为移动终端1,但是诸如数码摄像机、平板终端或PC的其他设备也可以用作移动终端1。
[0087] <每个设备的配置>
[0088] 图5是示出移动终端1的硬件配置示例的框图。
[0089] 中央处理单元(CPU)101、只读存储器(ROM)102和随机存取存储器(RAM)103通过总线104相互连接。
[0090] 输入/输出接口105还连接至总线104。显示器106、触摸板107、扬声器108、摄像机109、存储器110、通信单元111和驱动器112连接至输入/输出接口105。
[0091] 显示器106包括LCD、有机EL显示器等。显示器106显示如上所描述的投影失真校正应用的画面。
[0092] 触摸面板107检测用户对显示器106的表面的操作,并且输出指示用户的操作的内容的信息。
[0093] 扬声器108输出各种声音,例如作为用于图像捕获位置的引导的上述语音。
[0094] 摄像机109根据用户的操作捕获图像,并且输出图像数据。
[0095] 存储器110存储各种类型的数据,例如由CPU 101执行的程序。
[0096] 通信单元111是用于无线通信的接口。通信单元111与经由因特网连接的外部设备例如投影仪2或服务器进行通信。可以经由网络从服务器提供在图1的信息处理系统中再现的内容。
[0097] 驱动器112驱动可移除介质113例如存储卡,将数据写入可移除介质113,并且读取存储在可移动介质113中的数据。
[0098] 图6是示出投影仪2的硬件配置示例的框图。
[0099] 投影仪2包括投影单元121、通信单元122、控制单元123和存储器124。
[0100] 投影单元121执行与图像投影有关的处理。例如,投影单元121根据控制单元123的控制对从控制单元123输出的输入图像进行投影。投影单元121的光源不受限制,并且可以是发光二极管(LED)、氙气等。此外,激光可以用作投影光。
[0101] 通信单元122与外部设备例如移动终端1通信。通信单元122接收从移动终端1传送的校正数据并且将校正数据输出到控制单元123。由外部设备再现并传送的内容的图像可以由通信单元122接收并输出到控制单元123。
[0102] 控制单元123包括中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)等。控制单元123执行程序并且控制投影仪2中的每个处理单元。
[0103] 例如,控制单元123使用从通信单元122输出的校正数据对输入图像执行几何校正以生成经校正的图像。控制单元123将经校正的图像输出到投影单元121,并且使投影单元121投影经校正的图像。
[0104] 控制单元123执行各种类型的处理,例如使存储器124保持从通信单元122输出的输入图像和校正数据。
[0105] 存储器124存储由控制单元123处理的输入图像和校正数据。存储器124还存储点阵图案的数据等。存储在存储器124中的数据由控制单元123适当地读取。
[0106] 图7是示出信息处理系统的功能配置示例的框图。
[0107] 如图7所示,在移动终端1中,实现了图像捕获单元131、捕获图像分析单元132、传送单元133和引导控制单元134。
[0108] 图像捕获单元131在不同位置处多次捕获包括由投影仪2投影在投影面3上的整个投影图像的范围的图像。图像捕获单元131将通过图像捕获而获得的多个捕获图像输出到捕获图像分析单元132。
[0109] 通过图像捕获单元131执行图像捕获而获得的每个捕获图像可以是静止图像或包括在运动图像中的。在捕获运动图像的情况下,从运动图像中包括的所有帧中提取预定数量的帧,并且将提取的帧作为具有不同图像捕获位置的多个捕获图像输出到捕获图像分析单元132。
[0110] 捕获图像分析单元132基于从图像捕获单元131输出的捕获图像和在投影仪2中使用的点阵图案来估计摄像机参数(图像捕获参数),该摄像机参数是与图像捕获有关的参数。摄像机参数包括摄像机内部参数和摄像机外部参数。注意,关于从投影仪2投影的点阵图案的信息被提供给捕获图像分析单元132。
[0111] 另外,捕获图像分析单元132基于捕获图像和点阵图案来估计投影仪参数(投影参数),该投影仪参数是与投影仪2的投影有关的参数。投影仪参数包括投影仪内部参数和投影仪外部参数。
[0112] 捕获图像分析单元132基于摄像机参数和投影仪参数生成用于输入图像的几何校正的校正数据,并且将校正数据输出到传送单元133。由捕获图像分析单元132估计的摄像机参数被适当地输出到引导控制单元134。
[0113] 传送单元133控制图5中的通信单元111以将从捕获图像分析单元132输出的校正数据传送到投影仪2。
[0114] 引导控制单元134基于从捕获图像分析单元132输出的摄像机参数,使显示器106或扬声器108输出作为用于图像捕获位置的引导的信息。
[0115] 如图7所示,在投影仪2的控制单元123中,实现了接收单元141、图像校正单元142和投影控制单元143。
[0116] 接收单元141控制图6中的通信单元122以接收从移动终端1传送的校正数据并且将校正数据输出到图像校正单元142。
[0117] 图像校正单元142通过使用从接收单元141输出的校正数据对作为输入图像的内容的图像等执行几何校正。如上面所描述的,由图像校正单元142进行的几何校正是在基于通过移动终端1捕获由投影仪2自身投影的点阵图案的图像而获得的捕获图像来在移动终端1中生成校正数据之后执行的处理。图像校正单元142将经校正的图像输出到投影控制单元143,该经校正的图像是几何校正之后的输入图像。
[0118] 投影控制单元143将从图像校正单元142输出的经校正的图像输出到投影单元121,并且使投影单元121投影该经校正的图像。此外,在生成校正数据时,投影控制单元143使投影单元121投影诸如已知点阵图案的图像。
[0119] 图8是示出移动终端1的捕获图像分析单元132的功能配置示例的框图。
[0120] 捕获图像分析单元132包括对应点检测单元151、摄像机姿势估计单元152、投影仪姿势估计单元153和校正矢量生成单元154。从图像捕获单元131输出的多个捕获图像被输入到对应点检测单元151。从图像捕获单元131输出的捕获图像中的每个捕获图像示出投影在投影面3上的点阵图案。
[0121] 对应点检测单元151执行对应点检测处理,该对应点检测处理是基于多个捕获图像和点阵图案检测多个捕获图像中的每个捕获图像上的对应点的处理。执行对应点检测处理,使得每个捕获图像被逐个聚焦,并且检测在每个捕获图像中示出的点和被包括在点阵图案中的对应点。
[0122] 对应点检测单元151存储对应点信息,该对应点信息是指示通过对应点检测处理检测到的对应点之间的关系的信息,并且将对应点信息输出到摄像机姿势估计单元152。
[0123] 摄像机姿势估计单元152基于从对应点检测单元151输出的每个捕获图像的对应点信息来估计用于对每个捕获图像进行捕获的摄像机(移动终端1的摄像机109)的摄像机内部参数。摄像机内部参数包括例如焦距和主点。
[0124] 此外,摄像机姿势估计单元152基于每个捕获图像的对应点信息来估计摄像机外部参数。摄像机外部参数包括当每个捕获图像被捕获时摄像机的位置和姿势。
[0125] 在下文中,投影仪2中使用的点阵图案上的对应点适当地被称为投影仪对应点。捕获图像上的对应点为摄像机对应点。
[0126] 摄像机姿势估计单元152将每个捕获图像的对应点信息和估计的摄像机参数输出到投影仪姿势估计单元153。
[0127] 投影仪姿势估计单元153基于从摄像机姿势估计单元152输出的每个捕获图像的对应点信息和每个捕获图像的摄像机参数,估计已经投影了投影图像的投影仪2的投影仪内部参数。投影仪内部参数包括例如焦距和主点。
[0128] 另外,投影仪姿势估计单元153基于每个捕获图像的对应点信息和每个捕获图像的摄像机参数来估计投影仪外部参数。投影仪外部参数包括当投影图像被投影时投影仪2的位置和姿势。
[0129] 投影仪姿势估计单元153将每个捕获图像的对应点信息、每个捕获图像的摄像机参数和估计的投影仪参数输出到校正矢量生成单元154。此外,投影仪姿势估计单元153将每个捕获图像的摄像机参数输出到图7中的引导控制单元134。
[0130] 如上面所描述的,摄像机姿势估计单元152和投影仪姿势估计单元153构成估计单元,该估计单元基于每个捕获图像的对应点信息来估计摄像机参数和投影仪参数。
[0131] 校正矢量生成单元154基于从投影仪姿势估计单元153输出的每个捕获图像的对应点信息、每个捕获图像的摄像机参数和投影仪参数,生成校正矢量作为校正数据。
[0132] 校正矢量是表示用作投影仪2中的输入图像的图像中包括的每个像素的校正量和校正方向的矢量。在由投影仪2进行的几何校正中,通过基于校正矢量偏移每个像素的位置来生成经校正的图像。
[0133] 校正矢量生成单元154将校正矢量输出到传送单元133。校正矢量经由传送单元133被传送到投影仪2并且用于投影仪2中的输入图像的几何校正。
[0134] <每个设备的操作>
[0135] 此处,将描述具有上述配置的每个设备的操作。
[0136] ·移动终端1的操作
[0137] 首先,将参考图9的流程图描述移动终端1的校正数据计算处理#1。
[0138] 图9的校正数据计算处理#1是用于计算用于输入图像的几何校正的校正数据的一系列处理。例如,当投影失真校正应用被激活并且投影仪2在投影面3上投影点阵图案时,开始校正数据计算处理#1。
[0139] 在步骤S1中,对应点检测单元151执行对应点检测处理。通过对应点检测处理来存储指示点阵图案与每个捕获图像的对应点之间的关系的对应点信息。稍后将参考图10的流程图描述对应点检测处理。
[0140] 在步骤S2中,摄像机姿势估计单元152执行摄像机姿势估计处理#1。基于通过对应点检测处理获得的每个捕获图像的对应点信息来执行摄像机姿势估计处理#1。通过摄像机姿势估计处理#1来估计每个捕获图像的摄像机参数。稍后将参考图13的流程图描述摄像机姿势估计处理#1。
[0141] 在步骤S3中,投影仪姿势估计单元153执行投影仪姿势估计处理。基于通过对应点检测处理获得的每个捕获图像的对应点信息和通过摄像机姿势估计处理获得的摄像机参数来执行投影仪姿势估计处理。通过投影仪姿势估计处理来估计投影仪2的投影仪参数。稍后将参考图15的流程图描述投影仪姿势估计处理。
[0142] 在步骤S4中,校正矢量生成单元154执行校正矢量生成处理。基于通过对应点检测处理获得的每个捕获图像的对应点信息、通过摄像机姿势估计处理获得的摄像机参数、以及通过投影仪姿势估计处理获得的投影仪参数,执行校正矢量生成处理。通过校正矢量生成处理来生成用于几何校正的校正矢量。稍后将参考图16的流程图描述校正矢量生成处理。
[0143] 在步骤S5中,传送单元133将通过校正矢量生成处理生成的校正矢量传送至投影仪2。
[0144] 接下来,将参考图10的流程图描述在图9中的步骤S1中执行的对应点检测处理。
[0145] 在步骤S11中,图像捕获单元131控制摄像机109以捕获包括点阵图案的整个投影图像的范围的图像。
[0146] 在步骤S12中,图像捕获单元131确定捕获图像的数量是否等于或大于被设置为阈值的捕获图像的最小数量。此处,在捕获图像的数量例如为三的情况下,确定捕获图像的数量等于或大于捕获图像的最小数量。
[0147] 在步骤S12中确定捕获图像的数量小于捕获图像的最小数量的情况下,处理返回到步骤S11,并且在改变位置的情况下重复图像捕获。
[0148] 在步骤S12中确定捕获图像的数量等于或大于捕获图像的最小数量的情况下,处理进行到步骤S13。
[0149] 在步骤S13中,对应点检测单元151执行图案检测处理。基于多个捕获图像和点阵图案来执行图案检测处理。通过图案检测处理检测每个捕获图像上的点的坐标,并且确定每个捕获图像上的点与点阵图案上的点之间的关系。稍后将参考图11的流程图描述图案检测处理的细节。
[0150] 在步骤S14中,对应点检测单元151通过将构成对应点的每个捕获图像上的点与点阵图案上的点的相应坐标相关联来生成对应点信息,并且存储对应点信息。此后,处理返回到图9中的步骤S1,并且执行步骤S1和后续步骤中的处理。
[0151] 接下来,将参考图11的流程图描述在图10的步骤S13中执行的图案检测处理。
[0152] 对在图10中的步骤S11中捕获的多个捕获图像中的每一个执行图11的图案检测处理。
[0153] 在步骤S21中,对应点检测单元151分析一个目标捕获图像,并且检测在其中示出点阵图案的投影图像的区域。
[0154] 在步骤S22中,对应点检测单元151执行投影变换,以将摄像机坐标系中表示的捕获图像上的投影图像变换为投影仪坐标系中的图像。摄像机坐标系是投影变换之前的坐标系,并且投影仪坐标系是投影变换之后的坐标系。
[0155] 图12是示出转换为投影仪坐标系的示例的图。
[0156] 例如,如图12的左侧所示,假设垂直倒梯形形状的区域被示为捕获图像中的投影图像。在图12中,在横向上较长的黑色小椭圆代表点阵图案中包括的每个点。另外,带阴影的小圆圈代表投影图像的区域的顶点
[0157] 如所示,点阵图案的投影图像根据投影面3的不平整、图像捕获位置等而以失真状态被包括在捕获图像上。点阵图案中包括的每个点由在横向上较长的椭圆表示的事实指示投影图像是失真的。
[0158] 在这种情况下,对应点检测单元151通过预定方法计算用于将投影变换之前的坐标系变换为投影变换之后的坐标系的单应矩阵。
[0159] 此外,对应点检测单元151基于单应矩阵对捕获图像中所示的投影图像进行变换以获得具有与输入图像的形状相同的形状的大致矩形图像,如图12中的白色箭头的点所指示。在变换之后的图像中,点阵图案中包括的每个点以大致完美的圆形表示。
[0160] 返回图11的描述,在步骤S23中,对应点检测单元151检测捕获图像上的各点(点群)的坐标。
[0161] 在步骤S24中,对应点检测单元151执行唯一性解析,并且确定与捕获图像上的点对应的在用于投影的点阵图案上的点。
[0162] 如上面所描述的图案检测处理被重复与捕获图像的数量一样多的次数,并且生成每个捕获图像的对应点信息。每个捕获图像的对应点信息指示在对应位置处捕获的每个捕获图像的摄像机对应点与投影仪对应点之间的关系。此后,处理返回到图10中的步骤S13,并且执行步骤S13和后续步骤中的处理。
[0163] 接下来,将参考图13的流程图描述在图9的步骤S2中执行的摄像机姿势估计处理#1。
[0164] 在步骤S31中,摄像机姿势估计单元152执行摄像机内部参数估计处理#1。基于从对应点检测单元151输出的每个捕获图像的对应点信息来执行摄像机内部参数估计处理#1。通过摄像机内部参数估计处理#1估计摄像机内部参数。
[0165] 在步骤S32中,摄像机姿势估计单元152基于每个捕获图像的对应点信息和摄像机内部参数来估计每个捕获图像的摄像机外部参数。
[0166] 在步骤S33中,摄像机姿势估计单元152优化摄像机参数。例如,通过调整摄像机参数使得在对三个捕获图像的摄像机对应点中的每一个执行射线跟踪的情况下,每个跟踪目的地是投影面3上的一个点,来优化摄像机参数。将经优化的摄像机参数和每个捕获图像的对应点信息输出到投影仪姿势估计单元153。之后,处理返回到图9中的步骤S2,并且执行步骤S2及后续步骤中的处理。
[0167] 将参考图14的流程图描述在图13的步骤S31中执行的摄像机内部参数估计处理#1。
[0168] 在步骤S41中,摄像机姿势估计单元152基于对应点信息获取三个捕获图像上的对应点。
[0169] 在步骤S42中,摄像机姿势估计单元152选择三个捕获图像中的一个捕获图像作为参考图像,并且选择除参考图像之外的两个捕获图像中的每一个作为比较图像。摄像机姿势估计单元152参考捕获参考图像时摄像机109的位置和姿势来计算表示捕获每个比较图像时摄像机109的相对位置和姿势的单应矩阵。
[0170] 在步骤S43中,摄像机姿势估计单元152通过求解由单应矩阵定义的联立方程来估计摄像机内部参数。此后,处理返回到图13中的步骤S31,并且执行步骤S31和后续步骤中的处理。
[0171] 将参考图15的流程图描述在图9中的步骤S3中执行的投影仪姿势估计处理。
[0172] 在已知多个特征点及其三维坐标的情况下估计摄像机或投影仪的位置和姿势的问题被称为透视n点(PnP)问题。与PnP问题类似地执行投影仪姿势估计处理。
[0173] 在步骤S51中,投影仪姿势估计单元153获取点阵图案上的投影仪对应点的二维坐标。
[0174] 另外,投影仪姿势估计单元153基于摄像机参数执行三角测量,并且计算表示在三维空间中摄像机对应点的位置的三维坐标。
[0175] 在步骤S52中,投影仪姿势估计单元153计算用于将投影仪对应点的二维坐标转换为摄像机对应点的三维坐标的投影矩阵。
[0176] 在步骤S53中,投影仪姿势估计单元153分解计算出的投影矩阵并且估计投影仪参数。通过使用例如六点算法来估计投影仪参数。
[0177] 在步骤S54中,投影仪姿势估计单元153优化摄像机参数和投影仪参数。例如,通过调整摄像机参数和投影仪参数中的每一个使得在对投影仪对应点和摄像机对应点中的每一个执行射线跟踪的情况下,每个跟踪目的地是投影面3上的一个点,来优化摄像机参数和投影仪参数。经优化的摄像机参数、经优化的投影仪参数和每个捕获图像的对应点信息被输出到校正矢量生成单元154。此后,处理返回到图9中的步骤S3,并且执行步骤S3和后续步骤中的处理。
[0178] 将参考图16的流程图描述在图9中的步骤S4中执行的校正矢量生成处理。
[0179] 在步骤S61中,校正矢量生成单元154基于从投影仪姿势估计单元153输出的每个捕获图像的摄像机参数来执行三角测量,并且计算在三维空间中每个摄像机对应点的位置。即,校正矢量生成单元154以与对应点的密度相同的密度来估计投影面3上的每个点。
[0180] 此外,校正矢量生成单元154估计其中布置有三维计算的投影面3上的每个点的近似平面作为与投影面3对应的屏幕平面。例如,通过使用诸如随机样本一致性(RANSAC)的方法估计三维点群的近似平面。
[0181] 在步骤S62中,校正矢量生成单元154设置作为用户观看投影图像的位置的视点位置和表示水平方向的X轴。为了获得校正矢量,需要视点位置等。
[0182] 图17是示出视点位置和代表水平方向的X轴的设置示例的图。
[0183] 例如,视点位置被设置为通过屏幕平面的中心点P12的垂线上的位置P11。图17中的投影面3是由屏幕平面的估计结果表示的平面。
[0184] 另外,如由虚线箭头A2所示,代表水平方向的X轴被设置为通过位置P11并平行于投影仪2的X轴的轴。图17中的虚线箭头A1指示投影仪2的X轴(例如,与底表面平行的轴)。视点位置和水平方向可以例如由移动终端1的用户操作触摸面板107来指定。
[0185] 返回图16的描述,在步骤S63中,校正矢量生成单元154基于在步骤S61中估计出的屏幕平面、在步骤S62中设置的视点位置等来计算校正矢量。
[0186] 图18是示出校正矢量的计算示例的图。
[0187] 如图18的左上部分所示,点阵图案中包括的每个点的坐标被表示为投影仪坐标系的坐标(参考点坐标)。
[0188] 此外,在作为不平整表面的投影面3上的投影仪2的投影范围的形状是如图18左下方处的虚线框F1所示的失真形状。在执行投影而不进行几何校正的情况下,投影图像被投影在框F1的范围内。如由虚线框F2所示,校正矢量生成单元154在投影范围内设置最大内切矩形,并且计算用于执行几何校正使得每个点被投影在最大内切矩形内的校正矢量。
[0189] 具体地,校正矢量生成单元154将最大内切矩形的坐标系归一化,使得最大内切矩形中的坐标(检测点坐标)对应于输入图像坐标系中的坐标。
[0190] 此外,在校正矢量生成单元154中,对于点阵图案中包括的每个点,表示输入图像坐标系中的坐标P'与作为投影前的参考点坐标的坐标P的位置之间的差的矢量被计算为表示输入图像中的像素位置的校正矢量,坐标P'是要作为每个点的投影位置的检测点坐标并且对应于坐标P,该校正矢量被参考以用于配置经校正的图像。
[0191] 校正矢量生成单元154针对每个点计算并保持校正矢量。此后,处理返回到图9中的步骤S4,并且执行步骤S4和后续步骤中的处理。
[0192] 通过上述处理生成的校正矢量被传送到投影仪2。
[0193] ·投影仪2的操作
[0194] 接下来,将参考图19的流程图描述投影仪2的投影失真校正处理。
[0195] 在步骤S71中,投影仪2的接收单元141(图7)接收作为从移动终端1传送的校正数据的校正矢量。
[0196] 在步骤S72中,图像校正单元142基于校正矢量生成经校正的图像。生成经校正的图像,使得基于校正矢量将例如通过使内容再现而获得的输入图像的每个像素布置在预定位置处。
[0197] 例如,图像校正单元142通过基于校正矢量将作为投影前的参考点坐标的坐标P的位置处的像素值替换为坐标P'的位置处的像素值,来生成经校正的图像。注意,对于点阵图案的点之间的坐标处的像素,通过使用通过基于与像素周围的点对应的校正矢量进行插值而获得的校正矢量来确定参考像素值的像素。
[0198] 在步骤S73中,投影控制单元143控制投影单元121以使投影单元121投影由图像校正单元142生成的经校正的图像。
[0199] 通过以上处理,可以校正由于投影面3的失真而导致的投影图像的失真。
[0200] 另外,在校正数据计算处理中,基于在任何位置处捕获的捕获图像来估计用于对捕获图像进行捕获的摄像机109的摄像机参数和投影仪2的投影仪参数。由于在计算校正数据时不需要知道摄像机参数和投影仪参数,因此可以通过使用任何图像捕获设备和投影设备来获得校正数据。
[0201] 即,可以在不依赖于图像捕获位置、图像捕获姿势、投影仪2的位置和投影仪2的姿势的情况下校正投影图像的失真。
[0202] <第二实施方式(通过逐渐增加捕获图像的数量进行估计的示例>
[0203] 在该示例中,基于估计的摄像机参数获得投影面3的估计误差。例如,在投影面3的估计误差大于预定阈值的情况下,增加捕获图像的数量,并估计摄像机参数。
[0204] 将参考图20的流程图描述移动终端1的校正数据计算处理#2。
[0205] 在校正数据计算处理#2中,通过适当地使用四个或更多个捕获图像来生成校正数据。
[0206] 在步骤S81中,通过使用例如三个捕获图像执行对应点检测处理,三个捕获图像是捕获图像的最小数量。对应点检测处理与参考图10描述的处理类似。
[0207] 在步骤S82中,摄像机姿势估计单元152执行摄像机姿势估计处理#2。在将捕获图像的最小数量设置为三的情况下,基本上与参照图13描述的摄像机姿势估计处理#1类似地执行摄像机姿势估计处理#2。
[0208] 另一方面,在稍后要描述的步骤S88中的处理之后,即,在将捕获图像的最小数量设置为4或更大的情况下,执行与摄像机姿势估计处理#1不同的处理。稍后将描述包括摄像机内部参数估计处理#2的摄像机姿势估计处理#2,其作为与摄像机姿势估计处理#1不同的处理而执行。
[0209] 步骤S83至S85中的处理类似于图9中的步骤S3至S5中的处理。即,基于通过摄像机姿势估计处理#2估计的摄像机参数,在步骤S83中执行投影仪姿势估计处理。另外,在步骤S84中生成校正矢量,并且在步骤S85中将校正矢量传送至投影仪2。
[0210] 在步骤S86中,校正矢量生成单元154确定基于摄像机参数而获得的投影面3上的每个点的估计误差是否等于或小于被设置为阈值的预定最大估计误差。投影面3上的每个点的估计误差由例如基于摄像机参数等的三角测量误差来表示。
[0211] 在步骤S86中确定估计误差等于或大于最大估计误差的情况下,处理进行到步骤S87。
[0212] 在步骤S87中,图像捕获单元131确定捕获图像的数量是否等于或大于被设置为阈值的捕获图像的预定最大数量。
[0213] 在步骤S87中确定捕获图像的数量等于或大于捕获图像的最大数量的情况下,图20的处理结束。类似地,在步骤S86中确定估计误差小于最大估计误差的情况下,图20的处理结束。
[0214] 另一方面,在步骤S87中确定捕获图像的数量小于捕获图像的最大数量的情况下,处理进行到步骤S88。
[0215] 在步骤S88中,图像捕获单元131将捕获图像的最小数量增加预定数量。此后,处理返回到步骤S81,并且执行步骤S81和后续步骤中的处理。
[0216] 响应于增加捕获图像的最小数量,图像捕获单元131例如改变图像捕获位置,并且再次捕获图像。在随后的处理中,以添加新捕获的图像的形式执行与上述处理类似的处理。
[0217] 基本上,当图像捕获位置存在变化时,可以执行更稳健的姿势估计。如果将捕获图像的数量增加并进行姿势估计,则可以提高参数的精度
[0218] 代替再次执行图像捕获,图像捕获单元131可以预先捕获四个或更多个捕获图像,并且可以通过使用与捕获图像的最小数量相同数量的捕获图像来执行姿势估计等。随着作为阈值的捕获图像的最小数量增加,用于姿势估计等的捕获图像的数量逐渐增加。
[0219] 此外,可以捕获运动图像而不是静止图像,并且可以适当地选择用于姿势估计等的捕获图像。
[0220] 将参考图21的流程图描述在图20的步骤S82中执行的摄像机姿势估计处理#2中的摄像机内部参数估计处理#2。
[0221] 如参考图13所描述的,在摄像机姿势估计处理#1中,执行估计摄像机内部参数的处理(步骤S31)。摄像机内部参数估计处理#2是在捕获图像的最小数量在图20中的步骤S88中增加并且例如获取四个或更多个捕获图像的情况下执行的处理。
[0222] 在步骤S101中,摄像机姿势估计单元152随机选择三个捕获图像并且获取所选择的三个捕获图像的对应点信息。
[0223] 步骤S102和S103中的处理类似于图14中的步骤S42和S43中的处理。即,摄像机姿势估计单元152参考捕获一个参考图像时摄像机109的位置和姿势计算表示在捕获剩余的两个比较图像时摄像机109的相对位置和姿势的单应矩阵,并且估计摄像机内部参数。
[0224] 在步骤S104中,摄像机姿势估计单元152确定估计摄像机内部参数的次数是否等于或大于被设置为阈值的预定最大估计次数。
[0225] 在步骤S104中确定估计摄像机内部参数的次数小于最大估计次数的情况下,处理进行到步骤S105。
[0226] 在步骤S105中,摄像机姿势估计单元152选择与到目前为止用于摄像机内部参数估计的三个捕获图像不同的三个捕获图像,并且执行步骤S101以及步骤S101之后的处理。
[0227] 另一方面,在步骤S104中确定估计摄像机内部参数的次数等于或大于最大估计次数的情况下,处理进行到步骤S106。
[0228] 在步骤S106中,摄像机姿势估计单元152使用多个摄像机内部参数作为候选来选择作为最佳估计值的摄像机内部参数。
[0229] 例如,摄像机姿势估计单元152基于摄像机内部参数获得投影面3上的每个点的估计误差。摄像机姿势估计单元152基于所获得的估计误差选择具有最小估计误差的三个捕获图像的组合,并且选择从所选择的捕获图像的组合估计的摄像机内部参数作为最佳估计值。
[0230] 图22是示出选择最佳估计值的示例的图。
[0231] 例如,在获取包括捕获图像(1)至(4)的四个捕获图像的情况下,如图22的上部所示,基于随机选择的捕获图像(1)、(2)和(3)的相应对应点信息来估计摄像机内部参数。
[0232] 此外,如图22的下部所示,改变捕获图像的组合,并且基于捕获图像(1)、(2)和(4)的相应对应点信息来估计摄像机内部参数。
[0233] 以这种方式,从通过顺序改变捕获图像的组合而估计的多个摄像机内部参数之中选择最佳摄像机内部参数。
[0234] 可以基于图像捕获角度的离差来选择作为最佳估计值的摄像机内部参数。
[0235] 在这种情况下,摄像机姿势估计单元152基于捕获图像的每个图像捕获位置来计算图像捕获角度,该图像捕获角度是每个图像捕获位置相对于例如投影面3的中心的角度。摄像机姿势估计单元152选择从图像捕获角度的离差最大的三个捕获图像的组合获得的摄像机内部参数作为最佳估计值。
[0236] 图23是示出图像捕获角度的示例的图。
[0237] 如图23的A和B所示,假设通过使用在位置P31、P32和P33处捕获的捕获图像来估计摄像机内部参数,并且通过使用在位置P31、P32和P34处捕获的捕获图像来估计摄像机内部参数。位置P31至P34是由摄像机姿势估计单元152基于捕获图像而估计的图像捕获位置。
[0238] 在这种情况下,特别地,由于位置P32和位置P33彼此接近,所以位置P31、P32和P33的图像捕获角度的离差小于图23的B中所示的位置P31、P32和P34的图像捕获角度的离差。
[0239] 因此,在这种情况下,摄像机姿势估计单元152选择通过使用在位置P31、P32和P34处捕获的捕获图像的组合而获得的摄像机内部参数作为最佳估计值,所述组合是相应图像捕获位置处的图像捕获角度的离差较大的捕获图像的组合。
[0240] 如上面所描述的,当图像捕获位置存在变化时,可以执行更稳健的姿势估计。选择从图像捕获角度离差较大的三个捕获图像的组合获得的摄像机内部参数作为最佳估计值,从而可以以高精度选择估计值。
[0241] <第三实施方式(当重试投影失真校正时的处理的示例)>
[0242] 在执行一次投影失真校正的情况下,在便携终端1中,通过一系列投影失真校正中包括的估计处理来估计并获取摄像机参数和投影仪参数。在这样的状态下,在再次执行包括校正数据计算的一系列投影失真校正的情况下,可以将已经获得的摄像机内部参数用作摄像机内部参数。
[0243] 在通过使用同一移动终端1捕获投影的点阵图案的图像的情况下,即使针对多个投影失真校正中的每一个执行估计,也针对摄像机内部参数例如焦距计算公共值。即,摄像机内部参数是可以通过将在第一次投影失真校正时估计的值转移到第二次投影失真校正和随后的投影失真校正来使用的参数。
[0244] 在第二次投影失真校正和随后的投影失真校正中也使用已经获得的摄像机内部参数的情况下的校正数据计算处理基本上类似于图9的校正数据计算处理#1,除了执行摄像机姿势估计处理#3代替上述摄像机姿势估计处理#1以外。
[0245] 将参考图24的流程图描述移动终端1的摄像机姿势估计处理#3。
[0246] 在摄像机姿势估计处理#3中,如作为步骤S111中的处理的虚线所指示的,跳过基于捕获图像的对应点信息估计摄像机内部参数的处理。摄像机姿势估计单元152读取在第一次投影失真校正时估计并存储在存储器110等中的摄像机内部参数,并且执行后续处理。
[0247] 步骤S112和S113中的处理分别类似于图13中的步骤S32和S33中的处理。
[0248] 通过上述处理,可以省略基于捕获图像的对应点信息来估计摄像机内部参数的处理。与再次估计摄像机内部参数的情况相比,可以减少计算量,并且可以加快处理。
[0249] <第四实施方式(用于图像捕获位置的引导的示例)>
[0250] 如参考图4所描述的,可以基于估计的摄像机外部参数来呈现用作用于图像捕获位置等的引导的信息。在再次捕获投影的点阵图案的图像的情况下,可以呈现用于将用户引导到适当的图像捕获位置的信息。
[0251] 图25是示出适当的图像捕获位置的呈现示例的图。
[0252] 在图25的示例中,在其处已经执行了图像捕获的三个图像捕获位置由代表移动终端1的外观的图标I1至I3指示,并且适当的图像捕获位置由彩色图标I11显示。由图标I11呈现为投影面3附近的位置的图像捕获位置是例如基于摄像机参数等计算出的位置。
[0253] 此外,在图25的示例中,输出用于提示用户在显示器106上显示的位置处捕获图像的语音。
[0254] 看到这样的引导的用户移动至由图标I11指示的投影面3附近的位置,并且捕获被投影在投影面3上的点阵图案的图像。
[0255] 将参考图26的流程图描述移动终端1的校正数据计算处理#3,其包括适当的图像捕获位置的呈现。
[0256] 在步骤S121中,移动终端1执行与图9的校正数据计算处理#1类似的处理。
[0257] 在步骤S122中,引导控制单元134(图7)基于从投影仪姿势估计单元153输出的摄像机参数来计算用于再次执行图像捕获的适当的图像捕获位置。例如,远离在其处图像捕获已经完成的位置达预定距离的位置被计算为用于再次执行图像捕获的适当的图像捕获位置。
[0258] 在步骤S123中,引导控制单元134确定是否再次执行图像捕获。例如,在估计误差大于阈值的情况下,确定要再次执行图像捕获。
[0259] 在步骤S123中确定要再次执行图像捕获的情况下,在步骤S124中,引导控制单元134控制显示器106或扬声器108中的至少一个以使显示器106或扬声器108中的至少一个输出用于将用户引导到适当的图像捕获位置的信息。
[0260] 在步骤S125中,图像捕获单元131根据已经移动至所呈现的图像捕获位置的用户的操作来捕获投影的点阵图案的图像。此后,处理返回到步骤S121,并且执行步骤S121和后续步骤中的处理。
[0261] 在步骤S123中确定不会再次执行图像捕获的情况下,图26的处理结束。
[0262] 通过以上处理,移动终端1可以向用户呈现例如用于抑制估计误差的图像捕获位置。移动终端1可以基于通过再次执行图像捕获而获得的捕获图像来以比已经获得的摄像机参数和投影仪参数高的精度估计摄像机参数和投影仪参数。
[0263] <第五实施方式(用户指定校正部分的第一示例)>
[0264] 在执行一次投影失真校正之后,移动终端1的用户可以指定投影图像的失真所涉及的投影面3上的位置。
[0265] 图27是示出指定投影面3上的位置的示例的图。
[0266] 在执行一次投影失真校正之后,移动终端1使显示器106显示用于指定投影图像的失真所涉及的位置的画面。另外,移动终端1输出用于提示用户指定投影图像的失真所涉及的位置的语音。
[0267] 移动终端1的用户例如可以通过用手指触摸显示器106上显示的画面上的预定位置来指定投影图像的失真所涉及的投影面3上的位置。图27的左侧示出的移动终端1的显示器106上的彩色圆圈指示用户已经指定了投影面3上的与位置P51对应的位置。
[0268] 在用户指定投影面3上的预定位置的情况下,移动终端1确定在投影面3上的指定位置处导致估计误差的捕获图像的图像捕获位置。例如,如由空心箭头的点所指示的,考虑以下情况:在基于在图像捕获位置P61至P63处捕获的捕获图像执行投影失真校正之后,由用户指定上述位置P51。
[0269] 移动终端1基于通过使用在图像捕获位置P61至P63处捕获的捕获图像而估计的摄像机参数来计算三角测量误差,并且确定对由用户指定的投影面3上的位置处的估计误差影响最大的捕获图像的图像捕获位置是例如图像捕获位置P63。
[0270] 在这种情况下,移动终端1向用户呈现作为与图像捕获位置P61至P63不同的位置的图像捕获位置P64作为参考图26描述的适当的图像捕获位置,并且使用户再次执行图像捕获。在再次执行图像捕获之后,移动终端1使用在图像捕获位置P61、P62和P64处捕获的三个捕获图像——不包括在图像捕获位置P63处捕获的捕获图像——执行校正数据计算处理。
[0271] 图28是示出移动终端1的捕获图像分析单元132的配置示例的框图,该移动终端1具有切换如上面所描述的用于摄像机参数估计的捕获图像的功能。
[0272] 注意,在图28所示的部件之中,与图8所示的部件相同的部件由相同的附图标记表示。将适当省略交叠的描述。
[0273] 除了对应点检测单元151、摄像机姿势估计单元152、投影仪姿势估计单元153和校正矢量生成单元154之外,图28所示的捕获图像分析单元132的配置还包括失真发生原因确定单元171。
[0274] 失真发生原因确定单元171基于从投影仪姿势估计单元153提供的摄像机参数,确定对由用户指定的投影面3上的位置处的估计误差影响最大的捕获图像的图像捕获位置。
[0275] 由失真发生原因确定单元171确定的图像捕获位置被输出到例如引导控制单元134。引导控制单元134向用户呈现与由失真发生原因确定单元171确定的位置不同的位置作为适当的图像捕获位置。
[0276] 将参考图29的流程图描述移动终端1的校正数据计算处理#4。
[0277] 在步骤S131中,移动终端1执行与图9的校正数据计算处理#1类似的处理。
[0278] 在步骤S132中,失真发生原因确定单元171基于从触摸面板107提供的信号,获取投影面3上的由用户指定为失真发生部分的位置。
[0279] 在步骤S133中,失真发生原因确定单元171基于从投影仪姿势估计单元153输出的摄像机参数,确定在由用户指定的投影面3上的位置处具有最大估计误差的捕获图像的图像捕获位置。
[0280] 在步骤S134中,引导控制单元134确定是否要再次执行图像捕获。
[0281] 在步骤S134中确定要再次执行图像捕获的情况下,处理进行到步骤S135。
[0282] 在步骤S135中,引导控制单元134控制显示器106或扬声器108中的至少一个以使显示器106或扬声器108中的至少一个输出用于将用户引导至在其处再次执行图像捕获的位置的信息。
[0283] 在步骤S136中,图像捕获单元131根据已经移动至所呈现的图像捕获位置的用户的操作来捕获投影的点阵图案的图像。此后,处理返回到步骤S131,并且执行步骤S131和后续步骤中的处理。
[0284] 另一方面,在步骤S134中确定不会再次执行图像捕获的情况下,图29的处理结束。
[0285] 通过以上处理,移动终端1可以生成用于减少投影图像的失真的校正数据。此外,用户可以通过查看实际投影的图像来指定失真所涉及的位置。
[0286] <第六实施方式(用户指定校正部分的第二示例)>
[0287] 用户可以如上面所描述的指定投影图像的失真所涉及的位置,并且投影仪2可以在包括指定位置的预定范围内再次投影具有比在第一次投影失真校正时投影的图案更高的密度的精细图案。
[0288] 图30是示出指定投影面3上的位置和再投影的示例的图。
[0289] 在图30的示例中,代替上述点阵图案,使用棋盘格图案作为已知图案图像。棋盘格图案是通过将大致正方形的黑色区域和大致正方形的白色区域布置成棋盘格图案而形成的图案。不是检测点阵图案的点作为对应点,而是检测每个棋盘格的角点的位置作为对应点。
[0290] 如上面所描述的,可以使用各种图案,在这些图案中,可以获取具有用于姿势估计的足够精确度的对应点。例如,可以使用等边三角形或ChAruCo标记的镶嵌图案。
[0291] 移动终端1使显示器106显示用于指定投影图像的失真所涉及的位置的画面。另外,移动终端1输出用于提示用户指定投影图像的失真所涉及的位置的语音。
[0292] 移动终端1的用户可以例如通过用手指触摸显示器106上显示的画面上的预定位置来指定投影面3上的投影图像的失真所涉及的位置。图30的左侧示出的移动终端1的显示器106上的彩色圆圈指示用户已经指定了投影面3上的与彩色圆圈对应的位置。
[0293] 在用户指定投影面3上的预定位置的情况下,移动终端1将指示要投影精细图案的信息传送至投影仪2。由移动终端1传送的信息包括指示由用户指定的投影面3上的位置的信息等。
[0294] 投影仪2根据从移动终端1传送的信息来投影精细图案。在投影面3上的包括由用户指定的位置的预定范围内,如由空心箭头的点所指示的,投影作为具有比已投影的棋盘格图案高的密度的棋盘格图案的精细图案。
[0295] 基于通过移动终端1捕获投影的精细图案的图像而获得的捕获图像,如上面所描述来执行对应点检测、参数估计等。因此,移动终端1可以生成能够在由用户指定的位置附近以更高的精确度执行校正的校正数据。
[0296] 将参考图31的流程图描述移动终端1的校正数据计算处理#5。
[0297] 在步骤S141中,移动终端1执行与图9的校正数据计算处理#1类似的处理。
[0298] 在步骤S142中,移动终端1的引导控制单元134基于从触摸面板107提供的信号来获取投影面3上的由用户指定为失真发生部分的位置。将指示由引导控制单元134获取的位置的信息经由未示出的路线提供给传送单元133。
[0299] 在步骤S143中,传送单元133向投影仪2传送以下信息:该信息指示要在包括由用户指定的位置的投影面3上的预定范围内投影精细图案。投影仪2根据来自移动终端1的指令投影精细图案。
[0300] 在步骤S144中,引导控制单元134确定是否要再次执行图像捕获。
[0301] 在步骤S144中确定要再次执行图像捕获的情况下,处理进行到步骤S145。
[0302] 在步骤S145中,引导控制单元134控制显示器106或扬声器108中的至少一个以使得显示器106或扬声器108中的至少一个输出用于将用户引导至在其处再次执行图像捕获的位置的信息。
[0303] 例如,引导控制单元134将比第一次投影失真校正中使用的捕获图像的图像捕获位置更靠近投影面3的位置呈现为用于再次执行图像捕获的图像捕获位置。
[0304] 在步骤S146中,图像捕获单元131例如在不同的图像捕获位置处多次捕获投影的精细图案的图像。此后,处理返回到步骤S141,并且执行步骤S141和后续步骤中的处理。
[0305] 另一方面,在步骤S144中确定不会再次执行图像捕获的情况下,处理进行到步骤S147。
[0306] 在步骤S147中,校正矢量生成单元154整合作为所有试验的结果而生成的校正数据。例如,校正矢量生成单元154生成用于对输入图像的范围以高密度执行校正的校正矢量,该输入图像被投影在包括由用户指定的位置的投影面3上的预定范围内。另一方面,校正矢量生成单元154生成用于对输入图像的范围以低密度执行校正的校正矢量,该输入图像被投影在除了包括由用户指定的位置的预定范围之外的范围内。
[0307] 以这种方式生成的校正数据被传送至投影仪2并且用于输入图像的几何校正。
[0308] 通过以上处理,可以生成部分地减少投影图像的失真的校正数据。
[0309] <第七实施方式(通过对经划分的图案图像的图像捕获进行估计的示例)>[0310] 在投影面3宽而摄像机109的视角窄的情况下,可以将整个投影面3划分为预定数量的区域,并且可以针对每个区域计算如上面所描述的校正数据。为了获得针对整个投影面3的校正数据,多次执行上述校正数据计算处理。例如,针对每个划分区域投影高密度图案。
[0311] 图32是示出区域划分的示例的图。
[0312] 在图32的示例中,整个投影面3被划分为投影区域#1至#3三个区域。例如,如图32所示,针对每个区域投影预定图案。
[0313] 在以这样的方式划分投影面3的情况下,例如,移动终端1在不同的图像捕获位置处多次捕获被投影在投影区域#1中的图案的图像。移动终端1使用捕获图像执行校正数据计算处理#1,并且针对被投影在投影区域#1中的输入图像的范围生成校正矢量。
[0314] 此外,移动终端1在不同的图像捕获位置处多次捕获被投影在投影区域#2中的图案的图像。移动终端1使用捕获图像执行校正数据计算处理#1,并且针对被投影在投影区域#2中的输入图像的范围生成校正矢量。
[0315] 此外,移动终端1在不同的图像捕获位置处多次捕获被投影在投影区域#3中的图案的图像。移动终端1使用捕获图像执行校正数据计算处理#1,并且针对被投影在投影区域#3中的输入图像的范围生成校正矢量。
[0316] 在图32的示例中,整个投影面3被划分为三个投影区域,但是可以被划分为任意数量的区域。
[0317] 注意,在投影区域#1至#3上的图案的投影由一个投影仪2执行。针对投影区域#1至#3中的每一个通过校正数据计算处理#1估计的投影仪2的位置和姿势是共同的。
[0318] 将参考图33的流程图描述移动终端1的校正数据计算处理#6。
[0319] 例如,当投影失真校正应用被激活并且投影仪2在投影面3上投影高密度图案时,开始图33的校正数据计算处理#6。
[0320] 在步骤S151中,移动终端1执行与图9的校正数据计算处理#1类似的处理。
[0321] 在步骤S152中,校正矢量生成单元154确定已经捕获了图案的图像的范围是否覆盖整个投影范围(整个投影面3)。
[0322] 在步骤S152中确定已经捕获了图案的图像的范围未覆盖整个投影范围的情况下,处理进行到步骤S153。
[0323] 在步骤S153中,图像捕获单元131在不同位置处多次捕获与已经捕获的图像捕获区域不同的图像捕获区域的图像。此后,处理返回到步骤S151,并且执行步骤S151和后续步骤中的处理。
[0324] 另一方面,在步骤S152中确定已经捕获了图案的图像的范围覆盖整个投影范围的情况下,处理进行到步骤S154。
[0325] 在步骤S154中,校正矢量生成单元154基于投影仪2的姿势对针对所有捕获图像的图像捕获姿势进行整合。
[0326] 在步骤S155中,校正矢量生成单元154对针对各个投影区域生成的校正矢量进行整合,并且生成对应于整个投影范围的校正数据。
[0327] 通过以上处理,即使在摄像机109的视角窄并且不能在一个捕获图像中示出整个投影范围的情况下,移动终端1也可以针对整个投影范围生成校正数据。
[0328] <其他>
[0329] ·系统配置
[0330] 在图像捕获单元131、捕获图像分析单元132、图像校正单元142和投影控制单元143之中,图像捕获单元131和捕获图像分析单元132设置在移动终端1中,并且图像校正单元142和投影控制单元143设置在投影仪2中(图7)。然而,捕获图像分析单元132和图像校正单元142可以设置在任何设备中。
[0331] 即,图像捕获单元131、捕获图像分析单元132和图像校正单元142可以设置在移动终端1中,并且投影控制单元143可以设置在投影仪2中。在这种情况下,通过移动终端1的图像校正单元142执行几何校正而生成的经校正的图像被传送至投影仪2并由投影控制单元143投影。
[0332] 此外,图像捕获单元131可以设置在移动终端1中,并且捕获图像分析单元132、图像校正单元142和投影控制单元143可以设置在投影仪2中。在这种情况下,已经由移动终端1的图像捕获单元131捕获并且在其中示出点阵图案等的捕获图像被传送至投影仪2并且用于生成校正数据。
[0333] 如上面所描述的,可以任意改变系统配置。
[0334] ·程序
[0335] 可以通过硬件或软件执行上述一系列处理。在通过软件执行一系列处理的情况下,构成软件的程序被安装在集成在专用硬件中的计算机、通用个人计算机等中。
[0336] 通过将要安装的程序记录在图5所示的可移除介质113上来提供要安装的程序,可移除介质113包括光盘(致密盘只读存储器(CD‑ROM)、数字多功能盘(DVD)等)、半导体存储器等。此外,还可以经由有线或无线传输介质例如局域网、因特网或数字广播提供要安装的程序。该程序可以预先安装在ROM 102或存储器110中。
[0337] 注意,由计算机执行的程序可以是按照本说明书中描述的顺序以时间序列执行处理的程序,或者可以是并行执行处理或在必要的定时处(例如在进行调用时)执行处理的程序。
[0338] 注意,在本说明书中,系统意指多个部件(设备、模(部分)等)的集合,并且所有部件是否都在同一外壳中无关紧要。因此,被容纳在不同外壳中并经由网络连接的多个设备和其中多个模块被容纳在一个外壳中的一个设备二者均是系统。
[0339] 注意,本说明书中描述的效果仅是示例而非限制,并且可以获得其他效果。
[0340] 本技术的实施方式不限于上述实施方式,并且可以在不脱离本技术的主旨的情况下进行各种修改
[0341] 例如,本技术可以具有计算的配置,其中一个功能由多个设备经由网络共享和协作处理。
[0342] 此外,上述流程图中描述的每个步骤可以由一个设备执行或由多个设备共享和执行。
[0343] 此外,在一个步骤包括多组处理的情况下,包括在一个步骤中的多组处理可以由一个设备执行或由多个设备共享和执行。
[0344] ·配置的组合示例
[0345] 本技术可以具有以下配置。
[0346] (1)一种信息处理设备,包括:
[0347] 检测单元,其基于投影图像和多个捕获图像来检测所述投影图像和所述多个捕获图像上的对应点,所述投影图像被投影设备投影在投影面上,所述多个捕获图像通过在多个图像捕获位置处对所述投影图像进行图像捕获而获得;
[0348] 估计单元,其基于指示所述对应点之间的关系的对应点信息来估计包括所述多个图像捕获位置和所述图像捕获位置中的每个图像捕获位置处的图像捕获时的姿势的图像捕获参数以及包括所述投影设备的位置和姿势的投影参数;
[0349] 生成单元,其基于所述对应点信息、所述图像捕获参数和所述投影参数来生成用于输入图像的几何校正的校正数据;以及
[0350] 传送单元,其传送所述校正数据。
[0351] (2)根据(1)所述的信息处理设备,其中,
[0352] 所述校正数据是在所述投影设备中使用的信息,并且
[0353] 所述传送单元将所述校正数据传送至所述投影设备。
[0354] (3)根据(1)或(2)所述的信息处理设备,还包括:
[0355] 捕获单元,其捕获由所述投影设备投影在所述投影面上的所述投影图像的图像。
[0356] (4)根据(1)至(3)中任一项所述的信息处理设备,其中,
[0357] 所述捕获图像的数量为三个或更多个。
[0358] (5)根据(1)所述的信息处理设备,其中,
[0359] 在基于所述图像捕获参数而获得的所述投影面的估计误差大于阈值的情况下,所述检测单元检测添加的捕获图像上的对应点。
[0360] (6)根据(5)所述的信息处理设备,其中,
[0361] 所述估计单元切换所述多个捕获图像的组合来估计所述图像捕获参数。
[0362] (7)根据(6)所述的信息处理设备,其中,
[0363] 所述估计单元基于所述投影面的所述估计误差或基于图像捕获角度的离差来选择用于生成所述校正数据的所述捕获图像的所述组合,所述估计误差基于所述图像捕获参数而获得。
[0364] (8)根据(1)所述的信息处理设备,其中,
[0365] 所述估计单元基于所述捕获图像共同的图像捕获参数来估计添加的捕获图像的图像捕获参数。
[0366] (9)根据(1)至(8)中任一项所述的信息处理设备,还包括:
[0367] 引导控制单元,其基于所述图像捕获参数来输出成为所述图像捕获位置的引导的信息。
[0368] (10)根据(9)所述的信息处理设备,其中,
[0369] 所述引导控制单元显示与已经执行了图像捕获的所述图像捕获位置不同的位置。
[0370] (11)根据(10)所述的信息处理设备,其中,
[0371] 所述检测单元通过使用通过在与已经执行了图像捕获的所述图像捕获位置不同的位置处进行图像捕获而获得的捕获图像来检测所述对应点。
[0372] (12)根据(9)所述的信息处理设备,其中,
[0373] 所述引导控制单元输出用于指定所述投影面上的预定位置的信息,并且[0374] 所述信息处理设备还包括确定单元,所述确定单元确定导致在所指定的所述投影面上的位置处的估计误差的图像捕获位置。
[0375] (13)根据(12)所述的信息处理设备,其中,
[0376] 所述检测单元通过使用通过将与所确定的图像捕获位置不同的位置作为图像捕获位置来再次执行图像捕获而获得的捕获图像来检测所述对应点。
[0377] (14)根据(9)所述的信息处理设备,其中,
[0378] 所述引导控制单元输出用于指定所述投影面上的预定位置的信息,并且[0379] 所述传送单元向所述投影设备传送信息,所述信息指示在包括所指定的所述投影面上的位置的预定范围内投影具有比作为所述投影图像被投影的图案的密度高的密度的其他图案。
[0380] (15)根据(14)所述的信息处理设备,其中,
[0381] 所述检测单元通过使用通过对所投影的所述其他图案进行图像捕获而获得的捕获图像来检测所述对应点。
[0382] (16)根据(1)至(15)中任一项所述的信息处理设备,其中,
[0383] 所述检测单元基于通过对被投影在多个投影区域中的每个投影区域中的投影图像进行图像捕获而获得的多个捕获图像中的每个捕获图像来检测所述对应点,所述多个投影区域通过划分整个投影面而获得,并且
[0384] 所述生成单元对针对各个所述投影图像生成的多条所述校正数据进行整合。
[0385] (17)一种信息处理方法,由信息处理设备执行:
[0386] 基于投影图像和多个捕获图像来检测所述投影图像和所述多个捕获图像上的对应点,所述投影图像被投影设备投影在投影面上,所述多个捕获图像通过在多个图像捕获位置处对所述投影图像进行图像捕获而获得;
[0387] 基于指示所述对应点之间的关系的对应点信息来估计包括所述多个图像捕获位置和所述图像捕获位置中的每个图像捕获位置处的图像捕获时的姿势的图像捕获参数以及包括所述投影设备的位置和姿势的投影参数;
[0388] 基于所述对应点信息、所述图像捕获参数和所述投影参数来生成用于输入图像的几何校正的校正数据;以及
[0389] 传送所述校正数据。
[0390] (18)一种程序,用于使计算机执行:
[0391] 基于投影图像和多个捕获图像来检测所述投影图像和所述多个捕获图像上的对应点,所述投影图像被投影设备投影在投影面上,所述多个捕获图像通过在多个图像捕获位置处对所述投影图像进行图像捕获而获得;
[0392] 基于指示所述对应点之间的关系的对应点信息来估计包括所述多个图像捕获位置和所述图像捕获位置中的每个图像捕获位置处的图像捕获时的姿势的图像捕获参数以及包括所述投影设备的位置和姿势的投影参数;
[0393] 基于所述对应点信息、所述图像捕获参数和所述投影参数来生成用于输入图像的几何校正的校正数据;以及
[0394] 传送所述校正数据。
[0395] (19)一种投影设备,包括:
[0396] 投影单元,其将投影图像投影在投影面上;
[0397] 接收单元,其接收用于输入图像的几何校正的校正数据,所述校正数据是从信息处理设备传送的,所述信息处理设备基于所述投影图像和多个捕获图像来检测所述投影图像和所述多个捕获图像上的对应点,所述多个捕获图像通过在多个图像捕获位置处对所述投影图像进行图像捕获而获得;所述信息处理设备基于指示所述对应点之间的关系的对应点信息来估计包括所述多个图像捕获位置和所述图像捕获位置中的每个图像捕获位置处的图像捕获时的姿势的图像捕获参数以及包括所述投影设备的位置和姿势的投影参数;以及所述信息处理设备基于所述对应点信息、所述图像捕获参数和所述投影参数来生成所述校正数据;以及
[0398] 生成单元,其基于所述校正数据对所述输入图像执行所述几何校正,并且生成经校正的图像。
[0399] (20)一种信息处理系统,包括:
[0400] 信息处理设备,其包括:
[0401] 检测单元,其基于投影图像和多个捕获图像来检测所述投影图像和所述多个捕获图像上的对应点,所述投影图像被投影设备投影在投影面上,所述多个捕获图像通过在多个图像捕获位置处对所述投影图像进行图像捕获而获得,
[0402] 估计单元,其基于指示所述对应点之间的关系的对应点信息来估计包括所述多个图像捕获位置和所述图像捕获位置中的每个图像捕获位置处的图像捕获时的姿势的图像捕获参数以及包括所述投影设备的位置和姿势的投影参数,
[0403] 生成单元,其基于所述对应点信息、所述图像捕获参数和所述投影参数来生成用于输入图像的几何校正的校正数据,以及
[0404] 传送单元,其传送所述校正数据;以及
[0405] 所述投影设备,其包括:
[0406] 投影单元,其将所述投影图像投影到投影面上,
[0407] 接收单元,其接收从所述信息处理设备传送的所述校正数据,以及[0408] 生成单元,其基于所述校正数据对所述输入图像执行所述几何校正,并且生成经校正的图像。
[0409] 附图标记列表
[0410] 1移动终端,2投影仪,131图像捕获单元,132捕获图像分析单元,133传送单元,134引导控制单元,141接收单元,142图像校正单元,143投影控制单元,151对应点检测单元,152摄像机姿势估计单元,153投影仪姿势估计单元,154校正矢量生成单元,171失真发生原因确定单元。
QQ群二维码
意见反馈