三维建模装置和三维建模方法
阅读：163发布：2020-05-11
专利汇可以提供三维建模装置和三维建模方法专利检索，专利查询，专利分析的服务。并且本 发明 提供一种 三维建模 装置，恰当地对被拍摄体进行三维建模。接受部(11)接受通过使用立体 照相机 ，从不同 角 度对被拍摄体多次拍摄而得到的多个图像的组的输入。生成部(12)生成多个基于多个图像的组的被拍摄体的三维模型。选择部(13)选择被合成三维模型，和合成三维模型。分割部(14)将选择的合成三维模型分割为多个合成区域。 指定 部(15)指定与多个合成区域相对应的、被合成三维模型中的多个被合成区域。取得部(16)取得用于将多个合成区域重叠在多个被合成区域上的多个坐标变换参数。变换部(17)基于取得的多个坐标变换参数，对多个合成区域进行坐标变换。更新部(18)将坐标变换后的多个合成区域合成在指定的多个被合成区域中。，下面是三维建模装置和三维建模方法专利的具体信息内容。
1.一种三维建模装置，包括：
接受单元，其接受通过使用立体照相机从不同角度对被拍摄体多次拍摄而得到的多个图像的组的输入；
生成单元，其基于上述接受的多个图像的组中的任意一个，分别生成上述被拍摄体的多个三维模型；
选择单元，其从上述生成的多个三维模型中，选择被合成三维模型和合成在该被合成三维模型中的合成三维模型；
分割单元，其将上述选择的合成三维模型分割为多个合成区域；
指定单元，其分别指定与上述多个合成区域中的任意一个相对应的、上述被合成三维模型中的多个被合成区域；
取得单元，其分别取得用于将上述多个合成区域中的任意一个重合在与该任意一个合成区域相对应的被合成区域上的多个坐标变换参数；
变换单元，其基于上述取得的多个坐标变换参数，对上述多个合成区域进行坐标变换；
和
更新单元，其将由上述变换单元进行了坐标变换后的多个合成区域合成在上述指定的多个被合成区域中，从而更新上述被合成三维模型。
2.根据权利要求1所述的三维建模装置，其中
上述选择单元，在由上述更新单元对上述被合成三维模型进行更新之后，将该更新的被合成三维模型选择为新的被合成三维模型，并且，从上述生成的多个三维模型中，选择未选择的三维模型作为新的合成三维模型。
3.根据权利要求1所述的三维建模装置，其中
上述分割单元进一步将上述选择的被合成三维模型分割为多个被合成区域，上述指定单元从通过上述分割单元得到的多个被合成区域中，选择与上述多个合成区域相对应的多个被合成区域。
4.根据权利要求1所述的三维建模装置，其中
上述更新单元，按照使距上述变换单元进行坐标变换后的多个合成区域的边界面的欧几里得距离、与距上述指定的多个被合成区域的边界面的欧几里得距离一致的面成为构成新的被合成三维模型的面的方式，更新上述被合成三维模型。
5.根据权利要求1所述的三维建模装置，其中
上述分割单元，按照如下方式分割上述选择的合成三维模型：
(1)在上述选择的合成三维模型中设定多个起点，
(2)将分别以上述设定的多个起点为中心的多个区域扩大至相互重叠，
(3)使上述扩大至相互重叠的多个区域成为上述多个合成区域。
6.根据权利要求1所述的三维建模装置，其中
上述指定单元基于包含在上述多个合成区域中的特征点与包含在上述被合成三维模型中的特征点的关系，来指定上述多个被合成区域。
7.一种三维建模方法，由三维建模装置执行，
具备如下步骤：
接受步骤，接受通过使用立体照相机从不同角度对被拍摄体多次拍摄而得到的多个图像的组的输入；
生成步骤，基于上述接受的多个图像的组中的任意一个，分别生成上述被拍摄体的多个三维模型；
选择步骤，从上述生成的多个三维模型中，选择被合成三维模型和合成在该被合成三维模型中的合成三维模型；
分割步骤，将上述选择的合成三维模型分割为多个合成区域；
指定步骤，分别指定与上述多个合成区域中的任意一个相对应的、上述被合成三维模型中的多个被合成区域；
取得步骤，分别取得用于将上述多个合成区域中的任意一个重合在与该任意一个合成区域相对应的被合成区域上的多个坐标变换参数；
变换步骤，基于上述取得的多个坐标变换参数，对上述多个合成区域进行坐标变换；以及
更新步骤，通过将上述坐标变换后的多个合成区域合成在上述指定的多个被合成区域中，更新上述被合成三维模型。
三维建模装置和三维建模方法
[0001] 相关申请参照
技术领域
[0003] 本发明涉及一种三维建模装置和三维建模方法。
背景技术
[0005] 根据通过立体照相机的一次摄像而得到的一组图像，生成一个三维模型。以前，根据通过使用立体照相机从不同角度对被拍摄体多次进行拍摄而得到的多组图像，生成多个三维模型。而后，如果将生成的多个三维模型合成，则得到被拍摄体的正确的三维模型。
[0006] 但是，在立体照相机的多次摄像之间，被拍摄体部分移动的情况下，无法将生成的多个三维模型恰当地合成。即，可合成三维模型的被拍摄体限于静止的被拍摄体。由此，期望一种能够基于对部分移动的被拍摄体摄像而得到的多组图像，而将该被拍摄体三维建模的图像处理装置。
发明内容
[0007] 本发明鉴于上述问题，目的在于提供一种为了恰当地对被拍摄体进行三维建模的合适的三维建模装置，以及三维建模方法。
[0008] 为了达到上述目的，本发明第1观点的三维建模装置，包括：
[0009] 接受单元，其接受通过使用立体照相机从不同角度对被拍摄体多次拍摄而得到的多个图像的组的输入；
[0010] 生成单元，其基于上述接受的多个图像的组中的任意一个，分别生成上述被拍摄体的多个三维模型；
[0011] 选择单元，其从上述生成的多个三维模型中，选择被合成三维模型、和合成在该被合成三维模型中的合成三维模型；
[0012] 分割单元，其将上述选择的合成三维模型分割为多个合成区域；
[0014] 取得单元，其分别取得用于将上述多个合成区域中的任意一个重合在与该任意一个合成区域相对应的被合成区域上的多个坐标变换参数；
[0015] 变换单元，其基于上述取得的多个坐标变换参数，对上述多个合成区域进行坐标变换；和
[0016] 更新单元，其将由上述变换单元进行了坐标变换后的多个合成区域合成在上述指定的多个被合成区域中，从而更新上述被合成三维模型。
[0017] 为了达到上述目的，本发明的第2观点的三维建模方法，为三维建模装置执行的三维建模方法，具备如下步骤：
[0018] 接受步骤，接受通过使用立体照相机从不同角度对被拍摄体多次拍摄而得到的多个图像的组的输入；
[0019] 生成步骤，基于上述接受的多个图像的组中的任意一个，分别生成上述被拍摄体的多个三维模型；
[0020] 选择步骤，从上述生成的多个三维模型中，选择被合成三维模型、和合成在该被合成三维模型中的合成三维模型；
[0021] 分割步骤，将上述选择的合成三维模型分割为多个合成区域；
[0022] 指定步骤，分别指定与上述多个合成区域中的任意一个相对应的、上述被合成三维模型中的多个被合成区域；
[0023] 取得步骤，分别取得用于将上述多个合成区域中的任意一个重合在与该任意一个合成区域相对应的被合成区域上的多个坐标变换参数；
[0024] 变换步骤，基于上述取得的多个坐标变换参数，对上述多个合成区域进行坐标变换；
[0026] 图1A为表示本发明的第1实施方式的立体照相机的前面的样子的外观图。
[0027] 图1B为表示本发明的第1实施方式的立体照相机的背面的样子的外观图。
[0028] 图2为示出本发明的第1实施方式的立体照相机的结构的方框图。
[0029] 图3为示出本发明的第1实施方式的立体照相机的主要部分的结构的方框图。
[0030] 图4A～图4C为用于说明使用立体照相机对被拍摄体进行拍摄的方法的图。
[0031] 图5为示出本发明的第1实施方式的立体照相机执行的三维建模处理的流程图。
[0032] 图6为示出图5所示的区域分割处理的流程图。
[0033] 图7A～图7C为用于说明将合成三维模型区域分割为多个合成区域的方法的图。
[0034] 图7D为示出将被合成三维模型区域分割为多个被合成区域的样子的图。
[0035] 图7E为用于说明对被合成区域进行坐标变换的方法的图。
[0036] 图7F为示出将合成区域重合在被合成区域中的样子的图。
[0037] 图7G为用于说明合成后的建模面的图。
[0038] 图8为示出图5中所示的三维模型合成处理的流程图。
具体实施方式
[0039] 以下参照附图，对本发明的实施方式的三维建模装置进行说明。
[0040] (第1实施方式)
[0041] 在第1实施方式中，示出将本发明应用于数字式立体照相机的例子。本实施方式中，立体照相机从按压快门按钮开始，到再次按压该快门按钮之间，反复执行对被拍摄体进行拍摄和更新该被拍摄体的三维模型的处理。首先，参照图1A、图1B，对本发明第1实施方式的立体照相机1000的外观进行说明。
[0042] 如图1A所示，在立体照相机1000的前面上，设置镜头111A、镜头111B、闪光灯发光部400。此外，如图1A所示，在立体照相机1000的顶面上，设置快门按钮331。进一步，如图1B所示，在立体照相机1000的背面上，设置显示部310、操作按键332、电源按键333。
[0043] 镜头111A和镜头111B隔开规定的间隔，平行地设置。
[0045] 快门按钮331为应在开始被拍摄体的摄像、或结束被拍摄体的摄像的时候按压的按钮。即，立体照相机1000在按压快门按钮331后，直到再次按压快门按钮331，反复进行被拍摄体的摄像。
[0046] 操作按键332接受来自使用者的各种操作。操作按键332包含十字按键、确定按键，用于模式切换、显示切换等的操作。
[0047] 电源按键333为应在打开、关闭立体照相机1000的电源时按压的按键。
[0048] 闪光灯发光部400向被拍摄体照射闪光。对闪光灯发光部400的结构后述。
[0049] 这里，参照图2，对立体照相机1000的电气结构进行说明。
[0051] 第1摄像部100A和第2摄像部100B，为对被拍摄体进行拍摄的部分。立体照相机1000包括2个摄像部，即，第1摄像部100A和第2摄像部100B具有立体照相机的功能。这里，第1摄像部100A和第2摄像部100B为相同的结构。此外，在第1摄像部100A的结构中，将“A”添加在附图标记的末尾，在第2摄像部100B的结构中，将“B”添加在附图标记的末尾。
[0052] 如图2所示，第1摄像部100A包括光学装置110A和图像传感器部120A，第2摄像部100B包括光学装置110B和图像传感器部120B。光学装置110B与光学装置110A具有同样的结构，图像传感器部120B和图像传感器部120A具有同样的结构。所以，以下，只对光学装置110A和图像传感器部120A的结构进行说明。
[0053] 光学装置110A包括例如镜头111A、光圈机构、快门机构等，进行与拍摄相关的光学动作。即，通过光学装置110A的动作，汇聚入射光，并且对焦距、光圈、快门速度等这样的，视角、焦点、曝光等这些光学要素进行调整。此外，包含在光学装置110A中的快门机构为所谓的机械快门。在只通过图像传感器部120A的动作进行快门动作的情况下，也可以不在光学装置110A中包含快门机构。此外，光学装置110A通过后述的控制部210的控制而动作。
[0054] 图像传感器部120A生成与由光学装置110A汇聚的入射光相对应的电信号。图像传感器部120A由例如CCD(Charge Coupled Device：电荷耦合元件)，CMOS(Complementally Metal Oxide Semiconductor：互补型金属氧化物半导体)等构成。图像传感器部120A进行光电变换，由此，产生对应于接收光的电信号，将其输出给数据处理部200。
[0056] 在具有这样的第1摄像部100A和第2摄像部100B的立体照相机1000中，如图1A所示，光学装置110A中构成的镜头111A和光学装置110B中构成的镜头111B形成在立体照相机1000的外面上的同一平面上而构成。这里，在沿快门按钮331朝上的方向，立体照相机1000水平的情况下，按照中心位置在沿水平方向上延伸的同一条线上的方式，来配置2个镜头(受光部)。即，在同时使第1摄像部100A和第2摄像部100B动作的情况下，拍摄针对同一被拍摄体的2幅图像(以下称为“成对图像”)，形成各图像中的光轴位置沿横向偏移的图像。立体照相机1000为所谓的平行立体照相机的结构。
[0057] 数据处理部200对通过第1摄像部100A和第2摄像部100B的摄像动作而生成的电信号进行处理，形成表示拍摄的被拍摄体的图像的数字数据，并且对该图像进行图像处理等。如图2所示，数据处理部200由控制部210，图像处理部220，图像存储器230，图像输出部240，存储部250，外部存储部260等构成。
[0058] 控制部210由比如，CPU(Central Processing Unit：中央运算处理器)等的处理器、RAM(Random Access Memory)等的主存储装置(存储器)等构成。此外，通过执行存储于后述的存储部250等中的程序，控制部210控制立体照相机1000的各部分。
[0059] 图像处理部220由比如，ADC(Analog-Digital Converter：模拟数字变换器)、缓存器、图像处理用的处理器(所谓的图像处理引擎)等构成。图像处理部220根据通过图像传感器部120A和120B生成的电信号，生成表示拍摄的被拍摄体的图像的数字数据(以下称为“图像数据”)。
[0060] 即，ADC将从图像传感器部120A和图像传感器部120B输出的模拟电信号变换为数字信号，依次存储于缓存器中。另一方面，图像处理部220对已缓存的数字数据，进行所谓的显像处理等，由此，进行画质的调整，数据压缩等。
[0061] 图像存储器230由比如，RAM，闪存等存储装置构成。图像存储器230暂时存储通过图像处理部220生成的摄像图像数据，通过控制部210处理的图像数据等。
[0062] 图像输出部240由比如，RGB信号的生成电路等构成，将存储于图像存储器230中的图像数据变换为RGB信号并输出给显示画面(后述的显示部310等)。
[0063] 存储部250由比如，ROM(Read Only Memory)，闪存等的存储装置构成。存储部250存储立体照相机1000的动作所必要的程序、数据等。在本实施形式中，控制部210等执行的动作程序、各处理所必需的参数、运算式等存储于存储部250中。
[0064] 外部存储部260由比如，存储卡等这种可装卸于立体照相机1000中的存储装置构成。外部存储部260，存储通过立体照相机1000拍摄的图像数据、表示三维模型的数据等。
[0065] 接口部300为立体照相机1000和其使用者或外部装置的接口的结构。如图2所示，接口部300由显示部310、外部接口部320、操作部330等构成。
[0066] 显示部310由比如，液晶显示器等构成。显示部310显示输出对于操作立体照相机1000来说必需的各种画面、摄像时的实时取景图像、拍摄的被拍摄体的图像等。在本实施形式中，根据来自图像输出部240的图像信号(RGB信号)等，显示拍摄的被拍摄体的图像、三维模型等。
[0067] 外部接口部320由比如，USB(Universal Serial Bus)连接器、视频输出端子等构成。外部接口部320将图像数据等输出至外部的计算机、外部的监视器。
[0068] 操作部330由形成于立体照相机1000的外面上的各种按钮等构成。操作部330生成对应于立体照相机1000的使用者的操作的输入信号，将其提供给控制部210。构成操作部330的按钮包括比如，用于指示快门动作的快门按钮331，用于进行立体照相机1000的动作模式等的指定或各种功能设定的操作按键332、电源按键333。
[0069] 闪光灯发光部400由比如氙灯(氙气闪光灯)构成。闪光灯发光部400通过控制部210的控制，向被拍摄体照射闪光。
[0070] 立体照相机1000也可不包括图2所示的全部结构，也可以包括图2所示结构以外的结构。
[0071] 这里，参照图3，对立体照相机1000的动作中的三维建模的动作进行说明。
[0072] 图3为示出立体照相机1000的主要部分的结构，即用于实现三维建模的动作的结构的图。
[0073] 如图3所示，立体照相机1000包括接受部11、生成部12、选择部13、分割部14、指定部15、取得部16、变换部17、更新部18。这些要素通过例如控制部210构成。
[0074] 接受部11接受通过使用立体照相机1000，从不同角度对被拍摄体多次拍摄而得到的多个图像的组的输入。
[0075] 生成部12分别生成多个基于接受的多个图像的组中的任一者的被拍摄体的三维模型。
[0076] 选择部13从生成的多个三维模型中，选择被合成三维模型、和合成在该被合成三维模型中的合成三维模型。
[0077] 分割部14将选择的合成三维模型分割为多个合成区域。
[0078] 指定部15分别指定与多个合成区域中的任意一个相对应的、被合成三维模型中的多个被合成区域。
[0079] 取得部16分别取得用于将多个合成区域中的任意一个重合在与该任意一个合成区域相对应的被合成区域的多个坐标变换参数。
[0080] 变换部17基于取得的多个坐标变换参数，对多个合成区域进行坐标变换。
[0081] 更新部18通过将变换部17进行过坐标变换后的多个合成区域合成在指定的多个被合成区域中，由此更新被合成三维模型。
[0082] 接着，参照图4A～图4C，对拍摄被拍摄体的样子进行说明。
[0083] 立体照相机1000每次对被拍摄体进行拍摄，基于通过摄像得到的图像对，生成合成三维模型。立体照相机1000将生成的合成三维模型合成到被合成三维模型中。这里，每次摄像从不同角度对被拍摄体进行拍摄。
[0084] 本实施方式中，在最初的摄像中，从如图4A所示的照相机位置C1对被拍摄体501进行拍摄，在第2次摄像中，从如图4B所示的照相机位置C2对被拍摄体501进行拍摄，在第3次摄像中，从如图4C所示的照相机位置C3对被拍摄体501进行拍摄。这里，假设在最初摄像时和第3次摄像时，以表示熊缝制玩具的被拍摄体501的左臂没有举起来，在第2次摄像时，被拍摄体501的左臂举着。立体照相机1000按此方式，可生成摄像中部分发生了移动的被拍摄体501的三维模型。
[0085] 接着，对使用如图5所示的流程图，立体照相机1000执行的三维建模处理进行说明。立体照相机1000如果通过操作按键332等的操作，将动作模式设定为三维建模模式，则执行如图5所示的三维建模处理。
[0086] 首先，控制部210判断是否按压了快门按钮331(步骤S101)。控制部210如果判断为没有按压快门按钮331(步骤S101：否)，则再次执行步骤S101的处理。另一方面，控制部210如果判断为按压了快门按钮331(步骤S101：是)，则将摄像次数计数器N初始化为1(步骤S102)。此外，摄像次数计数器N存储在例如存储部250中。
[0087] 控制部210如果完成步骤S102的处理，则对被拍摄体501进行拍摄(步骤S103)。如果通过控制部210对被拍摄体501进行拍摄，则得到2幅平行同位图像(成对图像)。取得的成对图像存储在例如图像存储器230中。
[0088] 控制部210如果完成了步骤S103的处理，则基于存储在图像存储器230中的成对图像，生成三维模型(步骤S104)。三维模型(三维信息)使用例如以下的算式(1)～(3)而根据成对图像求得。表示生成的三维模型的信息存储在例如存储部250中。此外，针对根据成对图像取得三维信息的详细方法公开在例如数字图像处理、2006年3月1日发行、CG-ARTS协会中。
[0089] X＝(b*u)/(u-u’) (1)
[0090] Y＝(b*v)/(u-u’) (2)
[0091] Z＝(b*f)/(u-u’) (3)
[0092] 这里，b为光学装置110A和110B之间的距离，称为基线长。(u，v)表示通过光学装置110A拍摄的被拍摄体501的图像上的坐标，(u’，v’)表示通过光学装置110B拍摄的被拍摄体501的图像上的坐标。算式(1)～(3)中的(u-u’)为通过光学装置110A和光学装置110B，对同一被拍摄体501进行拍摄时得到的2幅图像上的被拍摄体501的坐标的差，称为视差。f表示光学装置110A的焦距。根据已有的说明，光学装置110A和110B具有相同的结构，焦距f也相等。
[0093] 控制部210如果完成了步骤S104的处理，则判断摄像次数计数器N是否为1(步骤S105)。这里，摄像次数计数器N为1表示是刚完成最初摄像之后。控制部210如果判断摄像次数计数器N为1(步骤S105：是)，则将步骤S104中生成的三维模型设定为被合成三维模型(步骤S106)。这里，被合成三维模型是合成合成三维模型的三维模型，是成为合成的基础的三维模型。
[0094] 另一方面，控制部210如果判断摄像次数计数器N不为1，即，不是刚完成最初摄像之后(步骤S105：否)，则执行区域分割处理(步骤S107)。针对区域分割处理，参照图6和图7A～图7D，进行详细说明。图6是示出步骤S107的区域分割处理的流程图。
[0095] 首先，控制部210在合成三维模型上设定K个起点(步骤S201)。在本实施方式中，为了便于理解，示出将合成三维模型变换为合成二次模型并进行区域分割的例子。即，在步骤S201中，在使合成三次模型投影到规定的投影面上时，在投影到该投影面上的二维化的合成三维模型上，大致均匀设定K个起点510。此外，也可以通过摄像得到的图像对的任意一个图像上的被拍摄体501上，设定K个起点510。图7A中示出，在二维化的合成三维模型上，设定K个起点510的图像。
[0096] 控制部210如果完成了步骤S201的处理，则将以各起点510为中心的区域扩大至相互重叠(步骤S202)。例如，以起点510为中心的区域，相互以同样的速度扩大，直到相互重叠为止。这里，在合成三维模型的三维空间上的多边形表面的法线(多边形法线)急剧变化的地方，终止区域的扩大。例如，合成三维模型的臂根部等构成该区域的边界线(三维空间上的边界面)。图7B示出通过这样规则进行区域分割的，二维化的合成三维模型的状态。图7B示出二维化的合成三维模型通过边界线511被分割为多个小区域(以下，称为“合成区域”)512的样子。此外，图7C中示出，分割为多个合成区域512、去除了起点510的二维化的合成三维模型。此外，也可以对三维中的合成三维模型进行直接区域分割。这时，在三维中的合成三维模型上直接设定K个起点，以各起点为中心的区域扩大至相互重叠。通过各起点扩大时的边界面，将合成三维模型分割。
[0097] 控制部210如果完成了步骤S202的处理，则在被合成三维模型上设定K个起点(步骤S203)。控制部210如果完成了步骤S203的处理，则针对二维化的被合成三维模型，将以各起点510为中心的区域扩大至相互重叠为止(步骤S204)。此外，将二维化的被合成三维模型分割为多个小区域(以下称为“被合成区域”)514的方法，与将二维化的合成三维模型分割为多个合成区域512的方法相同。控制部210如果完成了步骤S204的处理，则完成了区域分割处理。
[0098] 控制部210如果完成了步骤S107的处理，则执行三维模型合成处理(步骤S108)。针对三维模型合成处理，参照如图8所示的流程图进行详细说明。
[0099] 首先，控制部210取得立体照相机1000的相对位置(步骤S301)。具体而言，基于被合成三维模型和合成三维模型，推定相对于最初摄像时的照相机位置C1的、成为本次合成的合成三维模型的基础的成对图像的摄像时的照相机位置的相对位置。这里，推定相对于照相机位置C1的、照相机位置C2。即，被合成三维模型是根据从照相机位置C1摄像得到的成对图像而生成的三维模型，合成三维模型是根据从照相机位置C2摄像得到的成对图像而生成的三维模型。
[0100] 控制部210基于被合成三维模型和合成三维模型共同的、特征点的三维空间上的坐标的差，推定相对的照相机位置。在本实施方式中，首先，控制部210，使将被合成三维模型以照相机位置C1为视点二维投影变换时的该被合成三维模型，和将合成三维模型以照相机位置C2为视点二维投影变换时的该合成三维模型，这两者的二维空间上的特征点对应(例如，通过SHFT法等)。进一步，控制部210基于通过立体摄像的建模而得到三维信息，提高特征点对应的精度。而后，控制部210基于特征点的对应关系，计算出相对于照相机位置C1的照相机位置C2的相对位置。此外，在本实施方式中，在最初摄像时，被拍摄体501的左臂没有举起，在第2次摄像时，被拍摄体501的左臂移动，举了起来。所以，如果严格地说，最初摄像时的被拍摄体501和第2次摄像时的被拍摄体501的坐标并非完全一致。
但是，将左臂看作噪音。由此，可推定大致的相对照相机位置。
但是，将左臂看作噪音。由此，可推定大致的相对照相机位置。
[0101] 控制部210如果完成了步骤S301的处理，则基于步骤S301中求得的相对的照相机位置，将合成三维模型的坐标系和被合成三维模型的坐标系对准(步骤S302)。
[0102] 控制部210如果完成了步骤S302的处理，则从二维化的合成三维模型的多个合成区域512中，选择1个合成区域512(步骤S303)。这里，对从多个合成区域512中选择合成区域513进行说明。
[0103] 控制部210如果完成了步骤S303的处理，则指定与步骤S303中选择的合成区域513相对应的被合成区域514(步骤S304)。即，控制部210指定构成三维空间中的被合成三维模型的区域中、与所选择的合成区域513对应的三维空间上的区域的邻近区域。此外，在步骤S302中，由于将合成三维模型和被合成三维模型的坐标系对准，可进行临近计算。这里，在合成区域513中，被合成区域515为对应的区域。
[0104] 控制部210如果完成了步骤S304的处理，则求出用于将步骤S303中选择的合成区域513合并在步骤S304中指定的被合成区域515中的坐标变换参数(步骤S305)。坐标变换参数以为4×4的矩阵的H表示。通过以下所示的算式(4)，将表示合成区域513的坐标的W’变换为表示被合成区域515的坐标W。
[0105] kW＝HW’ (4)
[0106] 这里，k为任意值，W、W’为同维坐标。从而，维度扩展，将1放置在第4维中。H通过3×3的旋转矩阵式R，和3×1的平移向量T，以下式所示的算式(5)表示。
[0107]
[0108] 在合成区域513和被合成区域515之间，在找出满足H的对应点在阈值数以上的时候，求出作为坐标变换参数的H。此外，在步骤S304中，在指定多个与合成区域513对应的被合成区域514的情况下，控制部210从各个指定的多个被合成区域514中抽取候补特征点，通过RANSAC等缩小对应点范围，由此，可指定1个被合成区域515。
[0109] 控制部210如果完成了步骤S305的处理，则使用步骤S305中求出的坐标变换参数H，对步骤S303中选择的合成区域513进行坐标变换(步骤S306)。
[0110] 例如，在步骤S303中选择图7C中的合成区域513，在步骤S304中指定图7D中被合成区域515。此时，如图7E所示，合成区域513通过步骤S306的坐标变换，成为合成区域516。
[0111] 控制部210如果完成了步骤S306的处理，则将坐标变换后的合成区域516与被合成区域515合成(步骤S307)。此外，虽然合成区域516即使简单地重叠在被合成区域515上也是可以的，但在本实施方式中，针对在合成区域516和被合成区域515之间的边界部分上执行平滑处理的例子进行说明。
[0112] 平滑处理中，针对本来就重叠的区域(包含为了求出变换参数H而使用的特征点的区域)，将其成为平均(欧几里得距离的中间)的平面作为新的三维模型的建模面。图7F中示出将合成区域516重叠在被合成区域515上的样子。图7G中示出从图7F的箭头C4的方向看到的三维空间上的边界面的样子。在图7G中示出取被合成区域515和合成区域516的欧几里得距离的平均的新建模面517。
[0113] 控制部210如果完成了步骤S307的处理，则判断全部合成区域512是否选择完成(步骤S308)。控制部210如果判断为任意一个合成区域512没有选择完成(步骤S308：否)，则返回步骤S303中的处理。另一方面，控制部210如果判断为选择完成全部合成区域
512(步骤S308：是)，则在将合成后的被合成三维模型设定在被合成三维模型中之后(步骤S309)，结束三维模型合成处理。
512(步骤S308：是)，则在将合成后的被合成三维模型设定在被合成三维模型中之后(步骤S309)，结束三维模型合成处理。
[0114] 控制部210如果完成了步骤S108的处理，则将摄像次数计数器N的值增加1(步骤S109)。
[0115] 控制部210如果完成了步骤S106或步骤S109的处理，则判断是否按压快门按钮331(步骤S110)。控制部210如果判断为按压了快门按钮331(步骤S110：是)，则完成三维建模处理。另一方面，控制部210如果判断为没有按压快门按钮331(步骤S110：否)，则返回步骤S103中的处理。
[0116] 根据本实施方式的立体照相机1000，即使在被拍摄体的一部分移动的情况下，也可生成该被拍摄体的三维模型。此外，在本实施方式中，被拍摄体的指定部分在作为整体而移动的情况下是有效的。其原因是由于考虑了按照作为整体而移动的部分属于相同的区域的方式，进行区域分割。即原因为，在本实施方式中，人、动物的关节，缝制玩具的接合部等，与作为整体而移动的部分相连接的部分，按照构成区域分割时的边界的方式，进行区域分割。此外，以分割的区域单位，进行坐标变换。由此，即使在部分区域作为整体而移动的情况下，也能够与该移动的部分区域不移动的情况相同地合成该部分。
[0117] (第2实施方式)
[0118] 在第1实施方式中示出，将二维化的合成三维模型分割为多个合成区域512，进一步，将二维化的被合成三维模型分割为多个被合成区域514的例子。即，在第1实施方式中，示出从多个被合成区域514中选择与多个合成区域512中任意一个相对应的区域的例子。但是，二维化的被合成三维模型也不是必须被分割为多个被合成区域514。
[0119] 此时，在图6所示的区域分割处理中，执行步骤S201～S202的处理即完成区域分割处理。即，在区域分割处理中，不执行步骤S203～步骤S204的处理。而后，在图8所示的三维模型合成处理的步骤S304中，与步骤S303中选择的合成区域513相对应的区域(合成区域513的邻近区域)从二维化的被合成三维模型中直接指定。此外，与合成区域513对应的区域，通过例如该合成区域513内的特征点和二维化的被合成三维模型内的特征点的比较而求得。作为坐标变换参数的H也同样通过该合成区域513内的特征点和二维化的被合成三维模型内的特征点的比较而求得。本实施方式的立体照相机1000的结构和上述动作之外的动作与第1实施方式相同。
[0120] 根据本实施方式的立体照相机1000，不通过对二维化的被合成三维模型进行区域分割，就可获得与第1实施方式同样的效果。由此，节约区域分割中花费的处理时间。
[0121] (变形例)
[0122] 本发明并不限于上述实施方式公开的内容。
[0123] 本发明也可适用于不具有摄像装置的设备(例如，个人计算机)。此时，基于预先准备的多个成对图像，执行三维模型的合成。此外，也可以将多个成对图像中最好的拍摄被拍摄体的成对图像分配在作为基准的成对图像(关键帧)中。
[0124] 此外，本发明的三维建模装置不论使用专用的系统还是普通的计算机都可实现。例如，也可在计算机中，将用于执行上述动作的程序，存储在软盘、CD-ROM(Compact Disk Read-Only Memory)、DVD(Digital VersatileDisk)、MO(Magneto Optical Disk)等计算机可读取的存储介质中传播，通过将其安装在计算机系统中，构成执行上述处理的三维建模装置。
[0125] 进一步，也可以将程序事先存储在互联网上的服务器装置具有的盘装置等中，例如，将其加载在载波上，下载到计算机中。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 矿床三维地质建模方法 | 2020-05-13 | 863 |
| 三维成像建模仪 | 2020-05-11 | 159 |
| 建筑的三维建模方法 | 2020-05-13 | 618 |
| 一种三维建模系统 | 2020-05-12 | 212 |
| 一种三维地形建模方法 | 2020-05-12 | 230 |
| 眼球的三维建模方法 | 2020-05-12 | 998 |
| 三维建模装置以及三维建模方法 | 2020-05-11 | 875 |
| 一种三维建模扫描箱 | 2020-05-13 | 859 |
| 三维建模卡尺 | 2020-05-11 | 458 |
| 一种三维建模扫描箱 | 2020-05-11 | 621 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈