图像生成装置、图像生成系统、图像生成方法及图像生成程序
阅读：663发布：2020-05-15
专利汇可以提供图像生成装置、图像生成系统、图像生成方法及图像生成程序专利检索，专利查询，专利分析的服务。并且本 发明 提供一种即使长焦图像组的各图像之间的重复区域少也能够良好地合成长焦图像组的图像生成装置、图像生成系统、图像生成方法及图像生成程序。图像生成装置具备：图像获取部(2a)，获取通过摄像装置拍摄的广 角 图像组和与广角图像组同时拍摄的长焦图像组，所述广角图像组及所述长焦图像组是一边改变摄像装置的 位置 一边拍摄了被摄体的广角图像组及长焦图像组，所述摄像装置具备由具有共同的光轴的广角光学系统及长焦光学系统构成的摄像光学系统；合成信息获取部(2b)，分析所获取的广角图像组，并获取长焦图像组的合成中使用的合成信息；及合成图像生成部(2c)，根据合成信息、与广角光学系统及长焦光学系统的焦距相关的信息以及长焦图像组生成合成了长焦图像组的图像。，下面是图像生成装置、图像生成系统、图像生成方法及图像生成程序专利的具体信息内容。
1.一种图像生成装置，其具备：
图像获取部，获取通过摄像装置拍摄的广角图像组和与所述广角图像组同时拍摄的长焦图像组，所述广角图像组及所述长焦图像组是一边改变所述摄像装置的位置一边拍摄了被摄体的所述广角图像组及所述长焦图像组，所述摄像装置具备由具有共同的光轴的广角光学系统及长焦光学系统构成的摄像光学系统；
合成信息获取部，分析所述获取的所述广角图像组，并获取所述长焦图像组的合成中使用的合成信息；及
合成图像生成部，根据所述合成信息、与所述广角光学系统及所述长焦光学系统的焦距相关的信息以及所述长焦图像组生成合成了所述长焦图像组的图像。
2.根据权利要求1所述的图像生成装置，其中，
所述合成信息获取部分析所述获取的所述广角图像组，并分别估计拍摄了所述广角图像组的各广角图像时的所述摄像装置的位置及姿势来作为所述合成信息，所述合成图像生成部根据所述摄像装置的位置及姿势以及所述广角光学系统与所述长焦光学系统的视角比来合成所述长焦图像组。
3.根据权利要求2所述的图像生成装置，其中，
所述合成图像生成部通过以所述摄像装置的位置为起点朝向所述摄像装置的摄像方向反映所述视角比并进行投影来合成所述长焦图像组的各长焦图像。
4.根据权利要求1所述的图像生成装置，其中，
所述合成信息获取部分析所述获取的所述广角图像组，并分别估计拍摄了所述广角图像组的各广角图像时的所述摄像装置的位置及姿势和所述被摄体的立体形状来作为所述合成信息，
所述合成图像生成部根据所述摄像装置的位置及姿势、所述被摄体的立体形状以及与所述广角光学系统及所述长焦光学系统的焦距相关的信息来合成所述长焦图像组。
5.根据权利要求4所述的图像生成装置，其中，
所述合成信息获取部提取所述广角图像组的各广角图像的重复的区域中的多个特征点，并将所述提取的多个特征点的三维位置作为所述被摄体的立体形状来估计，所述合成图像生成部在包含所述多个特征点的三维位置的所述被摄体的三维模型表面映射所述长焦图像组的对应的纹理而生成合成了所述长焦图像组的图像。
6.根据权利要求1至5中任一项所述的图像生成装置，其中，
所述合成信息获取部通过运动恢复结构法或同时定位与地图构建法分别估计拍摄了所述广角图像组的各广角图像时的所述摄像装置的位置及姿势和所述被摄体的立体形状。
7.一种图像生成系统，其具备：
摄像装置，具备摄像光学系统、定向传感器、和图像读出部，其中，所述摄像光学系统由具有共同的光轴的广角光学系统及长焦光学系统构成，所述定向传感器具有由二维状排列的光电转换元件构成的多个像素且包含对经由所述广角光学系统及所述长焦光学系统入射的光束分别进行光瞳分割而选择性地受光的多个像素，所述图像读出部分别从所述定向传感器同时获取经由所述广角光学系统受光的广角图像及经由所述长焦光学系统受光的长焦图像；及
权利要求1至6中任一项所述的图像生成装置，
所述图像获取部一边改变所述摄像装置的位置一边进行拍摄，通过获取由所述图像读出部读出的所述广角图像及所述长焦图像而获取所述广角图像组及所述长焦图像组。
8.根据权利要求7所述的图像生成系统，其中，
所述摄像光学系统的广角光学系统及长焦光学系统中的一个光学系统为圆形的中央光学系统，另一个光学系统为相对于所述中央光学系统以同心圆状配设的环状光学系统。
9.根据权利要求7或8所述的图像生成系统，其中，
该图像生成系统具有：
调焦部，进行所述长焦光学系统的调焦。
10.根据权利要求7至9中任一项所述的图像生成系统，其中，
该图像生成系统还具备：
移动体，搭载有所述摄像装置。
11.根据权利要求10所述的图像生成系统，其中，
所述移动体为航空器或人造卫星。
12.一种图像生成方法，其包括：
获取通过摄像装置拍摄的广角图像组和与所述广角图像组同时拍摄的长焦图像组的步骤，所述广角图像组及所述长焦图像组是一边改变所述摄像装置的位置一边拍摄了被摄体的所述广角图像组及所述长焦图像组，所述摄像装置具备由具有共同的光轴的广角光学系统及长焦光学系统构成的摄像光学系统：
分析所述获取的所述广角图像组，并获取所述长焦图像组的合成中使用的合成信息的步骤：及
根据所述合成信息、与所述广角光学系统及所述长焦光学系统的焦距相关的信息以及所述长焦图像组生成合成了所述长焦图像组的图像的步骤。
13.根据权利要求12所述的图像生成方法，其中，
在获取所述合成信息的步骤中，分析所述获取的所述广角图像组，并分别估计拍摄了所述广角图像组的各广角图像时的所述摄像装置的位置及姿势来作为所述合成信息，在生成所述图像的步骤中，根据所述摄像装置的位置及姿势以及所述广角光学系统与所述长焦光学系统的视角比来合成所述长焦图像组。
14.根据权利要求13所述的图像生成方法，其中，
在生成所述图像的步骤中，通过以所述摄像装置的位置为起点朝向所述摄像装置的摄像方向反映所述视角比并进行投影来合成所述长焦图像组的各长焦图像。
15.根据权利要求12所述的图像生成方法，其中，
在获取所述合成信息的步骤中，分析所述获取的所述广角图像组，并分别估计拍摄了所述广角图像组的各广角图像时的所述摄像装置的位置及姿势和所述被摄体的立体形状来作为所述合成信息，
在生成所述图像的步骤中，根据所述摄像装置的位置及姿势、所述被摄体的立体形状以及与所述广角光学系统及所述长焦光学系统的焦距相关的信息来合成所述长焦图像组。
16.根据权利要求15所述的图像生成方法，其中，
在获取所述合成信息的步骤中，提取所述广角图像组的各广角图像的重复的区域中的多个特征点，并将所述提取的多个特征点的三维位置作为所述被摄体的立体形状来估计，在生成所述图像的步骤中，在包含所述多个特征点的三维位置的所述被摄体的三维模型表面映射所述长焦图像组的对应的纹理而生成合成了所述长焦图像组的图像。
17.一种图像生成程序，其通过计算机实现如下功能：
获取通过摄像装置拍摄的广角图像组和与所述广角图像组同时拍摄的长焦图像组的功能，所述广角图像组及所述长焦图像组是一边改变所述摄像装置的位置一边拍摄了被摄体的所述广角图像组及所述长焦图像组，所述摄像装置具备由具有共同的光轴的广角光学系统及长焦光学系统构成的摄像光学系统；
分析所述获取的所述广角图像组，并获取所述长焦图像组的合成中使用的合成信息的功能：及
根据所述合成信息、与所述广角光学系统及所述长焦光学系统的焦距相关的信息以及所述长焦图像组生成合成了所述长焦图像组的图像的功能。
图像生成装置、图像生成系统、图像生成方法及图像生成程序
技术领域
背景技术
[0002] 有贴合多个图像而获得更大的图像的技术，被称为全景合成、拼接等。
[0004] 并且，通过分析图像组能够估计相机的位置及姿势信息。专利文献1中记载有如下顺序，即，当已知相对于N张图像中的第j图像(其中，j＜N-1)的相机的位置及姿势信息时，估计关于第j+1图像的相机的位置及姿势信息。
[0005] 首先，进行第j图像与第j+1图像重复的区域中存在的特征点的对应关联，并求出适当的数量的对应的特征点对。接着，求出使建立对应关联的第j图像中的特征点与第j+1图像中的特征点的最小平方误差最小的、相对于拍摄第j图像时的相机的位置及姿势信息的拍摄第j+1图像时的相机的位置及姿势信息。
[0006] 根据如此求出的拍摄第1图像至第N图像时的相机的位置及姿势信息，将第1图像至第N图像依次转换(投影)为马赛克图像平面的图像并进行贴合，以合成视场较宽的一个马赛克图像。
[0007] 另一方面，专利文献2中提出有如下图像合成处理装置，即，拍摄广角图像及长焦图像，并且为了获得高清图像而在广角图像中合成一张或多张长焦图像。在此，广角图像及长焦图像为各拍摄一张的图像，只要是来自同一场所的拍摄，则也可以是改变相机的光轴方向而拍摄的图像。这是因为，即使在如广角图像与长焦图像的光轴中心出现偏差的情况下，通过对长焦图像进行投影转换，能够以从广角图像的光轴拍摄的方式对长焦图像进行变形而使两个图像的被摄体像一致。
[0008] 并且，专利文献3中记载有如下系统，即，用一台相机同时拍摄广角图像及长焦图像，并根据摄像范围稳定的广角图像测量摄像范围的变化量，根据该测量结果，以基于长焦图像的区域匹配等图像处理被抑制在能够正常进行处理的范围内的方式控制搭载有相机的移动体(移动方向或移动速度)，或控制相机(或摄像视角)。
[0009] 而且，有如下Structure from Motion(SfM/运动恢复结构)法，即，从相机的摄影位置移动的动态图像中，追踪多个特征点的动向，同时估计被摄体的三维结构(Structure)及相机姿势(Motion)。近年，开发出bundle adju stment(集束调整)这一最优化算法，从而成为在实用时间内可实现高精度的输出。
[0010] 以往技术文献
[0011] 专利文献
[0012] 专利文献1：日本特开2006-189940号公报
[0013] 专利文献2：日本特开2007-164258号公报
[0014] 专利文献3：日本特开2017-022574号公报
发明内容
[0015] 发明要解决的技术课题
[0016] 根据专利文献1中所记载的马赛克图像合成装置，当由视场较窄的图像组合成视场较宽的一个马赛克图像时，为了提取适当数量的对应的特征点，需要较多的视场较窄的图像组的重叠部分(图像之间的重复区域)，因此存在需要多个图像这一问题。另外，虽然通过传感器能够获取拍摄时的相机的位置及姿势信息，但若要获取高精度的信息，则传感器成为高价，或存在图像合成的精度下降这一问题。
[0017] 另一方面，SfM法需要将多个特征点包含于多个图像中，因此为了良好地进行估计而使用用广角拍摄的图像。广角图像在被摄体的大体三维结构的估计中有效，但各图像内的被摄体像较小，从而存在无法确认被摄体细部这一问题。
[0018] 专利文献2中所记载的图像合成处理装置在一张广角图像中编入(进行合成)一张或多张长焦图像，并清晰地拍出遍及广范围的被摄体整体并且获得高精度的图像，但并不生成比一张广角图像更广范围的合成图像。
[0019] 并且，专利文献3中所记载的系统设为如下方式，即，用一台相机同时拍摄广角图像及长焦图像，并根据广角图像测量摄像范围的变化量而控制搭载有相机的移动体或控制相机，由此能够正常地进行基于长焦图像的区域匹配等图像处理，但并不将广角图像的信息利用于长焦图像的合成。
[0020] 本发明是鉴于这种情况而完成的，其目的在于提供一种即使长焦图像组的各图像之间的重复区域少也能够良好地合成长焦图像组的图像生成装置、图像生成系统、图像生成方法及图像生成程序。
[0021] 用于解决技术课题的手段
[0022] 为了实现上述目的，本发明的一方式所涉及的图像生成装置具备：图像获取部，获取通过摄像装置拍摄的广角图像组和与广角图像组同时拍摄的长焦图像组，所述广角图像组及所述长焦图像组是一边改变摄像装置的位置一边拍摄了被摄体的广角图像组及长焦图像组，所述摄像装置具备由具有共同的光轴的广角光学系统及长焦光学系统构成的摄像光学系统；合成信息获取部，分析所获取的广角图像组，并获取长焦图像组的合成中使用的合成信息；及合成图像生成部，根据合成信息、与广角光学系统及长焦光学系统的焦距相关的信息以及长焦图像组生成合成了长焦图像组的图像。
[0023] 通过图像获取部获取的广角图像组及长焦图像组为一边改变具备由具有共同的光轴的广角光学系统及长焦光学系统构成的摄像光学系统的摄像装置的位置一边拍摄了被摄体的图像组，虽然广角图像组的各图像的中心区域(与长焦图像的视角对应的区域)的图像与长焦图像组的各图像的分辨率不同，但为相同的图像。
[0024] 因此，通过分析广角图像组能够获取长焦图像组的合成中使用的合成信息，即使长焦图像组的各图像之间的重复区域少也能够良好地合成长焦图像组。由此，能够大幅减少长焦图像组的拍摄张数，且能够生成高分辨率的合成图像。
[0025] 在本发明的另一方式所涉及的图像生成装置中，优选合成信息获取部分析所获取的广角图像组，并分别估计拍摄了广角图像组的各广角图像时的摄像装置的位置及姿势来作为合成信息，合成图像生成部根据摄像装置的位置及姿势以及广角光学系统与长焦光学系统的视角比来合成长焦图像组。
[0026] 通过分析广角图像组的重复区域的图像，能够估计以拍摄了广角图像组中的某一广角图像时的摄像装置的位置及姿势为基准的其他广角图像的摄像装置的位置及姿势。并且，能够估计被摄体的三维位置，因此能够估计摄像装置的位置与被摄体之间的距离。另外，广角光学系统与长焦光学系统的视角比为与广角光学系统及长焦光学系统的焦距之比对应的已知的值。
[0027] 广角图像组与长焦图像组的图像中心(光轴)相同，因此分析广角图像组而估计出的摄像装置的位置及姿势也能够适用于长焦图像组，从而能够使用估计出的摄像装置的位置及姿势和已知的视角比来确定长焦图像组的各图像的合成位置并进行合成。但是，无法求出绝对比例，因此例如只要特定被摄体的已知的大小(两点之间的距离等)，则也能够求出绝对比例。
[0028] 在本发明的又一方式所涉及的图像生成装置中，优选合成图像生成部通过以摄像装置的位置为起点朝向摄像装置的摄像方向反映视角比并进行投影来合成长焦图像组的各长焦图像。例如，通过以摄像装置的位置为起点朝向摄像装置的摄像方向反映视角比而在规定的投影面上投影(投影转换)各长焦图像，确定长焦图像组的各图像的粘贴位置，获得高清晰的长焦图像的合成图像。
[0029] 本发明的又一方式所涉及的图像生成装置中，优选合成信息获取部分析所获取的广角图像组，并分别估计拍摄了广角图像组的各广角图像时的摄像装置的位置及姿势和被摄体的立体形状来作为合成信息，合成图像生成部根据摄像装置的位置及姿势、被摄体的立体形状以及与广角光学系统及长焦光学系统的焦距相关的信息来合成长焦图像组。
[0030] 本发明的又一方式所涉及的图像生成装置中，优选合成信息获取部提取在广角图像组的各广角图像的重复的区域中的多个特征点，并将所提取的多个特征点的三维位置作为被摄体的立体形状来估计，合成图像生成部在包含多个特征点的三维位置的被摄体的三维模型表面映射长焦图像组的对应的纹理而生成合成了长焦图像组的图像。由此，能够生成从任意方向观察了被摄体的清晰的图像，从而能够准确地掌握被摄体的立体形状。
[0031] 本发明的又一方式所涉及的图像生成装置中，优选合成信息获取部通过运动恢复结构法或同时定位与地图构建法分别估计拍摄了广角图像组的各广角图像时的摄像装置的位置及姿势和被摄体的立体形状。
[0032] 本发明的又一方式所涉及的图像生成系统具备：摄像装置，具备摄像光学系统、定向传感器、和图像读出部，其中，所述摄像光学系统由具有共同的光轴的广角光学系统及长焦光学系统构成，所述定向传感器具有由二维状排列的光电转换元件构成的多个像素且包含对经由广角光学系统及长焦光学系统入射的光束分别进行光瞳分割而选择性地受光的多个像素，所述图像读出部分别从定向传感器同时获取经由广角光学系统受光的广角图像及经由长焦光学系统受光的长焦图像；及上述图像生成装置，图像获取部一边改变摄像装置的位置一边进行拍摄，通过获取由图像读出部读出的广角图像及长焦图像而获取广角图像组及广角图像组。
[0033] 根据本发明的又一方式，通过使用上述结构的摄像装置，并且一边改变摄像装置的位置一边进行拍摄，能够获取通过光轴共同的广角光学系统及长焦光学系统同时拍摄的广角图像组及长焦图像组。而且，分析所获取的广角图像组，获取长焦图像组的合成中使用的合成信息，从而能够生成根据所获取的合成信息、与广角光学系统及长焦光学系统的焦距相关的信息以及长焦图像组合成了长焦图像组的图像。
[0034] 在本发明的又一方式所涉及的图像生成系统中，优选摄像光学系统的广角光学系统及长焦光学系统中的一个光学系统为圆形的中央光学系统，另一个光学系统为相对于中央光学系统以同心圆状配设的环状光学系统。通过圆形的中央光学系统及相对于中央光学系统以同心圆状配设的环状光学系统拍摄的两个图像之间不产生视差，并且分别为旋转对称的形状，因此作为摄像光学系统优选。
[0035] 在本发明的又一方式所涉及的图像生成系统中，优选还具有：调焦部，进行长焦光学系统的调焦。长焦光学系统与广角光学系统相比，景深较浅，且容易模糊，因此优选进行调焦。另外，也可以在广角光学系统中设置调焦部，也可以在广角光学系统中不设置调焦部而将广角光学系统设为泛焦。
[0036] 本发明的又一方式所涉及的图像生成系统中，优选还具备：移动体，搭载有摄像装置。这是为了适当地移动摄像装置而获取视差不同的多个图像组。
[0038] 本发明的又一方式所涉及的图像生成方法包括：获取通过摄像装置拍摄的广角图像组和与广角图像组同时拍摄的长焦图像组的步骤，所述广角图像组及所述长焦图像组是一边改变摄像装置的位置一边拍摄了被摄体的广角图像组及长焦图像组，所述摄像装置具备由具有共同的光轴的广角光学系统及长焦光学系统构成的摄像光学系统：分析所获取的广角图像组，并获取长焦图像组的合成中使用的合成信息的步骤：及根据合成信息、与广角光学系统及长焦光学系统的焦距相关的信息以及基于长焦图像组生成合成了长焦图像组的图像的步骤。
[0039] 在本发明的又一方式所涉及的图像生成方法中，优选在获取合成信息的步骤中，分析所获取的广角图像组，并分别估计拍摄了广角图像组的各广角图像时的摄像装置的位置及姿势来作为合成信息，在生成图像的步骤中，根据摄像装置的位置及姿势以及广角光学系统与长焦光学系统的视角比来合成长焦图像组。
[0040] 在本发明的又一方式所涉及的图像生成方法中，优选在生成图像的步骤中，通过以摄像装置的位置为起点朝向摄像装置的摄像方向反映视角比并进行投影来合成长焦图像组的各长焦图像。
[0041] 在本发明的又一方式所涉及的图像生成方法中，优选在获取合成信息的步骤中，分析所获取的广角图像组，并分别估计拍摄了广角图像组的各广角图像时的摄像装置的位置及姿势和被摄体的立体形状来作为合成信息，在生成图像的步骤中，根据摄像装置的位置及姿势、被摄体的立体形状以及与广角光学系统及长焦光学系统的焦距相关的信息来合成长焦图像组。
[0042] 在本发明的又一方式所涉及的图像生成方法中，优选在获取合成信息的步骤中，提取广角图像组的各广角图像的重复的区域中的多个特征点，并将所提取的多个特征点的三维位置作为被摄体的立体形状来估计，在生成图像的步骤中，在包含多个特征点的三维位置的被摄体的三维模型表面映射长焦图像组的对应的纹理而生成合成了长焦图像组的图像。
[0043] 本发明的又一方式所涉及的图像生成程序通过计算机实现如下功能：获取通过摄像装置拍摄的广角图像组和与广角图像组同时拍摄的长焦图像组的功能，所述广角图像组及所述长焦图像组一边改变摄像装置的位置一边拍摄了被摄体的广角图像组及长焦图像组，所述摄像装置具备由具有共同的光轴的广角光学系统及长焦光学系统构成的摄像光学系统；分析所获取的广角图像组，并获取长焦图像组的合成中使用的合成信息的功能：及根据合成信息、与广角光学系统及长焦光学系统的焦距相关的信息以及长焦图像组生成合成了长焦图像组的图像的功能。
[0044] 并且，本发明所涉及的图像生成装置的图像获取部、合成信息获取部及合成图像生成部的各处理部的硬件结构为如下所示的各种处理器(processor)。各种处理器中包含执行软件(程序)而作为各种处理部发挥功能的通用的处理器即CPU(Central Processing Unit/中央处理器)、FPGA(Field Programmable Gate Array/现场可编程门阵列)等制造后能够变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、ASIC(Application Specific Integrated Circuit/专用集成电路)等具有为了执行特定处理而专门设计的电路结构的处理器即专用电气电路等。
[0045] 一个处理部可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器(例如，多个FPGA、或CPU与FPGA的组合)构成。并且，也可以将多个处理部由一个处理器来构成。作为将多个处理部由一个处理器来构成的例子，第1，有由一个以上的CPU与软件的组合来构成一个处理器，且该处理器作为多个处理部而发挥功能的方式。第2，有如以片上系统(System On Chip：SoC)等为代表，使用将包含多个处理部的整个系统的功能由一个IC(Integrated Circuit/集成电路)芯片来实现的处理器的方式。如此，各种处理部作为硬件结构使用一个以上上述各种处理器而构成。而且，更具体而言，这些各种处理器的硬件结构为半导体元件等组合了电路元件的电气电路(circuitry)。
[0046] 发明效果
[0048] 图1是表示构成本发明所涉及的图像生成系统的摄像装置及无人航空器的外观图。
[0049] 图2是表示无人航空器的电结构的框图。
[0050] 图3是无人航空器微型机实现的主要功能的框图。
[0051] 图4是表示控制器的电结构的框图。
[0052] 图5是表示本发明所涉及的摄像装置的概略结构的框图。
[0053] 图6是成像透镜的概略结构图。
[0054] 图7是表示通过长焦光学系统的光的光线轨迹的图。
[0055] 图8是表示通过广角光学系统的光的光线轨迹的图。
[0056] 图9是表示成像透镜的驱动系统的概略结构的框图。
[0057] 图10是通过聚焦机构驱动的长焦光学系统的动作说明图。
[0058] 图11是图像传感器的概略结构图。
[0059] 图12是图像传感器的各像素选择性地受光来自所对应的光学系统的光的结构的概念图。
[0060] 图13是相机微型机实现的主要功能的框图。
[0061] 图14是表示通过搭载于无人航空器的摄像装置拍摄的被摄体及摄像方式的一例的图。
[0063] 图16是表示大致一定地保持无人航空器的高度而一边飞行一边拍摄广角图像及长焦图像的情况的图。
[0064] 图17是表示本发明所涉及的图像生成系统的实施方式的系统结构图。
[0065] 图18是表示本发明所涉及的图像合成装置的实施方式的功能框图。
[0066] 图19是表示世界坐标系、局部坐标系及图像坐标系的关系的图。
[0067] 图20是表示使用SfM法并通过合成信息获取部估计的摄像装置的位置及姿势和特征点的三维位置的图。
[0068] 图21是用于说明根据两张广角图像合成两张长焦图像的方法的图。
[0069] 图22是生成合成图像的概念图。
[0070] 图23是表示本发明所涉及的图像生成方法的第1实施方式的流程图。
[0071] 图24是表示本发明所涉及的图像生成方法的第2实施方式的流程图，尤其是表示生成三维图像的处理顺序的流程图。
具体实施方式
[0072] 以下，按照附图对本发明所涉及的图像生成装置、图像生成系统、图像生成方法及图像生成程序的优选实施方式进行说明。
[0073] 本发明所涉及的图像生成系统主要由摄像装置、图像生成装置及无人航空器构成。
[0074] [摄像装置的第1实施方式]
[0075] <摄像装置的装置结构>
[0076] 图1是表示构成本发明所涉及的图像生成系统1的摄像装置100及无人航空器10的外观图。
[0077] 《无人航空器》
[0078] 无人航空器10为移动体的一例。无人航空器10为所谓的无人机，根据基于控制器12的操作而在大气中飞行。
[0079] <无人航空器的外观结构>
[0081] 主体框架14构成为具备躯干部14A、从躯干部14A以放射状延伸的4个臂部14B(在图1中仅示出了两个)及从躯干部14A以放射状延伸的4个腿部14C(在图1中仅示出了两个)。
[0082] 螺旋桨16设置于各臂部14B的前端。因此，在本实施方式的无人航空器10中设置有4个螺旋桨16(在图1中仅示出了两个)。
[0083] 无人航空器10通过使螺旋桨16旋转而产生的浮力从而在大气中飞行。无人航空器10通过单独控制各螺旋桨16的旋转，进行上升、下降、方向转换等。并且，通过单独控制各螺旋桨16的旋转，控制飞行速度。
[0084] <无人航空器的电结构>
[0085] 图2是表示无人航空器的电结构的框图。
[0087] 螺旋桨驱动电机20为螺旋桨16的旋转驱动机构。螺旋桨驱动电机20按每个螺旋桨16设置。各螺旋桨驱动电机20的驱动由电机驱动器22单独控制。各电机驱动器22根据来自无人航空器微型机30的指令，控制螺旋桨驱动电机20的驱动。
[0088] 传感器部24检测机身的飞行状态。传感器部24构成为具备陀螺仪传感器、地磁传感器、加速度传感器、速度传感器、高度传感器及GPS(Global Positioning System/全球定位系统)等各种传感器类。传感器部24将通过各种传感器检测到的机身的飞行状态的信息输出至无人航空器微型机30。
[0089] 机身侧无线通信部26在基于无人航空器微型机30的控制下，通过无线与控制器12进行通信，并彼此收发各种信号。例如，当操作了控制器12时，根据该操作，控制信号从控制器12向无人航空器10发送。机身侧无线通信部26接收从控制器12发送的控制信号，并输出至无人航空器10。关于通信方式并无特别限定，可使用常规使用的通信方式(例如，基于无线LAN(Local Area Network/局域网)标准的通信方式、基于特定省电力无线标准的通信方式及利用了移动电话网的通信方式等)。
[0090] 机身侧有线通信部28在基于无人航空器微型机30的控制下，通过有线与摄像装置100进行通信，并彼此收发各种信号。关于通信方式并无特别限定，可使用常规使用的通信方式(例如，基于USB(Universal Serial Bus/通用串行总线)标准的通信方式等)。
[0091] 无人航空器微型机30为集中控制无人航空器10的整体动作的控制部。无人航空器微型机30具备CPU(Central Processing Unit/中央处理器)、ROM(Read Only Memory/只读存储器)及RAM(Random Access Memory/随机存取存储器)，并通过执行规定的程序而实现各种功能。程序存储于ROM。
[0092] 图3是无人航空器微型机实现的主要功能的框图。
[0093] 无人航空器微型机30通过执行规定的程序，作为移动控制部30a、相机控制部30b、机身侧无线通信控制部30c及机身侧有线通信控制部30d等而发挥功能。
[0094] 移动控制部30a经由电机驱动器22控制各螺旋桨驱动电机20的驱动，由此控制无人航空器10的飞行(移动)。移动控制部30a根据从控制器12发送的控制信号及从传感器部24输出的机身的飞行状态的信息，控制各螺旋桨驱动电机20的驱动，并控制无人航空器10的飞行。例如，当从控制器12命令了上升时，以机身上升的方式控制各螺旋桨驱动电机20的驱动。并且，当从控制器12命令了下降时，以机身下降的方式控制各螺旋桨驱动电机20的驱动。而且，当从控制器12命令了回转时，以机身向被命令的方向回转的方式控制各螺旋桨驱动电机20的驱动。并且，在拍摄中，以机身以规定的速度飞行的方式控制各螺旋桨驱动电机
20的驱动。
20的驱动。
[0095] 相机控制部30b根据从控制器12发送的控制信号控制摄像装置100。例如，根据来自控制器12的拍摄开始命令，使摄像装置100开始拍摄。并且，根据来自控制器12的拍摄结束命令，使摄像装置100结束拍摄。
[0096] 机身侧无线通信控制部30c经由机身侧无线通信部26控制与控制器12之间的通信。
[0097] 机身侧有线通信控制部30d经由机身侧有线通信部28控制与摄像装置100之间的通信。
[0098] <控制器的结构>
[0099] 图4是表示控制器的电结构的框图。
[0100] 控制器12具备控制器操作部12a、控制器显示部12b、控制器侧无线通信部12c及控制器微型机12d。
[0101] 控制器操作部12a构成为具备操作无人航空器10及摄像装置100的各种操作部件。在操作无人航空器10的操作部件中例如包含命令无人航空器10的上升、下降的操作部件及命令无人航空器10的回转的操作部件等。在操作摄像装置100的操作部件中例如包含命令拍摄开始、拍摄结束的操作部件等。
[0102] 控制器显示部12b例如由LCD(Liquid Crystal Display/液晶显示器)构成。在控制器显示部12b例如显示无人航空器10的飞行状态的信息。
[0103] 控制器侧无线通信部12c在基于控制器微型机12d的控制下，通过无线与无人航空器10进行通信，并彼此收发各种信号。
[0104] 控制器微型机12d为集中控制控制器12的整体动作的控制部。无人航空器微型机30具备CPU、ROM及RAM，并通过执行规定的程序而实现各种功能。例如，若操作控制器操作部
12a，则生成与其操作相应的控制信号，并经由控制器侧无线通信部12c发送至无人航空器
10。并且，例如，经由控制器侧无线通信部12c从无人航空器10获取飞行状态的信息，并显示于控制器显示部12b。程序存储于ROM。
12a，则生成与其操作相应的控制信号，并经由控制器侧无线通信部12c发送至无人航空器
10。并且，例如，经由控制器侧无线通信部12c从无人航空器10获取飞行状态的信息，并显示于控制器显示部12b。程序存储于ROM。
[0105] 《摄像装置》
[0106] 图5是表示本发明所涉及的摄像装置100的概略结构的框图。
[0107] 摄像装置100由单镜头反光相机构成。摄像装置100经由云台搭载于无人航空器10。通过云台调整摄像方向。
[0108] 摄像装置100根据来自控制器12的摄像命令连续拍摄动态图像。另外，摄像装置100并不限于动态图像，还可以依次拍摄静态图像。
[0109] 如图5所示，摄像装置100构成为具备成像透镜300、图像传感器210、模拟信号处理部230、记录部232、相机侧有线通信部234及相机微型机236等。
[0110] <成像透镜>
[0111] 图6是成像透镜的概略结构图。
[0112] 如图6所示，作为摄像光学系统而发挥功能的成像透镜300同时拍摄视角不同的两个图像，因此具有两个光学系统(长焦光学系统310及广角光学系统320)。长焦光学系统310及广角光学系统320在同轴上进行拍摄，因此具有相同的光轴L。尤其本实施方式的成像透镜300的长焦光学系统310及广角光学系统320配置成同心圆状。并且，长焦光学系统310及广角光学系统320拍摄视角不同的图像，因此具有不同的焦距。本例的广角光学系统320为圆形的中央光学系统，长焦光学系统310为相对于中央光学系统以同心圆状配设的环状光学系统。
[0113] <长焦光学系统>
[0114] 本实施方式的长焦光学系统310由反射式长焦光学系统构成。
[0115] 如图6所示，长焦光学系统310构成为从被摄体侧依次配置有第1透镜310a、第1反射镜310b、第2反射镜310c、光圈310d及共用透镜330。第1透镜310a、第1反射镜310b、第2反射镜310c及光圈310d分别具有环形状。
[0116] 第1反射镜310b构成反射长焦光学系统的主镜，且朝向第2反射镜310c反射通过了第1透镜310a的光。
[0117] 第2反射镜310c构成反射长焦光学系统的副镜，且朝向共用透镜330反射由第1反射镜310b反射的光。
[0118] 光圈310d调整从第2反射镜310c入射于共用透镜330的光的量。光圈310d构成为将多片光圈叶片组合成环状，并缩放其外径而调整光量。
[0119] 共用透镜330为最终透镜。入射于长焦光学系统310的光从共用透镜330射出，并入射于图像传感器210。共用透镜330与广角光学系统320通用。
[0120] 图7是表示通过长焦光学系统的光的光线轨迹的图。
[0121] 如图7所示，光经由第1透镜310a、第1反射镜310b、第2反射镜310c、光圈310d及共用透镜330入射于图像传感器210。
[0122] <广角光学系统>
[0123] 本实施方式的广角光学系统320由能够利用泛焦进行拍摄的固定焦点的光学系统构成。
[0124] 如图6所示，广角光学系统320从被摄体侧依次配置有第1透镜320a、第2透镜320b、光圈320c、第3透镜320d、第4透镜320e及共用透镜330。各光学要件配置于长焦光学系统310的内周部同轴上。广角光学系统320为固定焦点，因此各光学要件(包含共用透镜330)固定配置于一定位置。光圈320c也由固定光圈构成，且固定配置于一定位置。
[0125] 图8是表示通过广角光学系统320的光的光线轨迹的图。
[0126] 光经由第1透镜320a、第2透镜320b、光圈320c、第3透镜320d、第4透镜320e及共用透镜330入射于图像传感器210。
[0127] <成像透镜的驱动系统>
[0128] 图9是表示成像透镜300的驱动系统的概略结构的框图。
[0129] 如上所述，广角光学系统320为固定焦点、固定光圈，因此驱动系统仅对长焦光学系统310进行设置。
[0130] 长焦光学系统310具备作为进行长焦光学系统310的调焦的调焦部而发挥功能的聚焦机构。
[0131] 聚焦机构通过使长焦光学系统310的一部分光学要件沿轴前后移动，使聚焦位置位移。
[0132] 图10是通过聚焦机构驱动的长焦光学系统的动作说明图。图10(A)表示使可动部移动至被摄体侧的状态，图10(B)表示使可动部移动至像面侧的状态。
[0133] 如图9及图10所示，聚焦机构使构成长焦光学系统310的第1透镜310a、第1反射镜310b、第2反射镜310c及光圈310d一体地移动，而使聚焦位置位移。
[0134] 聚焦机构构成为具备以沿轴一体移动自如的方式支承第1透镜310a、第1反射镜310b、第2反射镜310c及光圈310d(以下，称为“可动部”。)的支承部(未图示)和使该长焦光学系统可动部沿轴移动的聚焦电机340。聚焦电机340例如由线性电机构成。相机微型机236经由聚焦电机驱动器340a控制聚焦电机340的驱动。
[0135] 长焦光学系统310作为检测可动部位置的机构，具备光电断路器342a及MR传感器(MR传感器：Magneto Resistive Sensor/磁阻传感器)342b。光电断路器342a检测可动部位于预先设定的原点。MR传感器342b通过检测可动部的位移量的光电断路器342a检测可动部位于原点，并通过MR传感器342b检测离原点的位移量，由此能够检测相对于原点的可动部的位置。光电断路器342a及MR传感器342b的检测结果输出至相机微型机236。相机微型机236根据光电断路器342a及MR传感器342b的输出，检测可动部的位置。
[0136] 光圈310d由光圈电机344驱动。相机微型机236经由光圈驱动器344a控制光圈电机344的驱动。
[0137] <图像传感器>
[0138] 图像传感器210为CMOS(CMOS：Complementary Metal Oxide Semiconduc tor/互补金属氧化物半导体)、CCD(CCD：Charged Coupled Device/电荷耦合元件)等固体成像元件，尤其由选择性地受光通过了长焦光学系统310的光及通过了广角光学系统320的光的像素二维状排列的定向传感器构成。
[0139] 图11是图像传感器210的概略结构图。
[0140] 如图11所示，图像传感器210具有由二维状排列的光电转换元件构成的多个像素，且具有选择性地受光通过了长焦光学系统310的光的第1像素212A及选择性地受光通过了广角光学系统320的光的第2像素212B。第1像素212A及第2像素212B在同一平面上交替配置。
[0141] 图12是图像传感器210的各像素选择性地受光来自所对应的光学系统的光的结构的概念图。
[0142] 如图12所示，各像素构成为具备光电二极管214、微透镜216及遮光掩模218。微透镜216及遮光掩模218作为对通过长焦光学系统310及广角光学系统320的光束分别进行光瞳分割而选择性地入射于图像传感器210的各像素的光瞳分割机构而发挥功能。
[0144] 遮光掩模218配置于微透镜216与光电二极管214之间。遮光掩模218遮光通过了微透镜216的光的一部分。第1像素212A的遮光掩模218具有遮光通过了广角光学系统320的光L2的形状。具体而言，具有圆形状。第2像素212B的遮光掩模218具有遮光通过了长焦光学系统310的光L1的形状。具体而言，具有环形状。
[0145] 根据以上结构，第1像素212A选择性地受光通过了长焦光学系统310的光L1，第2像素212B选择性地受光通过了广角光学系统320的光L2。因此，通过获取第1像素212A的图像信号，能够同时获取经由长焦光学系统310获得的图像Im1的图像信号，通过获取第2像素212B的图像信号，能够获取经由广角光学系统320获得的图像Im2的图像信号。
[0146] 本实施方式的成像透镜300的长焦光学系统310的光轴与广角光学系统320的光轴相同，因此长焦光学系统310的图像Im1成为放大了广角光学系统320的图像Im2的中央部分的图像，且成为没有视差的图像。
[0148] <模拟信号处理部>
[0149] 在图5中，模拟信号处理部230读取从图像传感器210输出的每个像素的模拟图像信号，并实施规定的信号处理之后，转换为数字信号并输出。从模拟信号处理部230输出的数字图像信号被相机微型机236读取。
[0150] <记录部>
[0151] 记录部232为各种数据的记录部。所拍摄的图像数据记录于记录部232。记录部124例如由SSD(solid state drive/固态硬盘)等使用了非易失性存储器的存储设备构成。另外，本实施方式的摄像装置100在一次拍摄中同时拍摄两个图像(长焦图像及广角图像)，因此在一次拍摄中记录两个图像。具体而言，记录通过长焦光学系统310拍摄的图像数据及通过广角光学系统320拍摄的图像数据。
[0152] <相机侧有线通信部>
[0153] 相机侧有线通信部234在基于相机微型机236的控制下，通过有线与无人航空器10进行通信，并彼此收发各种信号。
[0154] <相机微型机>
[0155] 相机微型机236为集中控制摄像装置100的整体动作的控制部。相机微型机236具备CPU、ROM及RAM，并通过执行规定的程序而实现各种功能。程序存储于ROM。
[0156] 图13是相机微型机236实现的主要功能的框图。
[0157] 如图13所示，相机微型机236通过执行规定的程序，作为数字信号处理部236a、记录控制部236b、相机侧有线通信控制部236c、摄像控制部236d、光圈控制部236e、聚焦控制部236f及透镜位置检测部236g等而发挥功能。
[0158] 数字信号处理部236a读取从模拟信号处理部230输出的模拟图像信号，并实施规定的信号处理(例如，颜色插值、色彩分离、色彩平衡调整、伽马校正、图像增强处理等)而生成图像数据。此时，数字信号处理部236a根据图像传感器210的第1像素212A的图像信号生成长焦图像数据，并根据第2像素212B的图像信号生成广角图像数据。
[0159] 记录控制部236b控制数据向记录部232的读写。通过拍摄获得的图像数据(长焦图像数据及广角图像数据)通过记录控制部236b记录于记录部232。另外，作为动态图像(或多个静态图像)拍摄的长焦图像组及广角图像组中，同时拍摄的长焦图像及广角图像的各图像数据彼此建立关联并被存储。
[0160] 相机侧有线通信控制部236c经由相机侧有线通信部234控制与无人航空器10之间的通信。
[0161] 作为从图像传感器210同时获取表示广角图像及长焦图像的图像信号的图像读出部而发挥功能的摄像控制部236d经由图像传感器驱动器210a控制图像传感器210的驱动。更具体而言，以规定的帧速率来拍摄动态图像的方式控制图像传感器210的驱动。
[0162] 光圈控制部236e经由光圈驱动器344a控制光圈电机344的驱动。更具体而言，以光圈310d成为规定的光圈值(开口量)的方式控制光圈电机344的驱动。光圈值根据从图像传感器210获得的信号而设定。即，以成为适度曝光的方式设定光圈值。
[0163] 聚焦控制部236f经由聚焦电机驱动器340a控制聚焦电机340的驱动。
[0164] [摄像装置的作用]
[0165] 《基本动作》
[0166] <无人航空器的基本动作>
[0167] 无人航空器10根据控制器12的操作而在大气中飞行。具体而言，根据基于控制器12的上升命令而上升，根据下降命令而下降。并且，根据回转命令而向被命令的方向回转。
[0168] <摄像装置的基本动作>
[0169] 摄像装置100也根据控制器12的操作进行拍摄。即，根据基于控制器12的拍摄开始的命令，开始动态图像的拍摄。并且，根据基于控制器12的拍摄结束的命令，结束动态图像的拍摄。在从拍摄开始至命令拍摄结束的期间，连续拍摄动态图像。
[0170] 在此，本实施方式的摄像装置100在同轴上同时拍摄基于长焦光学系统310的长焦图像及基于广角光学系统320的广角图像。两者为没有视差的动态图像，且分别记录于记录部232。
[0171] <拍摄中的无人航空器的动作>
[0172] 图14是表示通过搭载于无人航空器10的摄像装置100拍摄的被摄体及摄像方式的一例的图。
[0173] 图14所示的被摄体为设置于地面的太阳能发电设备500，搭载于无人航空器10的摄像装置100通过无人航空器10从上空沿由箭头R表示的飞行路径移动而拍摄太阳能发电设备500。即，无人航空器10以摄像装置100扫描太阳能发电设备500的方式飞行，并从上空拍摄太阳能发电设备500。
[0174] 太阳能发电设备500构成为有序排列多个太阳能发电单元510。一个太阳能发电单元510构成为有序排列多片太阳能电池模块520。在图14所示的例子中，以纵横5×9排列45片太阳能电池模块520而构成一个太阳能发电单元510。
[0175] 图15是表示通过搭载于无人航空器10的摄像装置100拍摄太阳能发电单元510的情况的立体图，Zt表示经由长焦光学系统310拍摄的一次拍摄范围，Zw表示经由广角光学系统320拍摄的一次拍摄范围。
[0176] 在图15所示的例子中，经由长焦光学系统310拍摄的一次拍摄范围Zt为能够覆盖一个太阳能发电单元510的短边方向的长度的范围，经由广角光学系统320拍摄的一次拍摄范围Zw为能够覆盖3个太阳能发电单元510的短边方向的长度的范围。
[0177] 如图16所示，无人航空器10在拍摄中以大致保持一定高度的方式飞行(包含悬停)。因此，拍摄中的操作仅为回转。
[0178] 作为移动控制部30a而发挥功能的无人航空器微型机30根据来自传感器部24的输出，控制各螺旋桨驱动电机20的驱动，并以大致保持一定高度的方式飞行。
[0179] 现在考虑从一定的高度朝向正下方进行拍摄的情况。在该情况下，通过长焦光学系统310拍摄视角θ1的范围X1，通过广角光学系统320拍摄视角θ2的范围X2。
[0180] 后述的长焦图像的合成中使用的长焦图像组在相邻的长焦图像之间范围X1无需重复(优选以不产生间隙程度重复范围X1)，广角图像组在相邻的广角图像之间范围X2需要充分重复。
[0181] <无人航空器的飞行>
[0182] 无人航空器10也可以是自动飞行预先设定的路径的结构。在该情况下，无需控制器12。无人航空器10根据各种传感器的信息，一边自主控制，一边飞行所确定的路径。另外，在该情况下，也在上述条件下设定飞行速度。
[0183] <基于摄像装置的拍摄>
[0184] 在上述实施方式中，设为根据摄像命令连续拍摄动态图像的结构，但也可以设为周期性地拍摄静态图像的结构。
[0185] 《所拍摄的图像的合成处理》
[0186] 通过长焦光学系统310拍摄的多个长焦图像(长焦图像组)及通过广角光学系统320拍摄的多个广角图像(广角图像组)分别记录于记录部232。
[0187] 对这些长焦图像组及广角图像组的后述的图像合成处理可以通过内置于摄像装置100或与摄像装置100连结的图像生成装置进行，也可以与摄像装置100分体的装置(专用图像生成装置)进行。
[0188] 当通过摄像装置100进行图像合成处理时，可实现使相机微型机236进行上述处理的功能。在该情况下，相机微型机236通过执行图像生成程序而作为图像生成装置发挥功能，并执行上述处理。
[0189] 当通过专用图像生成装置进行时，例如，使计算机作为图像生成装置而发挥功能。即，使计算机执行图像生成程序而作为上述图像生成装置发挥功能。
[0190] [图像生成系统]
[0191] 图17是表示本发明所涉及的图像生成系统1的系统结构图，由摄像装置100、搭载有摄像装置100的无人航空器10及图像生成装置2构成。
[0192] 在图17中，图像生成装置2由具备CPU、ROM及RAM等的计算机构成，且获取通过摄像装置100拍摄的长焦图像组及广角图像组，并生成根据所获取的长焦图像组及广角图像组合成了长焦图像组的图像。
[0193] 并且，计算机通过CPU执行存储于ROM的图像生成程序，作为图像生成装置2而发挥功能。
[0194] <图像合成装置>
[0195] 图18是表示本发明所涉及的图像生成装置2的实施方式的功能框图。
[0196] 如图18所示，图像生成装置2主要由图像获取部2a、合成信息获取部2b及合成图像生成部2c构成。
[0197] 图像获取部2a获取通过摄像装置100拍摄的广角图像组及长焦图像组。基于图像获取部2a的广角图像组及长焦图像组的获取也可以设为如下方式，即，在与摄像装置100或无人航空器10之间进行无线通信，当每次通过摄像装置100进行一次拍摄时，实时获取同时拍摄的广角长焦图像及广角图像，或在拍摄结束后，经由无线通信或有线通信或者记录介质汇总获取广角图像组及长焦图像组。
[0198] 合成信息获取部2b分析通过图像获取部2a获取的广角图像组，并获取长焦图像组的合成中使用的合成信息。
[0199] 《获取合成信息的第1实施方式》
[0200] 合成信息获取部2b分析广角图像组，并分别估计作为合成信息拍摄了广角图像组的各广角图像时的摄像装置100的位置及姿势。
[0201] 具体而言，提取一边移动摄像装置100的位置一边拍摄的广角图像组的各广角图像重复的区域(重复区域)中所包含的特征点，并特定各广角图像之间的特征点的对应关系(分别为局部特征量一致的对应点)。
[0202] 作为对于广角图像之间的放大缩小(摄像距离的差异)、旋转等具有较强鲁棒性的局部特征量，已知有SIFT(Scale-invariant feature transform/尺度不变特征转换)特征量、SURF(Speed-Upped Robust Feature/加速鲁棒特征)特征量及AKAZE(Accelerated KAZE)特征量。特征量一致的对应点的数量(组数)优选具有数十组以上，因此各广角图像之间的重复区域优选较大。在图16所示的例子中，各广角图像之间的重复区域超过了图像整体的50％。
[0203] 而且，根据各广角图像之间的对应的多个特征点分别估计摄像装置100的位置及姿势。
[0204] <摄像装置的位置及姿势的估计>
[0205] 图19是表示世界坐标系、局部坐标系及图像坐标系的关系的图。
[0206] 被摄体(在本例中为包含太阳能发电单元510的太阳能发电设备)的三维位置(三维形状)能够以具有原点O的XYZ正交3轴的世界坐标系来表示。
[0207] 另一方面，xyz正交3轴的局部坐标系(以下，称为“相机坐标系”)为与世界坐标系独立地移动的摄像装置100(相机)的坐标系。相机坐标系的原点为相机的焦点位置，且光轴方向为z轴。
[0208] 图像坐标系为表示成像于图像传感器210的图像上的点的二维位置的坐标系。图像上的特征点c的坐标(u、v)能够由自图像传感器210基准位置的像素数及像素间距来求出。
[0209] 图像坐标系中的特征点c的坐标(u、v)、世界坐标系中的特征点c的坐标(X、Y、Z)、表示相机内部参数的矩阵C及表示相机外部参数的矩阵M之间的关系能够由以下式来表示。
[0210] [数式1]
[0211]
[0212] 相机内部参数包含焦距、图像传感器的图像尺寸、像素间距及图像中心位置等，是事先通过校准能够获取的参数。
[0213] 表示相机外部参数的矩阵M为从世界坐标向相机坐标的坐标转换矩阵，包含表示摄像装置100的位置的平移向量及表示摄像装置100的姿势的旋转矩阵。
[0214] 摄像装置100的位置及姿势通过求出表示相机外部参数的矩阵M而能够估计。作为根据多个图像上的特征点估计相机外部参数的方法，已知有运动恢复结构(SfM)法。
[0215] SfM法跟踪一边移动摄像装置100(相机)一边拍摄的图像上的多个特征点，并利用这些特征点的对应关系计算相机的位置及姿势和特征点的三维位置。但是，SfM法中能够估计相机与被摄体之间的相对位置以及相机之间的相对位置及姿势，但仅通过图像无法获得比例信息，因此无法估计绝对位置。于是，通过赋予三维位置已知的标记等绝对位置信息或被摄体的尺寸信息(例如，太阳能电池模块520的尺寸信息)等，能够估计绝对位置。
[0216] 合成信息获取部2b(图18)对所输入的广角图像组使用上述SfM法，并分别估计作为合成信息拍摄了广角图像组的各广角图像时的摄像装置100的位置及姿势。
[0217] 另外，合成信息获取部2b并不限于使用SfM法的情况，例如，也可以使用Simultaneous Localization And Mapping(SLAM)(同时定位与地图构建)法。SLAM法中，使用根据输入图像的变化而动态更新的特征点组，能够同时估计特征点的位置和相机的位置及姿势。SLAM法的基本原理记载于非专利文献(Andrew J.Davison，“Real-Time Simultaneous Localization and Mapping with a Single Camera”，Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2、2003、pp.1403-1410)。
[0218] 图20是表示使用SfM法并通过合成信息获取部2b估计的摄像装置100的位置及姿势和特征点FP的三维位置的图。
[0219] 在图20中，XYZ坐标系为世界坐标系，在本例中，X-Y平面表示地平面，Z轴表示高度方向(高度)。并且，从摄像装置100的各摄像位置朝向地平面的线段表示摄像装置100的摄像(光轴)方向。
[0220] 返回图18，合成图像生成部2c生成根据通过合成信息获取部2b获取的合成信息(在本例中，摄像装置100的位置及姿势等)、与广角光学系统320及长焦光学系统310的焦距相关的信息(在本例中，两个光学系统的视角比(焦距之比))及通过图像获取部2a获取的长焦图像组合成了长焦图像组的图像。
[0221] 图21是表示根据两张广角图像合成两张长焦图像的方法的图。
[0222] 在图21中，相邻的两张广角图像的摄像范围Zw1、Zw2彼此超过图像整体的50％而重复，在合成信息获取部2b中，在两张广角图像之间的重复区域，根据分别对应的多个特征点获取合成信息(分别拍摄了两张广角图像时的摄像装置100的位置及姿势)。合成图像生成部2c以分别拍摄了两张广角图像时的摄像装置100的位置为起点，朝向与摄像装置100的姿势对应的摄像方向将两张广角图像例如以地表面为投影面进行投影，由此能够合成以分别对应的特征点彼此重叠的方式进行了位置对准的广角图像。
[0223] 然而，在本发明中，代替广角图像，使用分别与广角图像同时拍摄的长焦图像，反映图16所示的长焦光学系统310的视角θ1与广角光学系统320的视角θ2的视角比(θ1/θ2)并进行投影，由此适当地合成两个长焦图像。长焦光学系统310及广角光学系统320中，[数式1]示出的表示相机内部参数的矩阵C(尤其焦距)不同，因此使用分析广角图像组而获取的合成信息，且反映相机内部参数的差异并进行转换，由此能够适当地合成两个长焦图像。
[0224] 所合成的两张长焦图像的摄像范围Zt1、Zt2优选两个图像之间的重复部分较少。这是因为，为了获取用于合成长焦图像的合成信息而不使用相邻的长焦图像之间的重复部分，并且通过减少长焦图像之间的重复部分，能够大幅减少长焦图像组的拍摄张数。
[0225] 另外，即便在长焦图像之间没有重复部分，也能够合成长焦图像组。在该情况下，在所合成的图像中出现间隙，但通过再次拍摄能够填补该间隙。并且，也能够将间隙用广角图像来填补。在该情况下，间隙部分的图像的分辨率下降。
[0226] 图22是生成合成图像的概念图。
[0227] 图22示出了摄像装置100大致以直线状飞行时获得的10张广角图像W1～W10及根据从这些广角图像W1～W10获取的合成信息而合成的10张长焦图像T1～T10。另外，在图22中，为了示出广角图像W1～W10及长焦图像T1～T10的摄像范围，将长焦图像T1～T10图示成较小，但长焦图像T1～T10的图像尺寸较大(分辨率较高)。
[0228] 返回图18，通过合成图像生成部2c合成了长焦图像组的合成图像通过输出至显示部3而能够进行显示，并且，通过输出至记录部4而能够进行保存。
[0229] 显示部3能够使用包含图像生成装置2的计算机的显示器，记录部4能够使用计算机的硬盘、计算机内的非易失性存储器、可装卸于计算机的存储卡等外部存储器。
[0230] 用户通过显示于显示部3的合成图像能够观察被摄体(在本例中为太阳能发电设备500)，尤其在详细观察构成太阳能发电设备500的太阳能发电单元510，进而详细观察构成太阳能发电单元510的太阳能电池模块520时(观察太阳能发电单元510的污垢或缺陷等时)，能够将合成图像放大显示于显示部3。即使在如此放大显示合成图像的情况下，合成图像合成长焦图像而生成，因此分辨率高，从而能够进行详细观察。
[0231] 并且，当每次通过摄像装置100进行一次拍摄时，图像生成装置2实时获取同时拍摄的广角长焦图像及广角图像，并能够将依次合成了长焦图像的合成图像实时显示于显示部3。在该情况下，用户通过实时显示于显示部3的合成图像能够确认长焦图像未合成的区域(未拍摄的区域)，从而为了拍摄未拍摄的区域而能够远程操作无人航空器10。
[0232] 《获取合成信息的第2实施方式》
[0233] 图18所示的合成信息获取部2b分析广角图像组，并且以任意的广角图像为基准提取与相邻的广角图像的重复区域所存在的多个特征点(SIFT特征量等一致的多个组的对应点)。
[0234] 接着，计算相对于基准广角图像的多个特征点，使相邻的广角图像的对应的特征点一致的相邻的广角图像的投影转换矩阵。
[0235] 关于特征量一致的特征点的数量(组数)，需要检测为了对两个图像中的一个图像进行几何转换而使用的转换参数的计算所需的数量以上。
[0236] 投影转换式如下式。
[0237] [数式2]
[0238] X＝(ax+by+s)/(px+qy+1)
[0239] Y＝(cx+dy+t)/(px+qy+1)
[0240] 投影转换的转换参数是指[数式2]中的a、b、s、c、d、t、p及q这8个参数。并且，(x、y)、(X、Y)分别表示投影转换前后的坐标值。
[0241] 因此，通过建立将多个组的特征点的坐标值分别代入于[数式2]的8个联立方程式并解开8个联立方程式，能够计算投影转换中使用的8个转换参数。
[0242] 如此，根据广角图像组计算依次投影转换的转换参数。
[0243] 合成图像生成部2c将通过合成信息获取部2b获取的投影转换的转换参数作为长焦图像组的合成中使用的合成信息来输入，并根据所输入的合成信息和与广角光学系统及长焦光学系统的焦距相关的信息，将相对于与基准广角图像对应的长焦图像的其他长焦图像组进行投影转换，以合成长焦图像组。
[0244] 《获取合成信息的第3实施方式》
[0245] 图18所示的合成信息获取部2b分析广角图像组，并分别估计作为合成信息拍摄了广角图像组的各广角图像时的摄像装置100的位置及姿势和被摄体的立体形状。
[0246] 此时的广角图像组为对具有立体形状的被摄体以免存在未拍摄区域的方式从各种角度拍摄的图像组。
[0247] 被摄体的立体形状为在各广角图像之间特征一致的多个特征点的三维位置的集合，优选对多个特征点的三维位置适当进行插值并获取高密度的三维位置。
[0248] 合成图像生成部2c生成在包含多个特征点的三维位置的被摄体的三维模型表面映射长焦图像组的对应的纹理并合成了长焦图像组的图像。即，合成图像生成部2c根据合成信息获取部2b获取的包含多个特征点的三维位置生成用于识别被摄体形状的多边形网格，从长焦图像组中提取与多边形网格对应的纹理并映射于所生成的多边形网格中。
[0249] 合成了长焦图像组的三维的合成图像(三维图像)记录于记录部4。合成图像生成部2c或未图示的图像再现部读出记录于记录部4的三维图像，并指定视点位置及投影面等而投影三维图像，由此能够将从任意视点观察的被摄体的图像显示于显示部3。
[0250] [图像生成方法]
[0251] 图23是表示本发明所涉及的图像生成方法的第1实施方式的流程图。
[0252] 在图23中，图像生成装置2的图像获取部2a分别输入通过摄像装置100拍摄的广角图像组及长焦图像组(步骤S10、S12)。当每次通过摄像装置100进行一次拍摄时，可以实时输入同时拍摄的广角长焦图像及广角图像，也可以在拍摄结束后汇总输入广角图像组及长焦图像组。
[0253] 合成信息获取部2b分析所输入的广角图像组，并获取长焦图像组的合成中使用的合成信息(步骤S14)。
[0254] 合成图像生成部2c生成在步骤S14中获取的合成信息、与摄像装置100的广角光学系统及长焦光学系统的焦距相关的信息(视角比)及根据长焦图像组合成了长焦图像组的合成图像(步骤S16)。关于合成图像的生成，例如通过以摄像装置100的位置为起点朝向摄像装置100的摄像方向反映广角光学系统与长焦光学系统的视角比并进行投影来合成长焦图像组的各长焦图像。
[0255] 另外，虽然广角图像组的各图像的中心区域(与长焦图像的视角对应的区域)的图像与长焦图像组的各图像的分辨率不同，但为相同的图像，因此能够将分析广角图像组而获得的合成信息使用于长焦图像组的合成。
[0256] 由此，能够大幅减少长焦图像组的拍摄张数，且能够生成高分辨率的合成图像。
[0257] 图24是表示本发明所涉及的图像生成方法的第2实施方式的流程图，尤其示出了关于生成三维图像的合成信息获取部2b及合成图像生成部2c的处理顺序。
[0258] 在图24中，合成信息获取部2b提取广角图像组的各广角图像重复的区域(重复区域)中所包含的特征点(步骤S100)，并确定各广角图像之间的特征点的对应关系(分别为局部特征量一致的对应点)(步骤S110)。
[0259] 接着，合成信息获取部2b根据各广角图像之间的对应的多个特征点估计摄像装置100的位置及姿势(步骤S120)。并且，由摄像装置100的位置及姿势的估计结果同时估计特征点的三维位置(步骤S120)。
[0260] 摄像装置100的位置及姿势的估计能够通过根据多个特征点的图像坐标求出[数式1]中示出的表示相机外部参数的矩阵M来进行估计。另外，作为根据多个图像上的特征点估计相机外部参数的方法，已知有SfM法及SLAM法。
[0261] 估计在步骤S130中估计出的包含特征点的三维位置的被摄体的立体形状(步骤S140)，并生成对估计出的被摄体的立体形状(三维模型表面)映射长焦图像组的对应的纹理而合成了长焦图像组的图像(三维图像)(步骤S150)。
[0262] [其他]
[0263] 图像生成装置可以是内置于摄像装置或与摄像装置连结的装置，也可以是与摄像装置分体的装置。
[0264] 并且，摄像装置搭载于无人航空器，但摄像装置并不限于无人航空器，也可以搭载于有人航空器、人造卫星、汽车、机器人及其他移动体。并且，也可以设为如下方式，即，将摄像装置搭载于云台等，并且一边使相机回转一边进行拍摄，进而手持来一边改变摄像装置的位置一边进行拍摄。在该情况下，无需移动体。
[0265] 为了使计算机作为图像生成装置发挥功能而安装于计算机的图像生成程序、记录有该图像生成程序的计算机可读取的记录介质(非一时的记录介质)也是本发明的一方式。
[0266] 并且，分析广角图像组而获取的合成信息并不限定于本实施方式，只要是根据广角图像之间的重复区域中所包含的多个特征点获取且使用于长焦图像组的合成的合成信息，则可以是任何信息。并且，所合成的长焦图像可以是二维图像，也可以是三维图像。
[0267] 而且，本发明并不限定于上述实施方式，在不脱离本发明的精神的范围内，能够进行各种变形是不言而喻的。
[0268] 符号说明
[0269] 1-图像生成系统，2-图像生成装置，2a-图像获取部，2b-合成信息获取部，2c-合成图像生成部，3-显示部，4、124、232-记录部，10-无人航空器，12-控制器，12a-控制器操作部，12b-控制器显示部，12c-控制器侧无线通信部，12d-控制器微型机，14-主体框架，14A-躯干部，14B-臂部，14C-腿部，16-螺旋桨，20-螺旋桨驱动电机，22-电机驱动器，24-传感器部，26-机身侧无线通信部，28-机身侧有线通信部，30-无人航空器微型机，30a-移动控制部，30b-相机控制部，30c-机身侧无线通信控制部，30d-机身侧有线通信控制部，100-摄像装置，210-图像传感器，210a-图像传感器驱动器，212A-第1像素，212B-第2像素，214-光电二极管，216-微透镜，218-遮光掩模，230-模拟信号处理部，234-相机侧有线通信部，236-相机微型机，236a-数字信号处理部，236b-记录控制部，236c-相机侧有线通信控制部，236d-摄像控制部，236e-光圈控制部，236f-聚焦控制部，236g-透镜位置检测部，300-成像透镜，310-长焦光学系统，310a-第1透镜，310b-第1反射镜，310c-第2反射镜，310d-光圈，320-广角光学系统，320a-第1透镜，320b-第2透镜，320c-光圈，320d-第3透镜，320e-第4透镜，330-共用透镜，340-聚焦电机，340a-聚焦电机驱动器，342a-光电断路器，342b-MR传感器，344-光圈电机，344a-光圈驱动器，500-太阳能发电设备，510-太阳能发电单元，520-太阳能电池模块，FP-特征点，Im1、Im2-图像，L-光轴，L1、L2-光，M-矩阵，O-原点，R-箭头，S10～S16、S100～S150-步骤，T1～T10-长焦图像，W1～W10-广角图像，X1、X2-范围，Zt、Zt1、Zt2、Zw、Zw1、Zw2-摄像范围，θ1、θ2-视角。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种航空器发动机安装机构 | 2020-05-08 | 589 |
| 一种航空器的弹性系统 | 2020-05-11 | 789 |
| 一种基于所需到达时间的管制辅助决策指令生成方法 | 2020-05-12 | 917 |
| 农药组合物及其散布方法 | 2020-05-13 | 895 |
| 航空器的保障业务节点的时间预测方法、装置及电子设备 | 2020-05-13 | 972 |
| 一种基于能量管理的进近稳定性评估方法 | 2020-05-11 | 1042 |
| 一种用于航空器监测的星座优化方法和装置 | 2020-05-12 | 713 |
| 包括用于显示航空器相对于空间固定方向的姿态的装置的航空器 | 2020-05-13 | 343 |
| 一种航空器失事搜寻仿真方法及系统 | 2020-05-08 | 92 |
| 用于航空发动机且配有滤气器及滤气器旁路管的进气单元 | 2020-05-16 | 51 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
重航空器热门专利
QQ群二维码
意见反馈
意见反馈