技术领域
[0001] 本
发明实施例涉及
计算机视觉技术领域，具体涉及一种场景几何建模的方法、装置及设备。
背景技术
[0002] 随着计算机视觉技术的发展，传统计算机视觉与基于
深度学习技术正逐渐应用于各个领域，解决了一些行业痛点与难点问题。
[0003] 传统建模技术需要建模师利用专业
软件进行手动建模，工作量巨大，费时费
力，效率低下，产能较低。近期出现的利用计算机技术进行建模的技术数据来源也以激光
扫描仪或者RGB-D相机为主，激光扫描仪价格昂贵，RGB-D相机也存在普适性不强等问题。
发明内容
[0004] 本发明实施例的目的在于提供一种场景几何建模的方法、装置及设备，用以解决现有手动建模，工作量巨大，费时费力，效率低下，产能较低的问题。
[0005] 为实现上述目的，本发明实施例主要提供如下技术方案：
[0006] 第一方面，本发明实施例提供了一种场景几何建模的方法，包括：对原始视频提取
帧间信息，利用运动恢复结构SFM进行
三维重建，获取稠密点
云；通过对所述稠密点云进行点云分割与分类得到所述原始视频的具体信息；依据所述原始视频的具体信息进行单目视频的场景几何建模。
[0007] 进一步地，所述对原始视频提取帧间信息，利用运动恢复结构SFM进行三维重建，获取稠密点云，具体包括：将所述原始视频分割为
图像序列；对所述图像序列进行特征检测得到N为
特征向量，N为大于零的正整数；将所述图像序列中进行图片两两特征匹配获得多个图像匹
配对；对每个图像匹配对计算对极几何，估计基本矩阵，并通过随机
抽取一致性
算法优化改善图像匹配对；利用最小化重投影误差描述摄像机的外参数和内参数得到所述稠密点云。
[0008] 进一步地，所述通过对所述稠密点云进行点云分割与分类获取所述原始视频的具体信息，具体包括：对所述稠密点云进行格式对齐和规范化处理；对所述格式对齐和所述规范化处理后的点云进行分割分类得到所述原始视频的具体信息。
[0009] 进一步地，所述对所述稠密点云进行格式对齐和规范化处理，具体包括：采用最大池Max Pooling解决所述稠密点云的无序性问题，使用共享网络参数的方式来处理输入维度的变化。
[0010] 进一步地，所述对所述稠密点云进行格式对齐和规范化处理，还包括：采用空间变化网络(Spacial Transform Netw，STN)解决所述稠密点云的旋转，以使网络都能正确的识别出。
[0011] 第二方面，本发明实施例还提供一种场景几何建模的装置，包括：稠密点云获取模
块，用于对原始视频提取帧间信息，利用运动恢复结构SFM进行三维重建，获取稠密点云；点云处理模块，用于通过对所述稠密点云进行点云分割与分类得到所述原始视频的具体信息；场景几何建模模块，用于依据所述原始视频的具体信息进行单目视频的场景几何建模。
[0012] 进一步地，所述稠密点云获取模块具体用于将所述原始视频分割为图像序列，对所述图像序列进行特征检测得到N为特征向量，将所述图像序列中进行图片两两特征匹配获得多个图像匹配对，对每个图像匹配对计算对极几何，估计基本矩阵，并通过随机抽取一致性算法优化改善图像匹配对，利用最小化重投影误差描述摄像机的外参数和内参数得到所述稠密点云；其中，N为大于零的正整数。
[0013] 进一步地，所述点云处理模块具体用于对所述稠密点云进行格式对齐和规范化处理，对所述格式对齐和所述规范化处理后的点云进行分割分类得到所述原始视频的具体信息。
[0014] 进一步地，所述点云处理模块具体用于采用最大池Max Pooling解决所述稠密点云的无序性问题，使用共享网络参数的方式来处理输入维度的变化。
[0015] 进一步地，所述点云处理模块还用于采用空间变化网络STN解决所述稠密点云的旋转，以使网络都能正确的识别出。
[0016] 第三方面，本发明实施例还提供一种
电子设备，包括：至少一个处理器和至少一个
存储器；所述存储器用于存储一个或多个程序指令；所述处理器，用于运行一个或多个程序指令，用以执行如第一方面所述的场景几何建模的方法。
[0017] 第四方面，本发明实施例还提供一种计算机可读存储介质，包含一个或多个程序指令，所述一个或多个程序指令用于执行如第一方面所述的场景几何建模的方法。
[0018] 本发明实施例提供的技术方案至少具有如下优点：
[0019] 本发明实施例提供的场景几何建模的方法、装置及设备，利用SFM技术与深度学习技术相结合的办法来进行单目视频的场景几何建模技术，从而解决行业痛点与难点，释放劳动力，提高生产效率。
附图说明
[0020] 图1为本发明实施例的场景几何建模的方法的
流程图；
[0021] 图2为本发明实施例的场景几何建模的方法中投影误差的示意图；
[0022] 图3为本发明实施例的场景几何建模的方法中点云在空间中坐标发生变化的示意图；
[0023] 图4为本发明实施例的场景几何建模的方法中进行分类的示意图；
[0024] 图5为本发明实施例的场景几何建模的方法中进行分割的示意图；
[0025] 图6为本发明实施例的场景几何建模的装置的结构
框图。
具体实施方式
[0026] 以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本
说明书所揭露的内容轻易地了解本发明的其他优点及功效。
[0027] 以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、
接口、技术之类的具体细节，以便透彻理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、
电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
[0028] 图1为本发明实施例的场景几何建模的方法的流程图。如图1所示，本发明实施例的场景几何建模的方法，包括：
[0029] S1：对原始视频提取帧间信息，利用运动恢复结构(Structure From Motion，SFM)进行三维重建，获取稠密点云。
[0030] 在本发明的一个实施例中，步骤S1包括：
[0031] S1-1：将原始视频分割为图像序列。
[0032] 具体地，首先将原始视频利用FFmpeg程序分割为图像序列。FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源
计算机程序。FFmpeg程序可以将视频分解成图片序列，支持的图片格式有：PGM、PPM、PAM、PGMYUV、JPEG、GIF、PNG、TIFF和SGI。
[0033] S1-2：对图像序列进行特征检测得到N为特征向量，N为大于零的正整数。
[0034] 具体地，对获取的图像序列进行特征检测。对于特征检测这一步，使用的是具有尺度和旋转不变性的SIFT描述子，其鲁棒性较强，适合用来提取尺度变换和旋转
角度的各种图片特征点信息，其准确性强，SIFT算法通过不同尺寸的高斯
滤波器(DOG)计算得到特征点的
位置信息(x，y)，同时还提供一个描述子descriptor信息，在一个特征点周围4*4的方格直方图中，每一个直方图包含8个bin的梯度方向，即得到一个4*4*8＝128维的特征向量。
[0035] S1-3：将图像序列中进行图片两两特征匹配获得多个图像匹配对。
[0036] 具体地，对提取的特征进行匹配：一旦每个图片的特征点被提出来以后，就需要进行图片两两之间的特征点匹配，算法中用到一个kd-tree的数据结构去计算最近邻匹配。然后令最近邻的距离为d1，再找到第二近的匹配对点之间距离为d2，如果两个距离d1和d2之比小于一个
阈值如0.6，就可以判定为可接受的匹配对。这样，图像I中的特征点在图像J中至多一个匹配特征点，但是图像J中可能匹配图像I中多个特征点，就会出现多对一的情况，实际上特征点之间应该一一对应。所以还需要一个去除重复特征点匹配对的算法去解决这种多对一的情况。
[0037] S1-4：对每个图像匹配对计算对极几何，估计基本矩阵，并通过随机抽取一致性算法优化改善图像匹配对。这样，如果有特征点可以在这样的匹配对中链式地传递下去，一直被检测到，那么就可以形成轨迹。然后利用
宽度优先搜索(Breadth First Search，BFS)找到每个特征点在所有图像对中的完整轨迹。
[0038] S1-5：利用最小化重投影误差描述摄像机的外参数和内参数得到稠密点云。
[0039] 具体地，利用最小化重投影误差(Bundle Adjustment，BA)，描述摄像机的外参数用到3*3的旋转矩阵R和1*3的平移向量(或者摄像机中心坐标向量)，摄像机的内参数用一个焦距f和两个径向畸变参数k1和k2描述。几何场景提供轨迹中的每个3D点Xj，通过投影方程，一个3D点Xj被投影到摄像机的2D图像平面上。
[0040] 图2为本发明实施例的场景几何建模的方法中投影误差的示意图。如图2所示，投影误差就是投影点和图像上真实点之间的距离。
[0041] 对于n个视角和m个轨迹，投影误差的目标优化方程可以写为:
[0042]
[0043] wij为摄影机i观察轨迹j的参数，当摄像机i观察到轨迹j的时候wij取1，反之取0，||qij-P(Ci,Xj)||就是摄像机i中的轨迹j的投影误差累积和。SFM算法的目标就是找到合适的相机和场景参数去优化这个目标函数，g是采用一个非线性最小二乘的优化方法求解，即BA。
[0044] 通过S1-1至S1-5获取了稠密点云。
[0045] S2：通过对稠密点云进行点云分割与分类得到原始视频的具体信息。
[0046] 在本发明的一个实施例中，步骤S2具体包括：
[0047] S2-1：对稠密点云进行格式对齐和规范化处理。
[0048] 在本发明的一个实施例中，利用最大池Max Pooling来解决无序性问题，使用共享网络参数的方式来处理输入维度的变化。
[0049] 在本发明的一个实施例中，采用空间变化网络(Spacial Transform Netw，STN)解决稠密点云的旋转，以使网络都能正确的识别出。
[0050] 图3为本发明实施例的场景几何建模的方法中点云在空间中坐标发生变化的示意图。如图3所示，相同的点云在空间中经过一定的刚性变化(旋转或平移)，坐标发生变化。
[0051] 在本发明的实施例中，不论点云在怎样的
坐标系下呈现，网络都能正确的识别出。这个问题可以通过STN来解决，通过学习一个矩阵来达到对目标最有效的变换。
[0052] S2-2：对格式对齐和规范化处理后的点云进行分割分类得到原始视频的具体信息。
[0053] 图4为本发明实施例的场景几何建模的方法中进行分类的示意图，图5为本发明实施例的场景几何建模的方法中进行分割的示意图。对点云进行分割分类，结果如如图4和图5所示。
[0054] S3：依据原始视频的具体信息进行单目视频的场景几何建模。
[0055] 本发明实施例提供的场景几何建模的方法，利用SFM技术与深度学习技术相结合的办法来进行单目视频的场景几何建模技术，从而解决行业痛点与难点，释放劳动力，提高生产效率。
[0056] 图6为本发明实施例的场景几何建模的装置的结构框图。如图6所示，本发明实施例的场景几何建模的装置，包括：稠密点云获取模块100、点云处理模块200和场景几何建模模块300。
[0057] 其中，稠密点云获取模块100用于对原始视频提取帧间信息，利用运动恢复结构SFM进行三维重建，获取稠密点云。点云处理模块200用于通过对稠密点云进行点云分割与分类得到原始视频的具体信息。场景几何建模模块300用于依据原始视频的具体信息进行单目视频的场景几何建模。
[0058] 在本发明的一个实施例中，稠密点云获取模块100具体用于将原始视频分割为图像序列，对图像序列进行特征检测得到N为特征向量，将图像序列中进行图片两两特征匹配获得多个图像匹配对，对每个图像匹配对计算对极几何，估计基本矩阵，并通过随机抽取一致性算法优化改善图像匹配对，利用最小化重投影误差描述摄像机的外参数和内参数得到稠密点云。其中，N为大于零的正整数。
[0059] 在本发明的一个实施例中，点云处理模块200具体用于对稠密点云进行格式对齐和规范化处理，对格式对齐和规范化处理后的点云进行分割分类得到原始视频的具体信息。
[0060] 在本发明的一个实施例中，点云处理模块200具体用于采用最大池Max Pooling解决稠密点云的无序性问题，使用共享网络参数的方式来处理输入维度的变化。
[0061] 在本发明的一个实施例中，点云处理模块200还用于采用空间变化网络STN解决稠密点云的旋转，以使网络都能正确的识别出。
[0062] 需要说明的是，本发明实施例的场景几何建模的装置的具体实施方式与本发明实施例的场景几何建模的方法的具体实施方式类似，具体参见场景几何建模的方法部分的描述，为了减少冗余，不做赘述。
[0063] 本发明的实施例公开一种电子设备，该电子设备包括：至少一个处理器和至少一个存储器；存储器用于存储一个或多个程序指令；处理器，用于运行一个或多个程序指令，用以执行如上述的场景几何建模的方法。
[0064] 本发明的实施例公开一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行上述的场景几何建模的方法。
[0065] 在本发明实施例中，处理器可以是一种集成电路芯片，具有
信号的处理能力。处理器可以是通用处理器、
数字信号处理器(Digital Signal Processor，简称DSP)、
专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程
门阵列(Field Programmable Gate Array，FPGA)或者其他
可编程逻辑器件、分立门或者晶体管逻辑器件、分立
硬件组件。
[0066] 可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是
微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及
软件模块组合执行完成。软件模块可以位于随机存储器，闪存、
只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
[0067] 存储介质可以是存储器，例如可以是易失性存储器或
非易失性存储器，或可包括易失性和非易失性存储器两者。
[0068] 其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、
电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。
[0069] 易失性存储器可以是
随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、
动态随机存取存储器(Dynamic RAM，DRAM)、
同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍
数据速率同步动态随机存取存储器(Double Data Rate SDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，简称ESDRAM)、同步链接动态随机存取存储器(Synchronous Link DRAM，简称SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，简称DRRAM)。
[0070] 本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
[0071] 本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当
应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
[0072] 以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的
基础之上，所做的任何
修改、等同替换、改进等，均应包括在本发明的保护范围之内。
