一种水下全景视频拼接系统和方法
阅读：76发布：2020-05-08
专利汇可以提供一种水下全景视频拼接系统和方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种 水 下全景视频拼接系统和方法，涉及水下视频观测领域。该系统包括：摄像头组、全景拼接处理器、水下移动平台、工控机和多屏显示器；摄像头组用于采集水下图像，并发送给全景拼接处理器；全景拼接处理器用于根据水下图像和预设查找表文件进行实时拼接和编码，并将编码后的水下图像通过网络 接口 经由水下移动平台的传输线上传给工控机；工控机用于解码编码后的水下图像，还原成 视频 帧 ，并将视频帧进行切割，将切割后的视频帧发送到多屏显示器中；多屏显示器用于实时显示切割后的视频帧。实现了在水面上实时观看水下移动平台周围水平和垂直全向空间的实时拼接视频。，下面是一种水下全景视频拼接系统和方法专利的具体信息内容。
1.一种水下全景视频拼接系统，其特征在于，包括：摄像头组、全景拼接处理器、水下移动平台、工控机和多屏显示器；
所述摄像头组用于采集水下图像，并发送给所述全景拼接处理器；
所述全景拼接处理器用于根据预设查找表文件对所述水下图像进行实时拼接，并对拼接后的所述水下图像进行编码，并将编码后的所述水下图像通过网络接口经由所述水下移动平台的传输线上传给所述工控机；
所述工控机用于解码所述编码后的水下图像，还原成视频帧，并将所述视频帧进行切割，将切割后的所述视频帧发送到所述多屏显示器中；
所述多屏显示器用于实时显示切割后的视频帧。
2.根据权利要求1所述的一种水下全景视频拼接系统，其特征在于，所述摄像头组包括多个摄像头，根据预设规则将所述多个摄像头分别安装在所述水下移动平台的各个外表面，用于采集水下全景图像。
3.根据权利要求2所述的一种水下全景视频拼接系统，其特征在于，还包括：查找表建立模块用于在摄像头安装完成后，进行全景标定，获得所述多个摄像头的内参数、畸变参数和相邻摄像头之间的外参数，再根据所述内参数、所述畸变参数和所述外参数计算出所述多个摄像头的变换矩阵，再对所述变换矩阵进行转换，得到预设查找表文件。
4.根据权利要求3所述的一种水下全景视频拼接系统，其特征在于，所述全景拼接处理器具体包括：图像增强模块、图像拼接模块、图像融合模块和图像处理模块；
所述图像增强模块用于采用同态滤波、直方图均衡化和最小二乘法滤波算法对所述水下图像进行图像增强处理；
所述图像拼接模块用于根据所述预设查找表文件和图像增强后的所述水下图像进行图像拼接；
所述图像融合模块用于根据拼接后的所述水下图像和预设融合算法，对相邻摄像头的图像拼接接缝处进行融合；
所述图像处理模块用于根据接缝融合后的所述水下图像进行投影处理，对投影处理后的所述水下图像进行预设算法编码，并将编码后的所述水下图像上传给工控机。
5.根据权利要求1-4任一项所述的一种水下全景视频拼接系统，其特征在于，所述图像拼接模块具体用于：根据所述查找表文件，以所述水下平台正前方的摄像头图像为基准建立坐标系，将其他方向的摄像头图像变换到所述坐标系中，完成所述水下图像的拼接。
6.一种水下全景视频拼接方法，其特征在于，包括：
S1，采集水下图像，并发送给所述全景拼接处理器；
S2，根据预设查找表文件对所述水下图像进行实时拼接，并对拼接后的所述水下图像进行编码，并将编码后的所述水下图像通过网络接口经由所述水下移动平台的传输线上传给所述工控机；
S3，解码所述编码后的水下图像，还原成视频帧，并将所述视频帧进行切割，将切割后的所述视频帧发送到所述多屏显示器中；
S4，多屏显示器用于实时显示切割后的视频帧。
7.根据权利要求6所述的一种水下全景视频拼接方法，其特征在于，所述摄像头组包括多个摄像头，根据预设规则将所述多个摄像头分别安装在所述水下移动平台的各个外表面，用于采集水下全景图像。
8.根据权利要求7所述的一种水下全景视频拼接方法，其特征在于，还包括：在摄像头安装完成后，进行全景标定，获得所述多个摄像头的内参数、畸变参数和相邻摄像头之间的外参数，再根据所述内参数、所述畸变参数和所述外参数计算出所述多个摄像头的变换矩阵，再对所述变换矩阵进行转换，得到预设查找表文件。
9.根据权利要求8所述的一种水下全景视频拼接方法，其特征在于，所述S2具体包括：
S21，采用同态滤波、直方图均衡化和最小二乘法滤波算法对所述水下图像进行图像增强处理；
S22，根据所述预设查找表文件和图像增强后的所述水下图像进行图像拼接；
S23，根据所述拼接后的所述水下图像和预设融合算法，对相邻摄像头的图像拼接接缝处进行融合；
S24，根据接缝融合后的所述水下图像进行投影处理，对投影处理后的所述水下图像进行预设算法编码，并将编码后的所述水下图像上传给工控机。
10.根据权利要求6-9任一项所述的一种水下全景视频拼接方法，其特征在于，所述S22具体包括：根据所述查找表文件，以所述水下平台正前方的摄像头图像为基准建立坐标系，将其他方向的摄像头图像变换到所述坐标系中，完成所述水下图像的拼接。
一种水下全景视频拼接系统和方法
技术领域
[0001] 本发明涉及水下视频观测领域，尤其涉及一种水下全景视频拼接系统和方法。
背景技术
[0002] 现有的水下移动平台多视角视频观测采用独立显示的方式，各个视频之间存在重叠和角度偏差，使得视频的观看人员的视线需要在多个视频间跳转，不利于直观的获取观测信息。
发明内容
[0003] 本发明所要解决的技术问题是针对现有技术的不足，提供一种水下全景视频拼接系统和方法。
[0004] 本发明解决上述技术问题的技术方案如下：
[0005] 一种水下全景视频拼接系统，包括：摄像头组、全景拼接处理器、水下移动平台、工控机和多屏显示器；
[0006] 所述摄像头组用于采集水下图像，并发送给所述全景拼接处理器；
[0009] 所述多屏显示器用于实时显示切割后的视频帧。
[0010] 本发明的有益效果是：通过多个摄像头采集水下环境的全景图像，全景拼接处理器根据预设查找表文件对水下图像进行实时拼接，通过预设查找表的水下图像进行拼接相对传统的帧匹配的方式提高了全景拼接的实时性，并对拼接后的水下图像进行编码，工控机再将编码后的图像进行解码，还原出全景视频，并进行切割，再发送给多屏显示器进行显示，本方案实现了在水面上实时观看水下移动平台周围水平和垂直全向空间的实时拼接视频，便于操作人员直观的获取水下环境信息，为水下监测和作业提供便利，同时全景图像多屏显示提升了观看质量。
[0011] 在上述技术方案的基础上，本发明还可以做如下改进。
[0012] 进一步地，所述摄像头组包括多个摄像头，根据预设规则将所述多个摄像头分别安装在所述水下移动平台的各个外表面，用于采集水下全景图像。
[0013] 采用上述进一步方案的有益效果是：通过在水下移动平台各个外表面安装摄像头，实现了水下环境的720度实时全景视频采集，或者根据需要调整摄像头以调整水下图像的采集范围。
[0014] 进一步地，还包括：查找表建立模块用于在摄像头安装完成后，进行全景标定，获得所述多个摄像头的内参数、畸变参数和相邻摄像头之间的外参数，再根据所述内参数、所述畸变参数和所述外参数计算出所述多个摄像头的变换矩阵，再对所述变换矩阵进行转换，得到预设查找表文件。
[0015] 采用上述进一步方案的有益效果是：通过对摄像头进行全景标定，并对摄像头的全景标定参数计算各个摄像头的变换矩阵，然后将变换矩阵转换成查找表文件，以供全景拼接处理器实时调用，处理器通过调用查找表文件实现水下图像的拼接相对传统的帧匹配方式进行拼接提高了全景拼接的实时性。
[0016] 进一步地，所述全景拼接处理器具体包括：图像增强模块、图像拼接模块、图像融合模块和图像处理模块；
[0018] 所述图像拼接模块用于根据所述预设查找表文件和图像增强后的所述水下图像进行图像拼接；
[0019] 所述图像融合模块用于根据拼接后的所述水下图像和预设融合算法，对相邻摄像头的图像拼接接缝处进行融合；
[0020] 所述图像处理模块用于根据接缝融合后的所述水下图像进行投影处理，对投影处理后的所述水下图像进行预设算法编码，并将编码后的所述水下图像上传给工控机。
[0021] 采用上述进一步方案的有益效果是：采用同态滤波、直方图均衡化和最小二乘法滤波算法对水下图像进行图像增强处理，实现了去雾和解决光照不均，并减小了图像引起的模糊现象，以减少后续图像匹配的影响；根据拼接后的所述水下图像和预设融合算法，对相邻摄像头的图像拼接接缝处进行融合，解决了相邻摄像头的图像拼接接缝处对应点不完全一致导致的合成图像重影的现象；对水下图像进行投影处理，以便于人眼观看。
[0022] 进一步地，所述图像拼接模块具体用于：根据所述查找表文件，以所述水下平台正前方的摄像头图像为基准建立坐标系，将其他方向的摄像头图像变换到所述坐标系中，完成所述水下图像的拼接。
[0023] 采用上述进一步方案的有益效果是：根据查找表文件，并以水下平台正前方的摄像头图像为基准建立坐标系，将其他方向的摄像头图像变换到所述坐标系中，完成水下图像拼接，实现了水下环境视角与水上工作人员在多屏显示的水下环境视角一致，不需要再做视觉角度适应，便于操作人员直观的获取水下环境信息，为水下监测和作业提供便利。
[0024] 本发明解决上述技术问题的另一种技术方案如下：
[0025] 一种水下全景视频拼接方法，包括以下步骤：
[0026] S1，采集水下图像，并发送给所述全景拼接处理器；
[0027] S2，根据预设查找表文件对所述水下图像进行实时拼接，并对拼接后的所述水下图像进行编码，并将编码后的所述水下图像通过网络接口经由所述水下移动平台的传输线上传给所述工控机；
[0028] S3，解码所述编码后的水下图像，还原成视频帧，并将所述视频帧进行切割，将切割后的所述视频帧发送到所述多屏显示器中；
[0029] S4，多屏显示器用于实时显示切割后的视频帧。
[0030] 本发明的有益效果是：通过多个摄像头采集水下环境的全景图像，全景拼接处理器根据预设查找表文件对水下图像进行实时拼接，通过预设查找表的水下图像进行拼接相对传统的帧匹配的方式提高了全景拼接的实时性，并对拼接后的水下图像进行编码，工控机再将编码后的图像进行解码，还原出全景视频，并进行切割，再发送给多屏显示器进行显示，本方案实现了在水面上实时观看水下移动平台周围水平和垂直全向空间的实时拼接视频，便于操作人员直观的获取水下环境信息，为水下监测和作业提供便利，同时全景图像多屏显示提升了观看质量。
[0031] 在上述技术方案的基础上，本发明还可以做如下改进。
[0032] 进一步地，所述摄像头组包括多个摄像头，根据预设规则将所述多个摄像头分别安装在所述水下移动平台的各个外表面，用于采集水下全景图像。
[0033] 采用上述进一步方案的有益效果是：通过在水下移动平台各个外表面安装摄像头，实现了水下环境的720度实时全景视频采集，或者根据需要调整摄像头以调整水下图像的采集范围。
[0034] 进一步地，还包括：在摄像头安装完成后，进行全景标定，获得所述多个摄像头的内参数、畸变参数和相邻摄像头之间的外参数，再根据所述内参数、所述畸变参数和所述外参数计算出所述多个摄像头的变换矩阵，再对所述变换矩阵进行转换，得到预设查找表文件。
[0035] 采用上述进一步方案的有益效果是：通过对摄像头进行全景标定，并对摄像头的全景标定参数计算各个摄像头的变换矩阵，然后将变换矩阵转换成查找表文件，以供全景拼接处理器实时调用，处理器通过调用查找表文件实现水下图像的拼接相对传统的帧匹配方式进行拼接提高了全景拼接的实时性。
[0036] 进一步地，所述S2具体包括：
[0037] S21，采用同态滤波、直方图均衡化和最小二乘法滤波算法对所述水下图像进行图像增强处理；
[0038] S22，根据所述预设查找表文件和图像增强后的所述水下图像进行图像拼接；
[0039] S23，根据所述拼接后的所述水下图像和预设融合算法，对相邻摄像头的图像拼接接缝处进行融合；
[0040] S24，根据接缝融合后的所述水下图像进行投影处理，对投影处理后的所述水下图像进行预设算法编码，并将编码后的所述水下图像上传给工控机。
[0041] 采用上述进一步方案的有益效果是：采用同态滤波、直方图均衡化和最小二乘法滤波算法对水下图像进行图像增强处理，实现了去雾和解决光照不均，并减小了图像引起的模糊现象，以减少后续图像匹配的影响；根据拼接后的所述水下图像和预设融合算法，对相邻摄像头的图像拼接接缝处进行融合，解决了相邻摄像头的图像拼接接缝处对应点不完全一致导致的合成图像重影的现象；对水下图像进行投影处理，以便于人眼观看。
[0042] 进一步地，所述S22具体包括：根据所述查找表文件，以所述水下平台正前方的摄像头图像为基准建立坐标系，将其他方向的摄像头图像变换到所述坐标系中，完成所述水下图像的拼接。
[0043] 采用上述进一步方案的有益效果是：根据查找表文件，并以水下平台正前方的摄像头图像为基准建立坐标系，将其他方向的摄像头图像变换到所述坐标系中，完成水下图像拼接，实现了水下环境视角与水上工作人员在多屏显示的水下环境视角一致，不需要再做视觉角度适应，便于操作人员直观的获取水下环境信息，为水下监测和作业提供便利。
[0046] 图2为本发明的其他实施例提供的水下移动平台的摄像头*6的安装示意图；
[0047] 图3为本发明的其他实施例提供的水下移动平台的摄像头*4的安装示意图；
[0049] 图5为本发明的其他实施例提供的水下全景视频拼接方法的流程示意图[0050] 图6为本发明的其他实施例提供的水下全景视频拼接方法框图。
具体实施方式
[0051] 以下结合附图对本发明的原理和特征进行描述，所举实施例只用于解释本发明，并非用于限定本发明的范围。
[0052] 如图1所示，为本发明实施例提供的一种水下全景视频拼接系统，该系统包括：摄像头组13、全景拼接处理器12、水下移动平台11、工控机14和多屏显示器15；
[0053] 在某实施例中，可以根据不同应用场景需要的不同的视野范围，选择摄像头的数量和对应的安装位置，例如：采集水下720度全景，使用摄像头6个，分别安装在水下移动平添的外表面，布局方案如图2所示，其中黑色的立方体代表水下移动平台11，黑色圆点表示摄像头。摄像头需要安装在水下移动平台11每个面的中心，图中仅画出三个摄像头位置，另外三个面未画出，与上面三个摄像头的位置类似，只是在不同的面，以光轴垂直向外的方向安装，保证相邻面摄像头的光轴方向垂直，这样安装的目的是让6个摄像头的几何中心可以重合。为了实现无缝拼接，相邻的摄像头的视场需要有重叠，选择的摄像头水平视场角和垂直视场角均需要不小于105度。又或例如：在有些应用场景下只需要水平360°周视的视野，对正上方和正下方的视野无需求，此时只需要在前后左右四个面中心各安装一个摄像头即可，布局方案如图3所示，由于常用的摄像头垂直方向视场角小于水平方向视场角，为了保证在垂直方向仍有较宽的视野，可在安装时将每个摄像头旋转90°使用。
[0054] 摄像头组13用于采集水下图像，并发送给全景拼接处理器12；
[0055] 当摄像头安装完成后，即可进行全景标定。全景标定时，除了对每个摄像头标定内参数和畸变参数外，还需要对相邻的两个摄像头进行外参数标定，标定可采用Matlab的标定工具箱来完成。
[0056] 通过全景标定可得到各个摄像头的内参数、畸变参数，相邻摄像头之间的外参数，根据这些参数计算得到各个摄像头的变换矩阵，矩阵转换成查找表文件，以供全景拼接处理器12实时调用。
[0057] 在某实施例中，采集水下720度全景，6个摄像头同步采集图像，采集后的图像送入全景拼接处理器12中。
[0058] 全景拼接处理器12用于根据水下图像和上述查找表文件进行实时拼接和编码，并将编码后的水下图像通过网络接口经由水下移动平台11的传输线上传给工控机14；
[0059] 全景拼接处理器12对水下图像处理包括图像增强、图像拼接、接缝融合、图像投影和图像编码；
[0060] 图像增强：水下相机成像会受到光线的散射和衰减吸收的影响。光线的前向散射会导致图像出现雾化效果，后向散射会引起图像模糊，而光线衰减则会导致光照不均和色彩失真现象。因此不同于地面上的双目视觉三维重建，水下的双目三维重建需要对采集的图像进行图像增强处理，以减少对后续匹配的影响。根据水下图像成像的特点，采用同态滤波和直方图均衡化相结合的方法，以实现去雾和解决光照不均的问题，采用有约束最小二乘滤波算法，来减小图像引起的模糊现象。
[0061] 图像拼接：根据标定计算得到的查找表，以装在水下移动平台11正前方的摄像头图像为基准建立坐标系，将其他5个方向的摄像头图像变换到该坐标系下，完成图像的拼接工作。
[0062] 接缝融合：由于各个摄像头的成像存在图像噪声、标定误差、光照差异等因素，导致相邻摄像头的图像拼接接缝处对应点不完全一致，直接合成图像可能会出现重影等现象，需要对接缝处做融合处理。根据接缝处图像亮度变化的不同采用不同的融合算法，在图像亮度变化较均匀的区域，采用可快速计算的渐入渐出融合算法，而在图像亮度变化较剧烈的区域，则采用多分辨率样条技术融合。同时，由于坐标变换经常会得到偏离整数坐标的值，此时可通过双线性插值来处理。
[0063] 图像投影：图像拼接融合完成后，需要将拼接造成的黑边裁剪后，进行投影处理，以便于人眼观看。常用的投影模型包括柱面投影模型、球面投影模型和立方体投影模型等。
[0064] 图像编码：投影完成后的图像，采用H.264/H.265视频压缩算法进行压缩编码，通过网络接口经由水下移动平台11的传输线上传给工控机14。
[0065] 工控机14用于解码编码后的水下图像，还原成视频帧，并将视频帧进行切割，将切割后的视频帧发送到多屏显示器15中；
[0066] 工控机14接收到水下上传的压缩码流，将码流解码还原为视频帧。
[0067] 多屏显示器15用于实时显示切割后的视频帧。
[0068] 由于拼接后的全景视频分辨率较大，一个显示屏难以完整的显示，因此最好配置两个以上的显示屏用于全景视频显示，再加上还需要一个显示屏用于显示水下移动平台11的工作状态和监测数据显示，因此工控机14需配套三个以上显示屏。
[0069] 如图4所示，为本方案的水下全景视频拼接系统的硬件，主要有水上和水下两部分组成，水下部分主要包括安装在水下移动平台11上的全景拼接处理器12和6个摄像头。摄像头采集的图像数据送入全景拼接处理器12中进行实时处理拼接和编码。水上部分主要包括工控机14和配套工作的电源箱。工控机14连接多屏显示器15，解码拼接的视频并在多屏显示器15中显示。水下和水上部分的通信接口采用网络接口，连到水下移动平台11的网络交换机上，供电由水下移动平台11的电源模块负责提供。
[0070] 通过多个摄像头采集水下环境的全景图像，全景拼接处理器12根据上述查找表文件对水下图像进行实时拼接，通过上述查找表的水下图像进行拼接相对传统的帧匹配的方式提高了全景拼接的实时性，并对拼接后的水下图像进行编码，工控机14再将编码后的图像进行解码，还原出全景视频，并进行切割，再发送给多屏显示器15进行显示，本方案实现了在水面上实时观看水下移动平台11周围水平和垂直全向空间的实时拼接视频，便于操作人员直观的获取水下环境信息，为水下监测和作业提供便利，同时全景图像多屏显示提升了观看质量。
[0071] 优选地，在上述任意实施例中，摄像头组13包括多个摄像头，根据预设规则将多个摄像头分别安装在水下移动平台11的各个外表面，用于采集水下全景图像。
[0072] 通过在水下移动平台11各个外表面安装摄像头，实现了水下环境的720度实时全景视频采集，或者根据需要调整摄像头以调整水下图像的采集范围。
[0073] 优选地，在上述任意实施例中，还包括：查找表建立模块用于在摄像头安装完成后，进行全景标定，获得多个摄像头的内参数、畸变参数和相邻摄像头之间的外参数，再根据内参数、畸变参数和外参数计算出多个摄像头的变换矩阵，再对变换矩阵进行转换，得到预设查找表文件。
[0074] 通过对摄像头进行全景标定，并对摄像头的全景标定参数计算各个摄像头的变换矩阵，然后将变换矩阵转换成查找表文件，以供全景拼接处理器12实时调用，处理器通过调用查找表文件实现水下图像的拼接相对传统的帧匹配方式进行拼接提高了全景拼接的实时性。
[0075] 优选地，在上述任意实施例中，全景拼接处理器12具体包括：图像增强模块、图像拼接模块、图像融合模块和图像处理模块；
[0076] 图像增强模块用于采用同态滤波、直方图均衡化和最小二乘法滤波算法对水下图像进行图像增强处理；
[0077] 图像拼接模块用于根据预设查找表文件和图像增强后的水下图像进行图像拼接；
[0078] 图像融合模块用于根据拼接后的水下图像和预设融合算法，对相邻摄像头的图像拼接接缝处进行融合；
[0079] 图像处理模块用于根据接缝融合后的水下图像进行投影处理，对投影处理后的水下图像进行预设算法编码，并将编码后的水下图像上传给工控机14。
[0080] 采用同态滤波、直方图均衡化和最小二乘法滤波算法对水下图像进行图像增强处理，实现了去雾和解决光照不均，并减小了图像引起的模糊现象，以减少后续图像匹配的影响；根据拼接后的水下图像和预设融合算法，对相邻摄像头的图像拼接接缝处进行融合，解决了相邻摄像头的图像拼接接缝处对应点不完全一致导致的合成图像重影的现象；对水下图像进行投影处理，以便于人眼观看。
[0081] 优选地，在上述任意实施例中，图像拼接模块具体用于：根据查找表文件，以水下平台正前方的摄像头图像为基准建立坐标系，将其他方向的摄像头图像变换到坐标系中，完成水下图像的拼接。
[0082] 采用上述进一步方案的有益效果是：根据查找表文件，并以水下平台正前方的摄像头图像为基准建立坐标系，将其他方向的摄像头图像变换到坐标系中，完成水下图像拼接，实现了水下环境视角与水上工作人员在多屏显示的水下环境视角一致，不需要再做视觉角度适应，便于操作人员直观的获取水下环境信息，为水下监测和作业提供便利。
[0083] 在本发明提供的其他实施例中，给出了一种水下全景视频拼接方法，如图5所示，该方法包括：S1，采集水下图像，并发送给全景拼接处理器12；
[0084] S2，根据预设查找表文件对水下图像进行实时拼接，并对拼接后的水下图像进行编码，并将编码后的水下图像通过网络接口经由水下移动平台11的传输线上传给工控机14；
[0085] S3，解码编码后的水下图像，还原成视频帧，并将视频帧进行切割，将切割后的视频帧发送到多屏显示器15中；
[0086] S4，多屏显示器15用于实时显示切割后的视频帧。
[0087] 水下全景视频拼接方法的流程框图，如图6所示，水下全景视频拼接方法主要包括全景标定、变换矩阵计算、图像采集、图像增强、图像拼接、接缝融合、图像投影、图像编码、图像解码、屏幕送显等几部分。
[0088] 通过多个摄像头采集水下环境的全景图像，全景拼接处理器12根据预设查找表文件对水下图像进行实时拼接，通过预设查找表的水下图像进行拼接相对传统的帧匹配的方式提高了全景拼接的实时性，并对拼接后的水下图像进行编码，工控机14再将编码后的图像进行解码，还原出全景视频，并进行切割，再发送给多屏显示器15进行显示，本方案实现了在水面上实时观看水下移动平台11周围水平和垂直全向空间的实时拼接视频，便于操作人员直观的获取水下环境信息，为水下监测和作业提供便利，同时全景图像多屏显示提升了观看质量。
[0089] 优选地，在上述任意实施例中，摄像头组13包括多个摄像头，根据预设规则将多个摄像头分别安装在水下移动平台11的各个外表面，用于采集水下全景图像。
[0090] 通过在水下移动平台11各个外表面安装摄像头，实现了水下环境的720度实时全景视频采集，或者根据需要调整摄像头以调整水下图像的采集范围。
[0091] 优选地，在上述任意实施例中，还包括：在摄像头安装完成后，进行全景标定，获得多个摄像头的内参数、畸变参数和相邻摄像头之间的外参数，再根据内参数、畸变参数和外参数计算出多个摄像头的变换矩阵，再对变换矩阵进行转换，得到预设查找表文件。
[0092] 通过对摄像头进行全景标定，并对摄像头的全景标定参数计算各个摄像头的变换矩阵，然后将变换矩阵转换成查找表文件，以供全景拼接处理器12实时调用，处理器通过调用查找表文件实现水下图像的拼接相对传统的帧匹配方式进行拼接提高了全景拼接的实时性。
[0093] 优选地，在上述任意实施例中，S2具体包括：
[0094] S21，采用同态滤波、直方图均衡化和最小二乘法滤波算法对水下图像进行图像增强处理；
[0095] S22，根据预设查找表文件和图像增强后的水下图像进行图像拼接；
[0096] S23，根据拼接后的水下图像和预设融合算法，对相邻摄像头的图像拼接接缝处进行融合；
[0097] S24，根据接缝融合后的水下图像进行投影处理，对投影处理后的水下图像进行预设算法编码，并将编码后的水下图像上传给工控机14。
[0098] 采用同态滤波、直方图均衡化和最小二乘法滤波算法对水下图像进行图像增强处理，实现了去雾和解决光照不均，并减小了图像引起的模糊现象，以减少后续图像匹配的影响；根据拼接后的水下图像和预设融合算法，对相邻摄像头的图像拼接接缝处进行融合，解决了相邻摄像头的图像拼接接缝处对应点不完全一致导致的合成图像重影的现象；对水下图像进行投影处理，以便于人眼观看。
[0099] 优选地，在上述任意实施例中，S22具体包括：根据查找表文件，以水下平台正前方的摄像头图像为基准建立坐标系，将其他方向的摄像头图像变换到坐标系中，完成水下图像的拼接。
[0100] 根据查找表文件，并以水下平台正前方的摄像头图像为基准建立坐标系，将其他方向的摄像头图像变换到坐标系中，完成水下图像拼接，实现了水下环境视角与水上工作人员在多屏显示的水下环境视角一致，不需要再做视觉角度适应，便于操作人员直观的获取水下环境信息，为水下监测和作业提供便利。
[0101] 可以理解，在一些实施例中，可以包含如上述各实施例中的部分或全部可选实施方式。
[0102] 需要说明的是，上述各实施例是与在先方法实施例对应的产品实施例，对于产品实施例中各可选实施方式的说明可以参考上述各方法实施例中的对应说明，在此不再赘述。
[0103] 读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0104] 在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例仅仅是示意性的，例如，步骤的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个步骤可以结合或者可以集成到另一个步骤，或一些特征可以忽略，或不执行。
[0105] 上述方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0106] 以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 树脂组合物、以及使用了该组合物的立体造型物的制造方法、立体造型物以及用于把持对象物的配件、以及使用该配件的工业用机器人 | 2020-05-08 | 567 |
| 充电装置 | 2020-05-08 | 292 |
| 一种用于高压线上的除冰越障机器人 | 2020-05-08 | 93 |
| 一种融合视觉语义信息的激光雷达建图方法及系统 | 2020-05-08 | 189 |
| 一种广告投放方法及系统 | 2020-05-08 | 697 |
| 一种RCC式运动模拟仿真平台 | 2020-05-08 | 183 |
| 磁脉冲焊接对环境影响的评估方法、装置、设备及介质 | 2020-05-08 | 443 |
| 一种基于智能物联网的配网抢修系统及方法 | 2020-05-08 | 382 |
| 基于UWB的多设备交互方法、介质、终端和系统 | 2020-05-08 | 229 |
| 一种复位导引传感器及用于智慧停车系统的方法 | 2020-05-11 | 125 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
机器人热门专利
QQ群二维码
意见反馈
意见反馈