720全景摄影台系统和全景图像合成算法

申请号 CN201710540168.5 申请日 2017-07-03 公开(公告)号 CN107370919A 公开(公告)日 2017-11-21
申请人 广州傲胜机器人科技有限公司; 发明人 陈胜华; 方伟; 徐斌;
摘要 本 发明 公开了一种720全景摄影 云 台系统和全景图像合成 算法 。其中,720全景云台数据获取装置包括相机、镜头、鱼眼转换器、用于安装固定相机的转动臂、用于驱动转动臂转动的 电机 以及用于设置电机的底座,以及外置了多项影像获取所需的参数,包括快 门 时间、曝光量、ISO等。所述电机与转动臂之间通过连接座连接,所述转动臂的下端与连接座固定连接,所述相机固定在转动臂的上端,且相机的成像面位于所述连接座的转动中 心轴 线上。利用该全景云台摄像装置进行摄像时获得的图片基于相同的焦点 位置 ,有利于提高后续的全景图像合成速度和 精度 。通过图像投影和纠偏算法,将影像投影至球面,形成真三维视觉模式的视觉效果。
权利要求

1.720全景摄影台系统,包括相机、镜头、鱼眼转换器、用于安装固定相机的转动臂、用于驱动转动臂转动的电机以及用于设置电机的底座,以及外置了用于设置系统运行参数的按钮。所述电机与转动臂之间通过连接座连接,所述转动臂的下端与连接座固定连接,所述相机固定在转动臂的上端,且相机的成像面位于所述连接座的转动中心轴线上。利用该全景云台摄像装置进行摄像时获得的图片基于相同的焦点位置,有利于提高后续的全景图像合成速度和精度
2.全景图像合成方法,使用了相机在单个场景获取的所有有既定重叠比例的影像数据。通过图像投影和纠偏算法,将影响投影至球面,形成真三维视觉模式的视觉效果。
3.根据权利要求1所述的云台摄像装置,其特征在于,所述连接座由圆筒构成,所述电机设置于圆筒内,圆筒的顶部设有顶板,所述转动臂的下端固定在顶板上。
4.根据权利要求2所述的云台摄像装置,其特征在于,所述底座由圆盘构成,所述圆筒的底部为开口结构,所述圆盘设置于圆筒的底部开口中;所述电机的主轴与圆盘固定连接,所述电机与圆筒固定连接。
5.根据权利要求3所述的云台摄像装置,其特征在于,所述圆筒内的下部设有安装隔板,所述电机通过连接法兰固定连接在安装隔板上,电机的主轴向下穿过安装隔板,安装隔板上设有操作开口;电机的主轴通过连接盘与所述圆盘连接。
6.根据权利要求5所述的云台摄像装置,其特征在于,所述圆盘位于安装隔板的下方,安装隔板与圆盘之间设有推轴承,该推力球轴承一端与圆盘固定连接,另一端与安装板固定连接。
7.根据权利要求2所述的云台摄像装置,其特征在于,所述顶板通过螺钉连接在圆筒上,所述圆筒上设有螺丝柱。
8.根据权利要求2所述的云台摄像装置,其特征在于,所述转动臂包括位于下端的固定连接部、位于上端的相机安装部以及连接固定连接部和相机安装部的连接杆,其中,所述固定连接部从顶板中心沿径向向外延伸并与连接杆连接,连接杆向上延伸且位于圆筒转动中心轴线的外侧;所述相机安装部连接于连接杆的上端,且沿径向朝圆筒转动中心轴线处延伸。
9.根据权利要求8所述的云台摄像装置,其特征在于,所述相机安装部上设有安装座,该安装座包括两个侧板以及设在两个侧板顶部的安装板,两个侧板通过螺钉固定在相机安装部的两侧;所述相机固定在安装外壳上,该安装外壳包括底板以及两个向上延伸并向中心包拢的侧翼,所述底板固定连接在所述安装板上。相机的镜头,在竖直方向上,倾斜56.3,使得其对线垂直于地面,从而使得后续的全景图影像质量达到1亿像素
10.全景图像合成算法,其特征在于,将多张有一定重叠比例的影像拼成一幅无缝高分辨率全景图像的技术,在本发明的系统中,系统摄影的参数来自于自动光照感知,通过自动化分析所采集影像的光照对比度,检索出最适合拍摄场景的摄影参数集合,包括曝光时间、光圈、模式,使得影像到达最优的信噪比例。

说明书全文

720全景摄影台系统和全景图像合成算法

技术领域

[0001] 本发明涉及一种720全景摄像云台系统和全景影像合成方法,具体涉及一种720全景云台摄像装置及相应的数据处理方法。

背景技术

[0002] 在无人机航拍、监控、立体街景拍摄等场合中都需要用到云台摄影装置,其中,相机固定于云台上,工作时云台电机带动相机转动,以不同的方位对周围环境进行拍摄。现有的云台摄像装置中,相机在转动过程中成像面所在位置会不断发生变化,缺乏高质量的影像数据,不能合成720全景图,或者低质量、有明显畸变的全景图。而且整个过程,无法做到全自动化处理。

发明内容

[0003] 本发明的目的在于克服现有技术的不足,提供一种可保证相机成像的焦点所在位置始终落在设备自转中心轴上,同时设计相机的平高度,和基于细分驱动器进行精细计算得到的影像成像时刻的相机偏转角,使得利用该全景摄像云台装置进行摄像时获得的一组高质量的原始图像,以及系统运行时参数,有利于提高720全景图像的合成速度和质量。
[0004] 本发明解决上述技术问题的技术方案是:
[0005] 一种720全景摄像装置,包括相机、镜头、鱼眼转换器、用于安装固定相机的转动臂、用于驱动转动臂转动的电机以及用于设置电机的底座,以及用于设置系统运行参数的按钮,所述电机与转动臂之间通过连接座连接,所述转动臂的下端与连接座固定连接,所述相机固定在转动臂的上端,且相机的成像面位于所述连接座的转动中心轴线上,所述用于设置系统运行参数的按钮,主要包括电源开关按钮、摄影模式开关按钮、站点数据采集任务启动按钮,以及与按钮相关的总共12组指示灯与3组音效。
[0006] 本发明的一个优选方案,其中,所述连接座由圆筒构成,所述电机设置于圆筒内,圆筒的顶部设有顶板,所述转动臂的下端固定在顶板上。设置圆筒结构的连接座,一方面,圆筒为中心对称结构件,转动时稳定好,晃动小,摄像质量好,另一方面,圆筒结构具有内部空间,可以用于固定安装电机、系统控制电路板、直流电压变换器、线缆、存储卡、电源及电源槽、等元件,使得外表简洁美观。
[0007] 本发明的一个优选方案,其中,所述转动臂内设有走线通道,所述顶板上设有连接走线通道和圆筒的内腔的通孔,所述相机处的信号线通过走线通道和通孔进入到圆筒内与电路板连接。这使得数据线不显露在外,避免出现缠绕,也降低了系统运行被干扰破坏的可能性,并使外观更加简洁美观。
[0008] 本发明的一个优选方案,其中,所述底座由圆盘构成,所述圆筒的底部采用轴承结构,所述电机的主轴与通过轴承与圆筒的底部相固定。工作时,底座中心区域固定不动,电机的主轴与底座相对固定不动,而电机和圆筒一起转动,这样转动臂内的所有电气元件也随圆筒一起转动,从而避免出现电源线、数据线的缠绕,而出现结构上的破坏。
[0009] 本发明的一个优选方案,所述圆筒内的下部设有安装隔板,所述电机通过连接法兰固定连接在安装隔板上,电机的主轴向下穿过安装隔板,安装隔板上设有操作开口;电机的主轴通过连接盘与所述圆盘连接。通过设置安装隔板,便于电机以及电路板的固定,设置操作开口便于向连接法兰处放置螺母以将连接法兰和安装隔板固定。
[0010] 优选地,所述圆盘位于安装隔板的下方,安装隔板与圆盘之间设有推球轴承,该推力球轴承一端与圆盘固定连接,另一端与安装板固定连接。通过设置推力球轴承,使得圆筒与圆盘之间的转动阻力更小,转动更稳定。
[0011] 本发明的一个优选方案,所述底部圆盘的下端较小,并向下伸出圆筒的下端,大大降低了人为破坏电机主轴的机械结构的可能性,保证系统的长时间无故障运行。同时,当系统固定在通用三脚架或者普通水平平面上时,底部固定机构不会阻碍圆筒的转动,全景摄影云台可以无障碍地运行。
[0012] 本发明的一个优选方案,其中,所述顶板通过螺钉连接在圆筒上,所述圆筒上设有螺丝柱。这样可以从圆筒上方安装筒内的部件,最后再将顶板封在圆筒顶部即可。
[0013] 本发明的一个优选方案,其中,所述转动臂包括位于下端的固定连接部、位于上端的相机安装部以及连接固定连接部和相机安装部的连接杆,其中,所述固定连接部从顶板中心沿径向向外延伸并与连接杆连接,连接杆向上延伸且位于圆筒转动中心轴线的外侧;所述相机安装部连接于连接杆的上端,且沿径向朝圆筒转动中心轴线处延伸。上述结构中,所述连接杆和相机安装部相对于圆筒转动中心轴线处于偏置状态,由于相机在其轴线方向上具有一定长度,这样在安装相机使得成像的焦点位于圆筒转动中心轴线上,所述相机安装部刚好能与相机的连接底座对准,便于对相机的固定。
[0014] 本发明的一个优选方案,所述相机的固定方式,其水平角度转动了56. 度,使得相机的成像矩形框的对角线,垂直于水平面。这样在后期的全景影像合成结果,其分辨率可以提高33%至37%,垂直方向的视域空间,从 145度扩到到172度左右,720全景影像的质量更好。
[0015] 本发明与现有技术相比具有以下的有益效果:
[0016] 1、由于相机的成像面位于连接座的转动中心轴线上,相机的成像角度也偏转了56.3度,因此相机在转动进行摄像时获得的所有影像都是基于相同的焦点位置,影像在垂直空间的视域扩大到172度,大大提高后续的720 全景影像合成精度、速度和真实视域空间。
[0017] 2、本发明采用标准的模化设计的思想,全景摄影云台装置体积轻便,方便携带,相机基座也可以安装其他装置,比如激光扫描器。附图说明
[0018] 图1是本发明的720全景摄影云台系统的一个具体实施方式的立体结 构示意图。
[0019] 图2-图3为图1所示720全景摄影云台系统去掉相机后的结构示意图, 其中,图2为主视图,图3为右视图,图4为图3的A-A剖视图。
[0020] 图5为图4所示结构中增加相机后的结构示意图。图6为摄影装置获取的影像图。
图7所示70全景摄影云台的数据处理步骤,分别是自动光照感知、同 名点检测,拍照角度恢复、高动态HDR处理、图像匀色处理、投影融合、 全景图水平化处理、自动化水印处理、全景图web可视化
图8所示全景图在Web可视化过程中的影像投影原理。

具体实施方式

[0021] 下面结合实例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
[0022] 参见图1-图5,本发明的720全景摄影云台系统包括相机9、用于设置相机9的转动臂3、用于驱动转动臂3转动的电机4以及用于设置电机4的底座,所述电机4与转动臂3之间通过连接座连接,所述转动臂3的下端与连接座固定连接,所述相机9固定在转动臂3的上端,且相机9的成像面位于所述连接座的转动中心轴线10处。
[0023] 参见图1-图5,所述连接座由圆筒2构成,所述电机4设置于圆筒2 内,圆筒2的顶部设有顶板7,所述转动臂3的下端固定在顶板7上。设置圆筒结构的连接座,一方面,圆筒2为中心对称结构件,转动时稳定好,晃动小,摄像质量好,另一方面,圆筒结构具有内部空间,可以用于设置电机4、电路板、线缆等元件,使得外表简洁美观。
[0024] 参见图4,所述转动臂3内设有走线通道3-4,所述顶板7上设有连接走线通道3-4和圆筒2的内腔的通孔7-1,所述相机9处的信号线通过走线通道3-4和通孔7-1进入到圆筒2内与电路板连接。这使得数据不显露在外,避免出现缠绕,并使外观更加简洁美观。
[0025] 参见图1-图5,所述底座由圆盘1构成,所述圆筒2的底部为开口结构,所述圆盘1设置于圆筒2的底部开口中;所述电机4的主轴与圆盘1 固定连接,所述电机4与圆筒2固定连接。工作时,底座固定不动,电机4 的主轴与底座相对固定不动,而电机4和圆筒2一起转动,这样转动臂3 内的数据线也随圆筒2一起转动,从而避免出现数据线的缠绕。
[0026] 参见图1-图5,所述圆筒2内的下部设有安装隔板2-1,所述电机4通过连接法兰固定连接在安装隔板2-1上,电机4的主轴向下穿过安装隔板 2-1,安装隔板2-1上设有操作开口2-2;电机4的主轴通过连接盘8与所述圆盘1连接。通过设置安装隔板2-1,便于电机4以及电路板的固定,设置操作开口2-2便于向连接法兰处放置螺母以将连接法兰和安装隔板2-1固定。
[0027] 参见图4,所述圆盘1位于安装隔板2-1的下方,安装隔板2-1与圆盘 1之间设有推力球轴承6,该推力球轴承6一端与圆盘1固定连接,另一端与安装板5-2固定连接。通过设置推力球轴承6,使得圆筒2与圆盘1之间的转动阻力更小,转动更稳定。
[0028] 参见图4,所述圆盘1的下端向下伸出圆筒2的下端,这样当利用圆盘 1的底面固定整个云台摄像装置时,不会阻碍圆筒2的转动。
[0029] 参见图1-图5,所述顶板7通过螺钉连接在圆筒2上,所述圆筒2上设有螺丝柱。这样可以从圆筒2上方安装筒内的部件,最后再将顶板7封在圆筒2顶部即可。
[0030] 参见图1-图5,所述转动臂3包括位于下端的固定连接部3-1、位于上端的相机安装部3-3以及连接固定连接部3-1和相机安装部3-3的连接杆3-2,其中,所述固定连接部3-1从顶板7中心沿径向向外延伸并与连接杆3-2连接,连接杆3-2向上延伸且位于圆筒2转动中心轴线10的外侧;所述相机安装部3-3连接于连接杆3-2的上端,且沿径向朝圆筒2转动中心轴线10 处延伸。上述结构中,所述连接杆3-2和相机安装部3-3相对于圆筒2转动中心轴线10处于偏置状态,由于相机在其轴线方向上具有一定长度,这样在安装相机9使得成像面位于圆筒2转动中心轴线10处处时,所述相机安装部3-3刚好能与相机9的连接底座对准,便于对相机9的固定。
[0031] 参见图1-图5,所述相机安装部3-3上设有安装座5,该安装座5包括两个侧板5-1以及设在两个侧板5-1顶部的安装板5-2,两个侧板5-1通过螺钉固定在相机安装部3-3的两侧;所述相机9固定在安装外壳11上,该安装外壳11包括底板11-1以及两个向上延伸并向中心包拢的侧翼11-2,所述底板11-1固定连接在所述安装板5-2上。通过上述结构,便于实现相机9的固定安装。
[0032] 参见图6,所述全景摄影云台装置的单张影像成像效果以及影像之间的关联示意图,每张影像的倾斜角度为56.3度,相邻两张影像的水平偏转角度是20度,考虑影像的重叠效果,影像在在竖直方向上的视域范围是172 度。通过上述影像获取方式,确保了全景图像1亿像素的高清分辨率。
[0033] 参见图7,所述全景影像合成算法流程,就是将多张有一定重叠比例的影像拼成一幅无缝高分辨率全景图像的技术。在本发明的系统中,7-1步骤一是自动光照感知:通过自动化分析所采集影像的光照对比度,检索出最适合拍摄场景的摄影参数集合,包括曝光时间、光圈、模式,使得影像到达最优的信噪比例;7-2步骤二是同名点检测:基于机械装置进行全景影像的数据获取,并对照片进行特征点提取,然后匹配寻找同名点;7-3步骤三是直接利用平台记录的每张照片的角度值,或者通过上一步的同名点,根据光线追踪模型估计出这些角度值;7-4步骤四是获取相机检校参数:设备在出厂时,就已经通过检校场和算法,估计相机镜头的畸变以及传感器相关参数,并存储于系统指定的文件路径;7-5步骤五是HDR处理:对于有 HDR选项的多张照片,合成处理生成HDR图片;7-6步骤六是图像匀色:利用同名点之间的色差,对多张图片的彩色信息进行一致化处理;7-7步骤七是投影融合:把多张影像根据需要,按照某种方式,将彩色信息投影并重新采样到一张全景图上,对于多张照片重叠的部分,需要进行色彩融合处理;7-8步骤八是全景图裁剪:为了优化全景图的可视化效果,裁剪掉零碎的色彩信息;7-9步骤九是水平化处理:为了全景图可视化时跟符合人眼的视角,需要根据陀螺仪记录的姿态参数,将全景图进行重新投影,保持其视角水平;7-10步骤十是水印添加:将客户定制化的图标、文字等信息通过水印等方式添加到全景图中;
7-11步骤十一是全景图的web可视化,主要包括影像金字塔、图形分块、AJAX加载等技术的应用。
[0034] 参见图8,图像拼接的关键技术包括图像配准和图像融合,其中前者是后者的基础;而完成图像拼接还需要在其中进行坐标变换。8-1中,X是原始拍摄影像的任意一个点,通过球形投影变换,投影至球面8-2上。在投影过程中,相同的点可能被投影多次。同名点的多次出现,可以用于全景图的图像匀色、投影融合。
[0035] 上述为本发明较佳的实施方式,但本发明的实施方式并不受上述内容的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
QQ群二维码
意见反馈