首页 / 技术领域 / 动作捕捉 / 一种基于多通道图像采集融合的大场景交互动作捕捉系统

一种基于多通道图像采集融合的大场景交互动作捕捉系统

热词 摄像 图像 拼接 互动 画面 视频信号 采集 摄像机 视频 图像处理
专利类型 发明公开 法律事件 公开; 实质审查; 驳回;
专利有效性 无效专利 当前状态 驳回
申请号 CN202111259136.0 申请日 2021-10-27
公开(公告)号 CN114040097A 公开(公告)日 2022-02-11
申请人 苏州金螳螂文化发展股份有限公司; 申请人类型 企业
发明人 孟庆涛; 莫滨辉; 华林红; 汤诗雨; 张丰霏; 第一发明人 孟庆涛
权利人 苏州金螳螂文化发展股份有限公司 权利人类型 企业
当前权利人 苏州金螳螂文化发展股份有限公司 当前权利人类型 企业
省份 当前专利权人所在省份:江苏省 城市 当前专利权人所在城市:江苏省苏州市
具体地址 当前专利权人所在详细地址:江苏省苏州市工业园区民生路5号 邮编 当前专利权人邮编:215000
主IPC国际分类 H04N5/232 所有IPC国际分类 H04N5/232H04N5/917H04N5/95
专利引用数量 7 专利被引用数量 1
专利权利要求数量 6 专利文献类型 A
专利代理机构 苏州瑞光知识产权代理事务所 专利代理人 李微;
摘要 本 发明 公开了一种基于多通道 图像采集 融合的大场景交互 动作捕捉 系统,包括:图像采集组件,其用于采集观众图像,被采集画面的区域划分为多个摄像区域,多个数字摄像机分别对应采集多个摄像区域的画面; 图像处理 组件,其包括图像接受模 块 、图像处理模块、动作识别模块、互动控 制模 块、内容存储模块和图像输出模块,图像接受模块通过多个通道对应接收多个数字摄像机采集的源视频 信号 ,图像处理模块将多个数字摄像机的源 视频信号 进行畸变校准及无缝拼接融合,动作识别模块识别图像处理模块拼接后的视频图像信号中人体的特定动作;显示组件,其用于接收图像信号并进行投影显示。本发明相较于 现有技术 ,实现更大面积的感应检测,减少画面延时。
权利要求

1.一种基于多通道图像采集融合的大场景交互动作捕捉系统,其特征在于,包括:
图像采集组件,其用于采集观众图像,被采集画面的区域划分为多个摄像区域,多个数字摄像机分别对应采集多个摄像区域的画面;
图像处理组件,其包括图像接受模、图像处理模块、动作识别模块、互动控制模块、内容存储模块和图像输出模块,所述图像接受模块通过多个通道对应接收多个所述网络摄像头采集的源视频信号,所述图像处理模块将多个所述网络摄像头的源视频信号进行拼接,所述动作识别模块识别所述图像处理模块拼接后的视频图像信号中人体的特定动作,所述互动控制模块根据识别出的人体特定动作从所述内容存储模块中获取对应图像信号,并通过所述图像输出模块输出;
显示组件,其用于接收所述图像输出模块输出的图像信号并进行投影显示。
2.根据权利要求1所述的一种基于多通道图像采集融合的大场景交互动作捕捉系统,其特征在于,所述图像处理模块包括融合拼接单元和像素调整单元,所述融合拼接单元用于将多个所述数字摄像机的源视频信号进行拼接,所述像素调整单元用于对拼接后的视频画面中重叠部分的畸变像素进行调整和校正。
3.根据权利要求2所述的一种基于多通道图像采集融合的大场景交互动作捕捉系统,其特征在于,所述图像处理模块还包括亮度调整单元,所述亮度调整单元用于调整拼接后视频画面中重叠处的亮度,并根据视频场景环境对图像自动白平衡对比度调整。
4.根据权利要求2所述的一种基于多通道图像采集融合的大场景交互动作捕捉系统,其特征在于,所述融合拼接单元包括多核心GPU,所述多核心GPU采用多进程分布计算进行源视频信号拼接的计算处理。
5.根据权利要求1所述的一种基于多通道图像采集融合的大场景交互动作捕捉系统,其特征在于,所述数字摄像机的投影度校准,基于投影空间与世界空间坐标,结合深度传感器对检测坐标校准。
6.根据权利要求1所述的一种网络摄像头多通道融合感应检测互动系统,其特征在于,所述投影显示内容与检测内容实时通讯,低延迟,高准确。

说明书全文

一种基于多通道图像采集融合的大场景交互动作捕捉系统

技术领域

[0001] 本发明属于投影互动系统技术领域,尤其涉及一种网络摄像头多通道融合感应检测互动系统。

背景技术

[0002] 随着新媒体相关技术的完善,墙面互动和地面互动展项已经广泛应用与各大展馆、商业中心、游乐园等。对于户外的、大面积交互场景,目前市面上没有超大尺寸且横宽比可以自定义的电容触摸屏,所以无法使用传统的电容触摸屏作为载体。而拼接屏加红外触摸框的交互形式,则存在成本过高、安装复杂的问题。此外,不管是红外拼接方式还是电容触摸方式,都存在显示器非常脆弱,容易损坏的问题。因此,墙面互动和地面互动展项的方式主要为投影加激光雷达感应互动或者摄像头感应互动。
[0003] 现有的墙面互动和地面互动展项中,采用传统的USB摄像头进行动作识别,感应检测面积小,互动反应慢,互动效果不佳。

发明内容

[0004] 本发明的目的在于:提供一种基于多通道图像采集融合的大场景交互动作捕捉系统,通过多个数字摄像机的设置实现更大面积的感应检测,减少画面延时,并且可实现超大空间的交互动作捕捉,布线简单,降低施工难度,节约工程成本。
[0005] 为了实现上述目的,本发明采用了如下技术方案:一种基于多通道图像采集融合的大场景交互动作捕捉系统,包括:
[0006] 图像采集组件,其用于采集观众图像,被采集画面的区域划分为多个摄像区域,多个数字摄像机分别对应采集多个摄像区域的画面;
[0007] 图像处理组件,其包括图像接受模、图像处理模块、动作识别模块、互动控制模块、内容存储模块和图像输出模块,所述图像接受模块通过多个通道对应接收多个所述网络摄像头采集的源视频信号,所述图像处理模块将多个所述网络摄像头的源视频信号进行拼接,所述动作识别模块识别所述图像处理模块拼接后的视频图像信号中人体的特定动作,所述互动控制模块根据识别出的人体特定动作从所述内容存储模块中获取对应图像信号,并通过所述图像输出模块输出;
[0008] 显示组件,其用于接收图像输出模块输出的图像信号并进行投影显示。
[0009] 作为上述技术方案的进一步描述:
[0010] 图像处理模块包括融合拼接单元和像素调整单元,融合拼接单元用于将多个网络摄像头的源视频信号进行拼接,像素调整单元用于对拼接后的视频画面中重叠部分的畸变像素进行调整和校正。
[0011] 作为上述技术方案的进一步描述:
[0012] 图像处理模块还包括亮度调整单元,亮度调整单元用于调整拼接后视频画面中重叠处的亮度,并根据视频场景环境对图像自动白平衡对比度调整。
[0013] 作为上述技术方案的进一步描述:
[0014] 融合拼接单元包括多核心GPU,多核心GPU采用多进程分布计算进行源视频信号拼接的计算处理。
[0015] 作为上述技术方案的进一步描述:
[0016] 数字摄像机的投影度校准,基于投影空间与世界空间坐标,结合深度传感器对检测坐标校准。
[0017] 作为上述技术方案的进一步描述:
[0018] 投影显示内容与检测内容实时通讯,低延迟,高准确。
[0019] 综上所述,由于采用了上述技术方案,本发明的有益效果是:
[0020] 1、本发明中,在进行互动时,主机通过高速图像采集与压缩传输算法获取摄像机画面,克服传统RTSP方式数据传输的高网络带宽占用、高延时等问题,实现超低时延、中等带宽占用读取网络摄像头画面,并且降低主机中CPU的要求,降低成本。
[0021] 2、本发明中,通过多个高速数字摄像机获取被采集画面的区域的观众动作,并通过图像处理模块对多个摄像机采集的源视频信号进行拼接融合,图像处理模块的融合拼接单元在进行源视频信号拼接的计算时,源视频信号拼接的计算分布到GPU的多个核心上,实现多进程计算,极大的提高了计算效率,进而提高互动反应速度,实现快速动作识别。
[0022] 3、本发明中,数字摄像机获取被采集画面的区域(即感应检测区域)的观众动作时,被采集画面的区域划分为多个摄像区域,多个摄像机分别对应采集多个摄像区域的画面。多个摄像机的设置,有效扩大感应检测区域。
[0023] 4、本发明中,所用采集设备具有速度快、布线简单、传输距离远、供电便捷等优势,安装简单,降低硬件耗材成本,降低施工难度,节约工程成本。附图说明
[0024] 为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
[0025] 图1为一种基于多通道图像采集融合的大场景交互动作捕捉系统的系统架构图。

具体实施方式

[0026] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
[0027] 请参阅图1,本发明提供一种技术方案:一种基于多通道图像采集融合的大场景交互动作捕捉系统,包括:
[0028] 图像采集组件,其用于采集观众图像,被采集画面的区域划分为多个摄像区域,多个数字摄像机分别对应采集多个摄像区域的画面;
[0029] 图像处理组件,其包括图像接受模块、图像处理模块、动作识别模块、互动控制模块、内容存储模块和图像输出模块,所述图像接受模块通过多个通道对应接收多个所述网络摄像头采集的源视频信号,所述图像处理模块将多个所述网络摄像头的源视频信号进行拼接,所述动作识别模块识别所述图像处理模块拼接后的视频图像信号中人体的特定动作,所述互动控制模块根据识别出的人体特定动作从所述内容存储模块中获取对应图像信号,并通过所述图像输出模块输出;
[0030] 显示组件,其用于接收图像输出模块输出的图像信号并进行投影显示。
[0031] 图像处理模块包括融合拼接单元和像素调整单元,融合拼接单元用于将多个网络摄像头的源视频信号进行拼接,像素调整单元用于对拼接后的视频画面中重叠部分的畸变像素进行调整和校正。
[0032] 图像处理模块还包括亮度调整单元,亮度调整单元用于调整拼接后视频画面中重叠处的亮度,并根据视频场景环境对图像自动白平衡与对比度调整。
[0033] 融合拼接单元包括多核心GPU,多核心GPU采用多进程分布计算进行源视频信号拼接的计算处理,源视频信号拼接的计算分布到GPU的多个核心上,实现多进程计算,极大提高了计算效率,提高互动反应速度。
[0034] 数字摄像机的投影角度校准,基于投影空间与世界空间坐标,结合深度传感器对检测坐标校准。
[0035] 投影显示内容与检测内容实时通讯,低延迟,高准确。
[0036] 工作原理:在进行互动时,主机通过高速图像采集与压缩传输算法获取摄像机画面,克服传统RTSP方式数据传输的高网络带宽占用、高延时等问题,实现超低时延、中等带宽占用读取网络摄像头画面,并且降低主机中CPU的要求,降低成本。通过多个高速数字摄像机获取被采集画面的区域的观众动作,并通过图像处理模块对多个摄像机采集的源视频信号进行拼接融合,图像处理模块的融合拼接单元在进行源视频信号拼接的计算时,源视频信号拼接的计算分布到GPU的多个核心上,实现多进程计算,极大的提高了计算效率,进而提高互动反应速度,实现快速动作识别。数字摄像机获取被采集画面的区域(即感应检测区域)的观众动作时,被采集画面的区域划分为多个摄像区域,多个摄像机分别对应采集多个摄像区域的画面。多个摄像机的设置,有效扩大感应检测区域。所用采集设备具有速度快、布线简单、传输距离远、供电便捷等优势,安装简单,降低硬件耗材成本,降低施工难度,节约工程成本。
[0037] 以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
QQ群二维码
意见反馈