专利汇可以提供一种基于Faster rcnn的多模态行人检测模型及方法专利检索,专利查询,专利分析的服务。并且一种基于Faster rcnn的多模态行人检测模型及方法,包括输入数据对齐处理和并行特征提取网络,将并行特征提取网络得到的结果通过后续的RPN网络和分类网络进行处理,从而进行类别分类和 位置 回归。本 发明 有效判别行人在视频或者图片中的位置,同时避免人与人遮挡时出现的虚检问题和物体遮挡人体时漏检的问题。,下面是一种基于Faster rcnn的多模态行人检测模型及方法专利的具体信息内容。
1.一种基于Faster rcnn的多模态行人检测模型,其特征在于,包括输入数据对齐处理和并行特征提取网络,将并行特征提取网络得到的结果通过后续的RPN网络和分类网络进行处理,从而进行类别分类和位置回归;其中输入数据对齐处理采用张正友摄像机标定的方法,对深度相机进行标定,将深度图转化到彩色图图像坐标系中,然后截取彩色图和深度图中重叠的部分,分别进行保存,得到了一组对齐的彩色图和深度图,在进行不同模态的特征图合并的时候,同一位置的彩色图特征和深度图特征才能合并在一起,共同发挥作用,并行特征提取网络是用两个独立的卷积神经网络分别提取彩色图数据和深度图数据的特征,作为后续两种模态特征融合的基础。
2.一种基于Faster rcnn的多模态行人检测方法,其特征在于,包括以下步骤;
一、输入数据对齐处理:
二、并行特征提取网络:
三:将并行特征提取网络得到的结果通过后续的RPN网络和分类网络进行处理,从而进行类别分类和位置回归。
3.根据权利要求2所述的一种基于Faster rcnn的多模态行人检测方法,其特征在于,所述的输入数据对齐处理具体为:
步骤一:采用利用微软2代Kinect深度传感器采集,共包含现实生活中的5个场景,包含了多种人体姿态;
步骤二:采用张正友摄像机标定的方法,对深度相机进行标定,将深度图转化到彩色图图像坐标系中,然后截取彩色图和深度图中重叠的部分,分别进行保存,得到了一组对齐的彩色图和深度图;
步骤三:将深度图采用Jet色图编码后得到深度图和彩色图图像坐标系中的截取的彩色图送入行人检测模型中。
4.根据权利要求2所述的一种基于Faster rcnn的多模态行人检测方法,其特征在于,所述的并行特征提取网络具体为:
步骤一:对输入的彩色图和深度图用不同的特征提取网络提取深层特征信息得到特征图;
步骤二:对上一步得到的特征图进行L2归一化处理;
假设并行输入的原始输入图片为(IRGB IDepth),经过卷积神经网络进行特征提取之后,得到一组并行的特征图(fRGB,fDepth),假设特征图(fRGB,fDepth)中某一通道特征图为f,且该特征图分辨率为r×c,则经过L2归一化后的特征图uf为:
其中:
在对两组特征图分别进行L2归一化后,这两组特征图的数值大小将被缩放到同一尺度上,共同对最终的检测结果起到作用;
步骤三:针对归一化特征图 中每一个通道的特征图 设计一个尺
度参数γi,对该通道特征图进行一定比例的放大,经过尺度参数放大后的特征图Fi为:
将并行特征提取网络得到的结果通过后续的RPN网络和分类网络进行处理,从而进行类别分类和位置回归。
5.根据权利要求4所述的一种基于Faster rcnn的多模态行人检测方法,其特征在于,所述的后续的RPN网络和分类网络与Faster Rcnn网络一致。
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
智能驾驶测试行人目标 | 2020-05-08 | 229 |
基于5G通信的动作捕捉运动训练方法及系统 | 2020-05-08 | 1018 |
基于3D卷积长短期记忆网络的儿童运动姿态自动识别技术 | 2020-05-08 | 626 |
基于深度摄像和身高阈值像素标定的自动身高检测方法 | 2020-05-11 | 190 |
一种人体皮肤识别的方法与装置 | 2020-05-11 | 8 |
一种人体骨架动作识别方法、装置及终端 | 2020-05-11 | 864 |
无线物理刺激系统及方法 | 2020-05-08 | 690 |
一种人体关键点识别方法、装置及电子设备 | 2020-05-11 | 924 |
一种基于二维骨架信息的攻击性行为识别方法 | 2020-05-11 | 763 |
一种模拟心脏循环过程的生理教学用教具模型 | 2020-05-08 | 645 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。