基于深度神经网络的行人步态分割方法
专利汇可以提供基于深度神经网络的行人步态分割方法专利检索，专利查询，专利分析的服务。并且本 发明 针对行人步态分割时对双腿间的“O型”形状难以分割以及腿型分割不够精细的问题，提出一种基于 深度神经网络 的行人步态分割方法。本发明通过设计空洞卷积残差卷积网络和添加 边缘检测 器分支两步实现对行人步态的精细分割；利用空洞卷积替换resnet最后阶段的普通卷积来提高浅层网络的感受野，得到更多信息的特征传入到下个阶段，最后得到的mask再输入至由边缘检测算子组成的边缘检测器中，很好地解决了行人步态中步态边缘不拟合的问题，从而得到更加精确的行人步态边缘，提高了腿部分割的精细度。，下面是基于深度神经网络的行人步态分割方法专利的具体信息内容。
1.基于深度神经网络的行人步态分割方法，其特征在于包括如下步骤：
S1）预测行人的步态边界
在给定一个图片或视频的情况下，预测图片或视频中1个或多个行人的步态边界；
对于图片，检测单一图片中所有行人的目标，对目标进行步态分割；
对于视频，输入每一帧，检测视频每一帧中所有行人的目标，对目标进行步态分割，输出处理后的每一帧并组合成为一个分割好的行人步态视频；
S2）图像预处理和制作标签
将分割好的行人步态图像的大小统一调整为h*w，其中，h为图像的高，w为图像的宽；
制作标签，对图像相同位置的目标进行像素值处理，将行人的位置采用像素值为14的像素描边，非行人位置统一设置像素值为0，表示背景；
S3）构建步态分割深度卷积神经网络
S3-1）采用基础网络进行特征提取
采用resnet50网络作为基础网络，在resnet50网络结构上，利用空洞率为2的空洞卷积替换resnet50最后一个阶段的普通卷积；
S3-2）将步骤S2）预处理的图像输入至步骤S3-1）的基础网络中，图像经过基础网络后输入至FPN进一步提取各维度的特征，利用FPN从下至上各个层对同一scale图片不同维度的特征表达结构，有效生成对图片的多维度特征表达的方法；
S3-3）将步骤S3-2）中提取到的特征再通过ROIAlign生成14*14*256大小的ROI features，通过ROIAlign生成候选框region proposal映射产生固定大小的feature map，通过采用双线性插值法获得更加准确的行人候选框；
S3-4）将步骤S3-3）中14*14*256大小的feature map经过5个卷积后再经过反卷积变换为28*28*1大小的行人P_mask；
S3-5）将步骤S3-4）得到的28*28*1大小的P_mask进行kernel size为2、stride为2的max pooling layer，使得预测的mask具有与步骤S3-3）的输出相同的空间尺寸，再和步骤S3-3）的输出进行组合，得到14*14*257大小的特征图；
该特征图经过4个卷积层，这4个卷积层的核大小和滤波器个数分别设置为3和256；再添加3个全卷积层，前面两个全卷积设置为1024，后一个全卷积设置为类别数量，数量为1，即行人一类；该输出的值为mask的评分，设置阈值为0.5，采用阈值大于0.5的mask，定义为GT_mask；
S4）使用二分类交叉熵损失函数Binary_Cross_Entropy来构造损失函数，将真实的概率表达为p∈{y,1−y}，,预测概率表达为q∈{ ,1- }，其中，y表示样本属于行人的概率，1-y表示样本属于背景的概率，表示预测行人的概率，1- 表示预测背景的概率，通过交叉熵来测量p和q之间的相似度，公式如下：
（1）；
S5）使用二分类交叉熵损失函数Binary_Cross_Entropy比较GT_mask和P_mask中每个像素点的信息；
S6）将步骤S3）得到的P_mask和GT_mask输入至边缘检测器，该边缘检测器由3*3*1大小的一个边缘检测算子构成，两个mask会和边缘检测算子进行卷积得到两个mask的边缘，对于P_mask输入后得到的边缘结果将其定义为 ，对于GT_mask输入后得到的边缘结果将其定义为 ；
S7）将步骤S6）得到的 和 构造损失函数loss，公式如下：
（2）。
基于深度神经网络的行人步态分割方法
技术领域
背景技术
发明内容
S1）预测行人的步态边界
在给定一个图片或视频的情况下，预测图片或视频中1个或多个行人的步态边界；
对于图片，检测单一图片中所有行人的目标，对目标进行步态分割；
对于视频，输入每一帧，检测视频每一帧中所有行人的目标，对目标进行步态分割，输出处理后的每一帧并组合成为一个分割好的行人步态视频；
S2）图像预处理和制作标签
将分割好的行人步态图像的大小统一调整为h*w，其中，h为图像的高，w为图像的宽；
制作标签，对图像相同位置的目标进行像素值处理，将行人的位置采用像素值为14的像素描边，非行人位置统一设置像素值为0，表示背景；
S3）构建步态分割深度卷积神经网络
S3-1）采用基础网络进行特征提取
采用resnet50网络作为基础网络，在resnet50网络结构上，利用空洞率为2的空洞卷积替换resnet50最后一个阶段的普通卷积；
S3-2）将步骤S2）预处理的图像输入至步骤S3-1）的基础网络中，图像经过基础网络后输入至FPN进一步提取各维度的特征，利用FPN从下至上各个层对同一scale图片不同维度的特征表达结构，有效生成对图片的多维度特征表达的方法；
S3-3）将步骤S3-2）中提取到的特征再通过ROIAlign生成14*14*256大小的ROI features，通过ROIAlign生成候选框region proposal映射产生固定大小的feature map，通过采用双线性插值法获得更加准确的行人候选框；
S3-4）将步骤S3-3）中14*14*256大小的feature map经过5个卷积后再经过反卷积变换为28*28*1大小的行人P_mask；
S3-5）将步骤S3-4）得到的28*28*1大小的P_mask进行kernel size为2、stride为2的max pooling layer，使得预测的mask具有与步骤S3-3）的输出相同的空间尺寸，再和步骤S3-3）的输出进行组合，得到14*14*257大小的特征图；
该特征图经过4个卷积层，这4个卷积层的核大小和滤波器个数分别设置为3和256；再添加3个全卷积层，前面两个全卷积设置为1024，后一个全卷积设置为类别数量，数量为1，即行人一类；该输出的值为mask的评分，设置阈值为0.5，采用阈值大于0.5的mask，定义为GT_mask；
S4）使用二分类交叉熵损失函数Binary_Cross_Entropy来构造损失函数，将真实的概率表达为 ，预测概率表达为 ，其中，y表示样本属于行人的概
率，1-y表示样本属于背景的概率， 表示预测行人的概率， 表示预测背景的概率，通过交叉熵来测量p和q之间的相似度，公式如下：
（1）；
S5）使用二分类交叉熵损失函数Binary_Cross_Entropy比较GT_mask和P_mask中每个像素点的信息；
S6）将步骤S3）得到的P_mask和GT_mask输入至边缘检测器，该边缘检测器由3*3*1大小的一个边缘检测算子构成，两个mask会和边缘检测算子进行卷积得到两个mask的边缘，对于P_mask输入后得到的边缘结果将其定义为 ，对于GT_mask输入后得到的边缘结果将其定义为 ；
S7）将步骤S6）得到的 和 构造损失函数loss，公式如下：
（2）；
本发明与现有技术相比，具有以下优点：
本发明针对行人步态存在O型腿和难以勾勒腿型的情况，提出一种基于深度神经网络的行人步态分割方法。本发明通过设计空洞卷积残差卷积网络和添加边缘检测器分支两步实现对行人步态的精细分割；利用空洞卷积替换resnet最后阶段的普通卷积来提高浅层网络的感受野，得到更多信息的特征传入到下个阶段，最后得到的mask再输入至由边缘检测算子组成的边缘检测器中，很好地解决了行人步态中步态边缘不拟合的问题，从而得到更加精确的行人步态边缘。
具体实施方式
在给定一个图片或视频的情况下，预测图片或视频中1个或多个行人的步态边界；
对于图片，检测单一图片中所有行人的目标，对目标进行步态分割；
对于视频，输入每一帧，检测视频每一帧中所有行人的目标，对目标进行步态分割，输出处理后的每一帧并组合成为一个分割好的行人步态视频。
制作标签，对图像相同位置的目标进行像素值处理，将行人的位置采用像素值为14的像素描边，非行人位置统一设置像素值为0，表示背景。
采用resnet50网络作为基础网络，在resnet50网络结构上，利用空洞率为2的空洞卷积替换resnet50最后一个阶段的普通卷积；这扩大了网络的感受野，有利于后续深层网络的特征提取；其中，resnet，即deep residual network，resnet50网络为50层残差卷积网络；
S3-2）将步骤S2）预处理的图像输入至步骤S3-1）的基础网络中，图像经过基础网络后输入至FPN进一步提取各维度的特征，FPN是一种高效的CNN特征提取方法，利用FPN从下至上各个层对同一scale图片不同维度的特征表达结构，有效生成对图片的多维度特征表达的方法，从而生成表达力更强的feature map以供下一阶段的计算机视觉任务；
S3-3）将步骤S3-2）中提取到的特征再通过ROIAlign生成14*14*256大小的ROI features，通过ROIAlign生成候选框region proposal映射产生固定大小的feature map，通过采用双线性插值法获得更加准确的行人候选框；ROIAlign是在Kaiming He,et al.,Mask R-CNN,ICCV2017这篇论文里提出的一种区域特征聚集方式；
S3-4）将步骤S3-3）中14*14*256大小的feature map经过5个卷积后再经过反卷积变换为28*28*1大小的行人P_mask；
S3-5）将步骤S3-4）得到的28*28*1大小的P_mask进行kernel size为2、stride为2的max pooling layer，使得预测的mask具有与步骤S3-3）的输出相同的空间尺寸，再和步骤S3-3）的输出进行组合，得到14*14*257大小的特征图；
该特征图经过4个卷积层，这4个卷积层的核大小和滤波器个数分别设置为3和256；再添加3个全卷积层，前面两个全卷积设置为1024，后一个全卷积设置为类别数量，数量为1，即行人一类；该输出的值为mask的评分，设置阈值为0.5，采用阈值大于0.5的mask，定义为GT_mask。
（1）。
经过边缘检测器后的行人步态边缘拟合度大大提高，可以检测出双腿之间的空隙轮廓。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于增强图像对比的变电场所悬挂物识别方法 | 2020-05-08 | 672 |
| 一种基于深度学习的遥感影像自动标注方法 | 2020-05-08 | 447 |
| 地板破损故障图像识别方法 | 2020-05-08 | 111 |
| 一种显示方法、装置、设备和存储介质 | 2020-05-11 | 381 |
| 铁路货车小部件轴承挡键螺母松动和丢失故障检测方法 | 2020-05-08 | 513 |
| 一种基于块编码特性的3D视频错误隐藏方法 | 2020-05-08 | 589 |
| 一种基于信息熵和视觉注意机制的织物疵点检测方法 | 2020-05-08 | 238 |
| 一种基于虚拟训练的机器人智能抓取方法 | 2020-05-11 | 224 |
| 基于机器视觉的钙钛矿薄膜质量在线检测装置及方法 | 2020-05-11 | 884 |
| 一种基于加权联合最近邻的多任务稀疏表示检测方法 | 2020-05-11 | 988 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
