一种结合RGBD数据的GrabCut自动分割算法
专利汇可以提供一种结合RGBD数据的GrabCut自动分割算法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种结合RGBD数据的GrabCut自动分割 算法 ：首先将 深度相机 Kinect V2采集到的深度、 颜色 等数据通过彩色图的 像素 点对应 深度图 的 坐标系 来初步分割包含人物的前景，并作为GrabCut的掩码框。然后将深度数据作为高斯混合模型的第四通道中来改进GrabCut算法的 能量 方程，实现对人物轮廓进行自动分割。我们改进后的Grabcut算法解决了原有算法在复杂静态背景下存在人物上下半身的服饰颜色差异大时分割不完整、前背景颜色相近时分割不准确、需要用户交互的问题，并且具有自动分割人物轮廓、实时性强、分割准确度高等特点。进一步利用多边形拟合绘制人物轮廓，实现轮廓矢量化。，下面是一种结合RGBD数据的GrabCut自动分割算法专利的具体信息内容。
1.一种结合RGBD数据的GrabCut自动分割算法，该技术根据深度相机Kinect V2采集到的深度、颜色等数据通过彩色图的像素点对应深度图的坐标系来初步分割包含人物的前景，并作为GrabCut的掩码框。然后将深度数据作为高斯混合模型的第四通道中来改进GrabCut算法的能量方程，实现对人物轮廓进行自动分割。该方法包括以下步骤：
S1、基于Kinect相机的场景深度、颜色等数据采集；
S2、深度图修复以及初步分割人物前景图；
S3、初始化GrabCut掩码，结合RGBD四通道数据进行人物的自动分割；
S4、矢量化轮廓边缘并绘制人物轮廓线。
2.如权利要求1所述的结合RGBD数据的GrabCut自动分割算法，其特征在于，所述步骤S1具体包括以下处理：
随着强大的测距传感器的出现以及深度数据(depth，即深度相机拍摄的场景每个点到相机面的距离)提取技术日趋成熟，RGB-D图像(RGB+Depth Map，Depth Map是包括场景深度数据的图像或通道)逐渐受到了图像研究人员的关注。RGB-D相机与我们平时使用的普通相机不同，它同时装载了光学RGB相机和深度相机。因而该相机可以同时采集场景中各个点的纹理信息和深度信息。Kinect V2相机(微软于2014年10月发布的第二代3D体感摄像机，也称为深度相机，在计算机视觉领域常用于教学或科研实验)证明了物体识别系统的准确性可以通过附加深度信息的方式得到大幅提高，而不再仅仅依赖于颜色信息。Kinect采用Time of Flight(TOF)技术来得到目标物体距离相机所在垂直平面的距离。TOF利用连续波调制相位偏移与物体距离成正比的关系，计算出深度。利用微软提供的开发组件读取kinect传输过来的数据，其中颜色信息以RGB的格式保存为BGR三通道的彩色图，深度信息以8位无符号整型形式保存为灰度图。与此同时，保存对应的由kinect提供的人物索引值(BodyIndex)数据源。
3.如权利要求1所述的结合RGBD数据的GrabCut自动分割算法，其特征在于，所述步骤S2具体包括以下处理：
Kinect在渲染Depth Map时，将没有识别到的领域默认填充为黑色。但“黑洞”将影响后续的运算，因此在进行初步前景分割前先采用像素滤波器修复深度图像。遍历整幅深度图，选定深度值为0的像素点为待修改的滤波像素点，建立一个以该像素点为核心的两层滤波器。然后寻找该滤波器器内深度值不为0的像素点，分别记录两层滤波方框内深度值不为0的像素点的数量，然后与自定义阈值比较。若内外层中记录的深度值非零的像素数目超过了阈值，则该待修改的滤波像素点的深度值将以该两层滤波器内出现频率最高且不为0的深度值进行赋值，最终完成修复。本发明像素滤波器内外层阈值分别为2，5；内层大小为3*
3，外层大小为5*5；
深度相机与彩色相机之间存在间距、其视野范围以及分辨率不一致，导致RGB图片不能按像素点与深度图直接对应。因此进行坐标空间的映射校准，利用开发组件的接口类能把以深度相机为原点的坐标系与彩色相机的空间坐标系链接起来，寻找映射到深度帧中与彩色帧相对应的像素点。再对比人物索引数据，确定用户的深度像素并保留相应位置的RGB值，从而得到初步前景图。为了降低数据量，现将上一步提取到的初步前景图中的每个像素点与合理的阈值进行比较，从而获取与初步前景图相对应的二值图像。由于初步前景二值图像仍然存在一些边缘干扰项，采取数学形态学处理来去除，提供更好的GrabCut初始掩码(掩码也是最终图割结果)。
4.如权利要求1所述的结合RGBD数据的GrabCut自动分割算法，其特征在于，所述步骤S3具体包括以下处理：
遍历步骤S2初步提取到的初步前景二值图找到包含所有人物目标的最小矩形框，并记录其所在位置与大小。二值图经过数据拷贝之后，重新将白色前景像素赋值为3、黑色背景像素分赋值为0，并缩小图像尺寸至一半大小后，以此初始化GrabCut的掩码。
提取矩形框与初始化掩码之后，以标记图代替人工框选前景、背景种子集。这样便使得GrabCut算法由用户交互式转换为自动化。
最先GrabCut算法的原作者定义了一个Gibbs能量方程：
E(α，k，θ，z)＝U(α，k，θ，z)+V(α，z) #(1)
其中，U(α，k，θ，z)是区域项，表示着图像像素集的整体性质；V(α，z)是边界项，表示两两像素点的纹理颜色差异。求解出能量方程E的最小值，换而言之，找到了分割整幅图像所花费最小代价或者损失。
区域项U由现在图像包含了RGB颜色空间的像素点zn，使用图片的区域像素整体性和边缘像素差异作为分割软指标，GMMs(高斯混合模型)的每个GMM进行全协方差高斯混合，分别作用于前/背景。GMMs添加矢量k＝{k1，…，kn，…，kN}，其中kn∈{1，…K}(K个分量，通常K＝
5)是为了分配给图中每个像素以概率最大的GMM分量，从而更加有效地处理GMMs。若标记αn＝0则该像素属于背景模型的某个高斯分量，若标记αn＝1则该像素属于前景的某个高斯分量。
D(αn，kn，θ，zn)＝-log p(zn|αn，kn，θ)-logπ(αn，kn) #(3)
其中，p(zn|αn，kn，θ)为GMMs的概率分布，π(αn，kn)为GMMs所包含的样本数/所有采样像素数即权重系数，解得：
因此高斯参数模型0变换为：
θ＝{π(α，k)，μ(α，k)，∑(α，k)，α＝0，1，k＝1...K} #(5)
其中，π为高斯混合系数、μ为均值、α为不透明度，∑求和为协方差，k∈{1，…K}为分量数量
使用颜色空间中的欧几里德距离来计算边界项：
β＝(2<(zm-zn)2>)-1 #(7)
其中，C为相邻像素对，γ为常数项(一般为50)，dis(·)是相邻像素的欧几里德距离，β由图像的对比度决定。
在之前的预处理过程中，利用Kienct原始数据生成了矩形和掩码。为了更有效利用深度数据，接下来将深度信息融合到GrabCut的能量函数公式(1)中。
对区域项的改进：
新增加的深度图区域项U中的dn包含了RGB图像每个像素点的深度信息，其余参数含义与之前RGB图像的区域项一致。此时利用RGB图像与Depth图像进行GMMs估计，需要求解的参数有：前/背景第k个高斯模型的权重π、均值μ以及协方差∑。
对边界项的改进：
β1＝(2<(dm-dn)2>)-1 #(11)
GrabCut算法中边界项主要由颜色的欧式距离计算得出，基于此，本文新增加的深度图边界项V中由dmn(RGB图像每个像素点的深度信息)之间的欧式距离来改进，其余参数含义与之前RGB图像的边界项一致。
结合公式(8)(9)(10)(11)，最终能量公式(1)变为：
E(α，k，θ，z，d)＝U(α，k，θ，z)+U(α，k，θ，d)+V(α，z)+V(α，d) #(12)将新添加的深度图区域项和边界项添加入能量公式中，表示深度信息depth以彩色帧中RGB三通道相同的方式，作为第四通道加入高斯混合模型中相关参数的计算，使得能量函数融合RGBD的信息，更加准确地分割出人物。
改进后的程序流程为：
(1)制作RGBD图片
首先创建一个存放八位无符号整形四通道的图片数据集Mat，再分别将步骤S1得到的彩色图以及灰度图的数据分离出来，然后按B/G/R/D顺序(这是因为openCV是按BGR的顺序存放RGB图片数据，为保持程序逻辑一致性)将数据保存到Mat，融合RGB-D四通道数据，根据图片像素相对位置不变的关系，缩小图片至原来的一半大小来减少计算量。
(2)初始化GrabCut算法
在GrabCut中，GMMs(高斯混合模型)估计对颜色通道具有很好的鲁棒性，且理论上GMMs可以逼近任何概论分布，所以直接将深度数据作为高斯混合模型的第4通道进行计算，在原先RGB三维的基础上添加深度信息，重新调整了单高斯模型参数个数(4个均值、16个协方差、1个权重系数)，初始化前景、背景GMMs。
(3)学习参数，重构高斯模型
利用kmeans聚类将当前未知像素的RGBD四通道数据融入到模型内部权重系数、均值、协方差矩阵的计算，完成像素概率估计，并将该像素添加到所属概率最大的前景或背景混合多高斯模型的单高斯分量kn中。GMMs迭代收敛完成后，构建网络流图，并计算其边权值。
(4)生成图割结果
先运用最大流/最小割算法分割该网络流图，然后放大图片至原来大小，最后显示图割结果。
5.如权利要求1所述的结合RGBD数据的GrabCut自动分割算法，其特征在于，所述步骤S4具体包括以下处理：
利用基于二值图像的轮廓算法提取人体轮廓，假设f(i，j)为图像第i行，第j列的像素点的值(只有0，1两种值)，其思想如下：
(1)确定二值图像外边界、孔边界的层次等级关系。运用Canny算子描述图中人物轮廓的完整边界特征，其中外边界代表值为一的连通域，孔边界表示值为零的连通域。
(2)通过标记不同的边界以代表他们层级、边界性质的值，勾画整幅人物二值图轮廓边界之间的层次等级关系。
(3)遍历每一行像素，碰到下列情况停止遍历：
(a)f(i，j-1)＝0，f(i，j)＝1；这时f(i，j)是外边界起点
(b)f(i，j)＞＝1，f(i，j+1)＝0；这时f(i，j)是孔边界起点
(4)再从该起点入手，指定给新边界以唯一的标示符New Border Denote(NBD)并标注该边界的点。起先NBD赋值为1，当碰到一个新边界时，NBD++。倘若过程中碰到f(i，j)＝1，f(i，j+1)＝0，将f(i，j)赋值为-NBD，即f(i，j)为右边界终点。
最终定位人体轮廓并保存人物轮廓向量集，以多边形拟合人物轮廓，在RGB图片上绘制轮廓线。
一种结合RGBD数据的GrabCut自动分割算法
技术领域
背景技术
发明内容
3*3，外层大小为5*5；
具体实施方式
3*3，外层大小为5*5。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于AR的主设备检修大数据快速建模系统 | 2020-05-08 | 354 |
| 水泥土搅拌桩数字化施工系统及方法 | 2020-05-11 | 543 |
| 一种智能网联交通系统的固定路径服务系统 | 2020-05-12 | 299 |
| 一种卷包生产智能换牌系统 | 2020-05-15 | 197 |
| 一种收集符合正态分布的车辆样本数据采集系统 | 2020-05-16 | 663 |
| 人工智能CNN、LSTM神经网络步态识别系统 | 2020-05-12 | 283 |
| 一种基于云计算技术的智能网联交通服务系统 | 2020-05-12 | 814 |
| 一种基于智能可视化技术的电厂锅炉操作优化系统及方法 | 2020-05-17 | 887 |
| 一种公司形象提升系统的数据监测分析系统 | 2020-05-14 | 443 |
| 一种移动应用支撑系统中全景监控系统 | 2020-05-16 | 272 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
