技术领域
[0001] 本
发明涉及图像浅浮雕物体识别处理方法，尤其是基于RGB单目图像的浅浮雕物体识别处理方法，能较好地重构出图像所反映物体表面的三维几何形状，属于
计算机图形学和
虚拟现实力触觉再现技术领域。
背景技术
[0002] 人类社会存在以来，雕刻艺术在人类的生活中无处不在。浮雕将平面的图画创建成三维立体造型的表现形式，在满足空间艺术的
基础上也满足人们的视觉感受。浮雕的存在给明眼人带来视觉感受的同时，也给视障人士获取图像信息带来渠道。对视障人士而言，虽然目前已经有盲文点显装置和语音阅读来帮助其获取文字信息，但对于图像信息的获取仍然存在一定的难度。浮雕的存在让他们可以通过触觉来获取的图像信息，从而扩展了他们的信息获取渠道。
[0003] 最早通过3D模型映射进行浅浮雕制作的是Cignoni，他通过透视投影和深度压缩的方法进行浮雕模型的生成，为后续研究3D模型映射的研究奠定了基础。在后期的研究中，Weyrich等人通过非线性压缩函数进行梯度域的压缩，该方法很好的保留了图像的细节部分，并且在轮廓处较为缓和。Zhang等人将输入的3D模型直接进行压缩，得到高度值合适的动态范围。但是基于HDR的方法会略了模型中的细节部分，得到的浅浮雕模型在小区域细节丢失。Zhang Y W等人针对照明对浅浮雕外观的影响，提出了一种自适应地生成关于光照条件的浮雕。Wei等人使用两步网格平滑机制作为
桥梁，对平滑基础层和细节层进行适当的操作，能够在进行压缩时保留更多细节。通过
深度相机和多幅数字图像进行浅浮雕建模需要外部设备的支持，且拍摄要求较高。
[0004] 相比较而言，基于单幅图像的浅浮雕建模具有选择广泛、使用时间短、制作效率高的优势，具有很好的应用前景。
发明内容
[0005] 为了解决背景技术中存在的问题，本发明提出了一种基于RGB单目图像的浅浮雕物体识别处理方法。本发明基于RGB单目图像实现浅浮雕建模解决了以下技术问题：1)图像的区域划分，2)高度值恢复，3)表面三维重构等关键技术。
[0006] 本发明采用的技术方案包括以下几个步骤：
[0007] 1)读取RGB单目图像信息，包括图像中
像素点总数、每个像素点的
色度信息、
亮度信息和
位置信息；
[0008] 2)采用边缘细节增强的处理方法提取图像的轮廓边缘，得到图像中对象的轮廓边缘信息；
[0009] 3)在轮廓边缘的基础上，采用改进的连通域标定
算法对RGB单目图像进行分割，得到若干个图像区域；
[0010] 4)通过像素点明暗度深度恢复算法，求解每个图像区域中每个像素的高度值，得到每个图像区域的三维点
云数据，再通过三
角面片重构算法，构建出浅浮雕模型。
[0011] 所述步骤2)在对RGB单目图像进行去噪预处理后，采用边缘细节增强的全自动提取图像轮廓边缘方法，联合像素点的亮度和色度信息获取图像的梯度值，采用基于边缘切向流的高斯差分求得图像的轮廓边缘，并采用中值滤波对提取的轮廓边缘进行平滑细化处理，增强轮廓边缘的细节结构。
[0012] 所述的全自动提取图像轮廓边缘方法具体步骤如下：
[0013] 2.1)从RGB色彩空间转换到YUV色彩空间，在YUV色彩空间下求解像素点的亮度值作为RGB单目图像中的亮度信息，再通过Sobel算子获取亮度信息的梯度图像，计算获得图像的亮度梯度幅度；同时从RGB色彩空间转换到CIE-L*a*b*色度空间，从CIE-L*a*b*色度空间获取色度信息及其梯度值，处理获得色度梯度幅度；将亮度梯度幅度和色度梯度幅度分别进行归一化处理和融合，获得融合梯度；
[0014] 2.2)利用融合梯度和边缘切向流获取轮廓边缘
[0015] 上述的处理方法能能够获取高
质量的轮廓图像，在图像的处理过程中保留图像的细节信息，保留了显著的边缘方向。在具有相似方向的边缘进行平滑处理，防止了相对较弱的矢量被不相关的强矢量影响。
[0017]
[0018] 其中，ti+1(x)表示第i+1次
迭代计算下像素点x处的归一化切向量，Ω(x)表示像素点x的邻域，半径为r；k是归一化因子；ti(y)表示第i次迭代计算下像素点y处的归一化切向量；Φ(x,y)表示归一化切线向量ti(y)方向的符号函数，该值和ti(x)与ti(y)的夹角大小有关；ws(x,y)为空间加权函数；wm(x,y)为幅度加权函数；wd(x,y)为方向加权函数；像素点y和像素点x为不同的像素点；
[0019] 空间加权函数ws(x,y)表达公式为：
[0020]
[0021] 其中，r表示滤波框半径，大小和Ω(x)半径一致；||x-y||表示像素点x和y之间的距离；
[0022] 幅度加权函数wm(x,y)表达公式为：
[0023]
[0024] 其中，e(x)表示像素点x处归一化后梯度值；η控制下降率，取值为1；e(y)表示像素点y处归一化后梯度值；h表示像素点x和像素点y之间的距离；
[0025] 方向加权函数wd(x,y)表达公式为：
[0026] wd(x,y)＝|ti(x)·ti(y)| 2-(29)
[0027] 其中，ti(x)表示像素点x处的归一化切向量，ti(y)表示像素点y处的归一化切向量；归一化切线向量ti(y)方向的符号函数Φ(x,y)计算为，Φ(x,y)∈{1，-1}来表示ti(y)的方向：
[0028]
[0029] 获取融合梯度逆
时针方向的垂直矢量作为边缘切向流的初始矢量，像素点x处的归一化切向量，然后通过对公式ti(x)→ti+1(x)的迭代，获得了平滑的所有像素点的归一化切向量；
[0030] 在迭代过程中，梯度g(x)保持不变。一般情况下，迭代次数取值为2-3次。
[0031] 基于边缘切向流滤波器在梯度方向上进行图像轮廓线的提取，在提取过程中使用线性DOG滤波器，通过收集每个像素的滤波响应，可推断出此轮廓边缘提取的有效性。这样处理不仅放大了真正的边缘的滤波器输出，在此同时，削弱了伪边缘的输出，最终的结果是同时满足增强了边缘的相干性和抑制噪声。
[0032] 2.3)采用中值滤波的FDOG滤波器对提取的轮廓边缘进行平滑细化处理，FDOG滤波器表示为：
[0033]
[0034]
[0035] 其中，ls(x)表示像素点x处的线ls上的点；Cx(s)表示像素点x处的积分曲线，ls表示垂直于积分曲线Cx(s)的切线且与积分曲线Cx(s)相交的线段，即法线段，用来表示曲线的宽度，积分曲线Cx(s)的曲线长度s的取值范围为[-S,S]，假设像素点x为曲线中心，此时曲线长度s＝0，即Cx(0)＝X。I(ls(x))为输入图像I在点ls(x)处的值，f(x)表示高斯差分函数，T表示像素点x的积分曲线取值范围； 表示方差σc的中心间隔1维高斯函数，σc表示中心间隔方差； 表示方差σs的周围间隔1维高斯函数，σs表示周围间隔方差；σs＝1.6σc，参数σc、σs分别控制中心间隔和周围间隔，ρ表示控制噪声的级别，一般取值在[0.79，1]区间。
[0036] 所述步骤3)，图像轮廓边缘的区域划分具体步骤如下：
[0037] 3.1)进行区域划分：将步骤2)提取到的轮廓边缘作为
前景像素点，其余部分作为
背景像素点，背景像素点为白色，前景像素点为黑色，取值白色像素点为0，黑色像素点为1；
[0038] 3.2)首先
自上而下遍历图像的每行像素点，每行遍历中再自左向右遍历各个像素点；
[0039] 3.3)当第一次扫描到前景像素点P时，作为初始像素点，则该前景像素点赋予第二标记号，并按照连通方式从该像素点不断向外扩展遍历邻域的像素点，将按照连通方式扩展遍历获得前景像素点构成该像素点所对应的轮廓且赋予第二标记号，将按照连通方式扩展遍历获得背景像素点赋予第一标记号，最后回到初始像素点；
[0040] 3.4)继续按照步骤2)方式进行遍历，直到遍历到一个未赋予标记号的前景像素点，作为初始像素点，则继续按照连通方式从该像素点不断向外扩展遍历邻域的像素点，将按照连通方式扩展遍历获得前景像素点构成该像素点所对应的轮廓且赋予第四标记号，将按照连通方式扩展遍历获得背景像素点赋予第三标记号，最后回到初始像素点；
[0041] 3.5)以相同的重复上述步骤，将获得的具有相同标记号的前景像素点作为图像区域。
[0042] 所述步骤4)，具体为：
[0043] 4.1)采用以下公式的雅克比迭代求解每个图像区域中每个像素的高度值：
[0044]
[0045]
[0046] 其中，z(x)表示像素点x的高度值，f[]表示辐照方程；zn-1(x)表示z(x)的第n-1次0
方迭代结果；初始值z(x)＝0，通过迭代得到图像中每个像素点的高度值；
[0047] 4.2)通过图像中图像区域之间的凹凸关系，
人机交互调整各个图像区域之间的凹凸，得到符合浅浮雕特点的三维点云数据；
[0048] 4.3)采用三角剖分算法进行三维点云数据的三角面片重构，先构建一个能够包含所有点的大三角形，并将其放入三角形链表中；接着插入一个三维点，寻找包含三维点的扩展边外接圆，删除公共边，将该三维点与三角形的
顶点依次连接，完成一个三维点的操作，并放入三角形链表；遍历所有的三维点，构造出每个图像区域的表面，得到浅浮雕模型。
[0049] 本发明方法的优点及显著效果，和以往的方法相比具有以下特点：
[0050] 1、本发明方法改进了传统轮廓
跟踪法，使得在进行区域划分时具有更好的性能和
稳定性，能得到流畅、平滑、清晰且保留显著边缘特征的图像轮廓。
[0051] 2、本发明方法将像素点明暗度深度恢复算法和区域划分相结合，得到准确的区域间凹凸关系，使最终得到含有高度值信息的点云数据更加符合实际情况。
[0052] 3、本发明方法采用三角剖分算法对含有高度值信息的点云数据进行三维重构，使用OpenGL对最终的浅浮雕模型通过网格形式进行显示，能较好地生成出图像的浅浮雕效果。
附图说明
[0054] 图2是基于轮廓边缘提取的区域划分流程图。
[0055] 图3是基于图像区域的图像高度值恢复流程图。
[0057] 图5是实施例图像轮廓提取的效果图。
[0058] 图6是实施例图像轮廓提取的效果对比图。
[0059] 图7是实施例图像区域划分的举例示意图。
[0060] 图8是实施例图像区域划分的效果图。
[0061] 图9是实施例浮雕建模的效果图。
具体实施方式
[0062] 下面结合附图和实施例对本发明作进一步详细描述。
[0063] 如图1所示，读取RGB单目图像信息，包括图像中像素点总数、每个像素点的色度信息、亮度信息和位置信息；采用边缘细节增强算法提取图像的轮廓边缘，得到图像中对象的轮廓边缘信息；采用改进的连通域标定算法对RGB单目图像进行区域划分，得到若干个图像区域；通过像素点明暗度深度恢复算法，求解每个图像区域中每个像素的高度值，实现像素点的深度恢复，并结合人机交互，得到每个图像区域的三维点云数据，再通过三角面片重构算法，构建出浅浮雕模型，呈现在显示器中或3D打印出浅浮雕实物。
[0064] 本发明的实施例如下：
[0065] 1)读取RGB单目图像信息，包括图像中像素点总数、每个像素点的色度信息、亮度信息和位置信息；
[0066] 以图6为例，详细说明本发明方法是如何实现RGB单目图像的轮廓边缘提取。读入原始图6(a)，获取图像的像素信息，对图像进行平滑化处理，消除噪点对图像的影响。
[0067] 首先在YUV色彩空间下通过Sobel算子获取基于亮度信息的梯度值采用CIE-L*a*b*色度空间获取色度信息的梯度值
将亮度梯度和色度梯度分别进行归一化处理△Y＝(△Y-min)(max-min)，△C＝(△C-min)(max-min)，得到亮度梯度和色度梯度两者的融合梯度 生成出图6
(a)的初始梯度图。
[0068] 2)如图2所示，采用边缘细节增强的处理方法提取图像的轮廓边缘，得到图像中对象的轮廓边缘信息；
[0069] 通过双边滤波进行轮廓边缘的平滑细化处理，在迭代过程中，梯度g(x)保持不变，一般情况下，迭代次数取值为2-3次，得到图6(b)所示的轮廓边缘提取效果图。
[0070] 实施例中，选取四组含有明显边缘特征明显的文字图像来进行轮廓提取实验，并且通过不同提取方法对数字图像进行轮廓提取。如图4所示，其中在选择的图像中前两个字的清晰度较高，后两个字的清晰度相对较低。图4展示了不同提取方法对文字的提取结果。
[0071] 图5中对比可以看到本发明和几种不同算法之间的差异。通过图5可以看出，Canny算法在文字图像中进行轮廓提取时，可以看到轮廓的边缘出现断裂的情况，且轮廓图像有些许失真，噪声和干扰相对较少。LOG算法提取的文字轮廓更加具有完整性，文字的轮廓都能够提取出来。但是轮廓四周存在干扰，含有较多噪声，使得提取的轮廓不能够通过线条来展示文字的特点。在对比清晰度相差较大的两组图片后，可以看出当图片清晰度不高时，提取的文字轮廓存在的干扰更为严重，噪声更多。DOG算法和LOG算法类似，在轮廓四周存在较多的干扰。FDOG算法和本发明方法都能够提取出较为完整的文字轮廓，且相对干扰较小。
[0072] 从结果来看，通过本发明的方法提取的文字轮廓在保证文字完整性的同时，去除了不必要存在的一些噪声信息使得图像更加清晰，由此验证了对数字图像进行轮廓检测的有效性和准确性。
[0073] 3)轮廓边缘获得后，可以进行轮廓边缘细化处理。
[0074] 以背景为白色，待细化的轮廓为黑色，设待判断的像素点为P1，其八邻接的像素点分别为P2,P3,P4,P5,P6,P7,P8,P9。遍历所有目标像素点，将满足下列要求的像素点进行删除，其具体要求为：
[0075] 情况A：2<＝N<＝6，N＝p2+p3+p4+p5+p6+p7+p8+p9，当N为0或1，此时p1点为端点，当N等于7或8时，p1点为内部点，在这种情况下均不可以进行删除。
[0076] 情况B：从p2到p9的遍历过程中，满足01模式的数量为1；
[0077] 情况C：P2*p4*p6＝0；
[0078] 情况D：p4*p6*P8＝0。在第一次的遍历中，只判断前景像素中的东南面，在情况C、D中，p4、p6出现两次，只要p4或p6为0，就满足条件。
[0079] 将同时满足A、B、C、D四个条件的前景像素点删除，完成第一次图像的遍历。再次遍历所有前景像素点，判断西北的像素点，将符合要求的像素点删除。其中A、B的条件保持不变，条件C、D变为：C.P2*p4*p8＝0,D.P2*p6*P8＝0。此时p2和p8出现两次，只要p2或p8为0，就满足条件。多次迭代得到最终的轮廓细化结果。
[0080] 4)在轮廓边缘的基础上，采用改进的连通域标定算法对RGB单目图像进行分割，得到若干个图像区域；
[0081] 以图8为例，详细说明本发明方法是如何实现基于轮廓边缘提取的区域划分。如图8(a)所示的原始图像，采用
轮廓标记的算法进行区域划分，背景为白色，轮廓为黑色，取值白色像素点为0，黑色像素点为1。如图7所示：
[0082] 4.1)进行区域划分：将步骤2)提取到的轮廓边缘作为前景像素点，其余部分作为背景像素点，背景像素点为白色，前景像素点为黑色，取值白色像素点为0，黑色像素点为1；
[0083] 4.2)首先自上而下遍历图像的每行像素点，每行遍历中再自左向右遍历各个像素点；
[0084] 4.3)当第一次扫描到前景像素点P时，作为初始像素点，则该前景像素点赋予第二标记号，并按照连通方式从该像素点不断向外扩展遍历邻域的像素点，将按照连通方式扩展遍历获得前景像素点构成该像素点所对应的轮廓且赋予第二标记号，将按照连通方式扩展遍历获得背景像素点赋予第一标记号，最后回到初始像素点；
[0085] 4.4)继续按照步骤2)方式进行遍历，直到遍历到一个未赋予标记号的前景像素点，作为初始像素点，则继续按照连通方式从该像素点不断向外扩展遍历邻域的像素点，将按照连通方式扩展遍历获得前景像素点构成该像素点所对应的轮廓且赋予第四标记号，将按照连通方式扩展遍历获得背景像素点赋予第三标记号，最后回到初始像素点；
[0086] 4.5)以相同的重复上述步骤，将获得的具有相同标记号的前景像素点作为图像区域。
[0087] 图8(b)为图像区域划分和轮廓边缘细化的结果图。
[0088] 5)如图3所示，通过像素点明暗度深度恢复算法，求解每个图像区域中每个像素的高度值，并结合人机交互，得到每个图像区域的三维点云数据，再通过三角面片重构算法，构建出浅浮雕模型。
[0089] 以图9为例，详细说明本发明方法是如何实现基于基于RGB单目图像的浅浮雕生成过程。
[0090] 5.1)采用以下公式的雅克比迭代求解每个图像区域中每个像素的高度值：
[0091] 5.2)通过图像中图像区域之间的凹凸关系，人机交互调整各个图像区域之间的凹凸，得到符合浅浮雕特点的三维点云数据；
[0092] 5.3)采用三角剖分算法进行三维点云数据的三角面片重构，先构建一个能够包含所有点的大三角形，并将其放入三角形链表中；接着插入一个三维点，寻找包含三维点的扩展边外接圆，删除公共边，将该三维点与三角形的顶点依次连接，完成一个三维点的操作，并放入三角形链表；遍历所有的三维点，构造出每个图像区域的表面，得到浅浮雕模型。
[0093] 利用Talor公式展开，经过迭代计算得到高度值。在此基础上，通过人机交互获取6(a)中百合花实际情况下的相对凹凸关系和各区域内部的凹凸关系，得到满足实际情况的图像高度值信息。
[0094] 将图9(a)中百合花的点云数据，采用三角剖分算法进行三维点云数据的三角面片重构，先构建一个能够包含所有点的大三角形，并将其放入三角形链表中，接着插入一个三维点，寻找包含三维点的扩展边外接圆，删除公共边，将该三维点与三角形的顶点依次连接，完成一个三维点的操作，并放入三角形链表，遍历所有的三维点，构造出每个图像区域的表面，得到浅浮雕模型，如图9(b)所示。
[0095] 由此可见，本发明能通过一张普通RGB图像可较好地构建识别出浅浮雕模型，计算资源消耗低，计算量小，效率高，具有一定的应用价值，还可以给不同的图像区域赋予不同的物理属性，为图像的触觉
感知奠定基础。
