技术领域
[0001] 本
发明涉及信息处理技术领域，特别是涉及一种检测发光小球特征信息的方法及装置。
背景技术
[0002] 发光小球检测属于目标检测技术的一种，是一种利用
计算机视觉技术将视频或
图像序列中的小球检测并
定位出来的技术。其中，发光小球可以理解为一种视频或图像序列中的标记物。将发光小球与一些
控制器、
传感器等设备结合在一起，通过对发光小球的3D
位置检测，可以获取小球在场景中的准确位置信息，这样间接获取到设备的位置信息，为
人机交互、3D游戏、MR社交等应用提供技术支持。
[0003] 目前，发光小球的检测方法主要包括：
霍夫变换算法，该算法过于复杂，比较耗时，参数众多，对结果影响较大，具有较大的误检，漏检率；还有基于
颜色的轮廓检测，这种方法在HSV空间基于
色调滤波具有较好的效果，但对
阈值的设定要求很高，这就使得设置最优阈值范围存在较大难度；还有采用基于
帧差法的方法，利用前后两帧前景的变化，寻找发光小球位置，然后在小球轮廓内根据色彩图像信息设置发光小球阈值，以便进行
跟踪检测，但是，该方法要求摄像头必须静止不动，才能区分开前景和背景信息。
[0004] 因此，
现有技术中的发光小球的检测方法在实现程度上都存在较大的困难，并且检测过程中限制条件较多，从而使得运算的复杂性较高及检测结果
精度较差。
发明内容
[0005] 针对于上述问题，本发明提供一种检测发光小球特征信息的方法及装置，实现了降低检测算法运算的复杂性及提升算法精度的目的。
[0006] 为了实现上述目的，本发明提供了如下技术方案：
[0007] 一种检测发光小球特征信息的方法，该方法包括：
[0008] 获取与待检测图像相匹配的彩色图像和
深度图像；
[0009] 对所述彩色图像进行处理，获得与所述彩色图像对应的二值图；
[0010] 依据所述二值图，确定所述发光小球的轮廓区域；
[0011] 根据所述发光小球的轮廓区域确定局部区域，并对所述局部区域进行处理，获得发光小球位置的二值图；
[0012] 对所述发光小球位置的二值图进行边缘
像素提取，并计算得到所述发光小球的圆心和半径；
[0013] 利用所述深度图像和所述发光小球的轮廓区域，计算得到所述发光小球的深度值；
[0014] 输出所述发光小球的特征信息，所述发光小球的特征信息包括所述发光小球的圆心、半径和深度值。
[0015] 可选地，所述对所述彩色图像进行处理，获得与所述彩色图像对应的二值图，包括：
[0016] 对所述彩色图像进行降噪处理，得到降噪后的图像；
[0017] 对降噪后的图像进行分割处理，得到与所述彩色图像对应的二值图。
[0018] 可选地，所述依据所述二值图，确定所发光小球的轮廓区域，包括：
[0019] 对所述二值图进行像素遍历，获取像素值为真的像素集合，并为所述像素集合分配与之对应的索引值；
[0020] 根据所述索引值和当前像素值进行遍历，获得属于索引值的像素数；
[0021] 重复所述遍历过程，使得所有像素的取值范围为索引值的取值，且像素的空间位置标识得到了连通区域；
[0022] 获得像素最多的索引值，将属于该索引值的区域的像素值设置为预设值，并获取所述区域的边缘坐标，得到所述发光小球的轮廓区域。
[0023] 可选地，所述根据所述发光小球的轮廓区域确定局部区域，并对所述局部区域进行处理，获得发光小球位置的二值图，包括：
[0024] 根据发光小球的轮廓区域确定局部区域；
[0025] 对所述局部区域进行二值图尺寸恢复处理，得到第一图像，使得第一图像的尺寸恢复至所述二值图尺寸；
[0026] 获得所述第一图像的像素信息；
[0027] 利用像素相邻关系，对所述像素信息进行处理，得到发光小球位置的二值图。
[0028] 可选地，所述对所述发光小球位置的二值图进行边缘像素提取，并计算得到所述发光小球的圆心和半径，包括：
[0029] 利用预设矩阵，对所述发光小球位置的二值图进行卷积运算，得到边缘像素点；
[0030] 计算所述边缘像素点的像素平均值，并根据所述平均值确定所述发光小球的圆心；
[0031] 计算所述边缘像素点与所述圆心的距离，将所述距离确定为所述发光小球的半径。
[0032] 一种检测发光小球特征信息的装置，该装置包括：
[0033] 图像获取单元，用于获取与待检测图像相匹配的彩色图像和深度图像；
[0034] 第一处理单元，用于对所述彩色图像进行处理，获得与所述彩色图像对应的二值图；
[0035] 区域确定单元，用于依据所述二值图，确定所述发光小球的轮廓区域；
[0036] 第二处理单元，用于根据所述发光小球的轮廓区域确定局部区域，并对所述局部区域进行处理，获得发光小球位置的二值图；
[0037] 第一计算单元，用于对所述发光小球位置的二值图进行边缘像素提取，并计算得到所述发光小球的圆心和半径；
[0038] 第二计算单元，用于利用所述深度图像和所述发光小球的轮廓区域，计算得到所述发光小球的深度值；
[0039] 输出单元，用于输出所述发光小球的特征信息，所述发光小球的特征信息包括所述发光小球的圆心、半径和深度值。
[0040] 可选地，所述第一处理单元包括：
[0041] 降噪子单元，用于对所述彩色图像进行降噪处理，得到降噪后的图像；
[0042] 第一分割子单元，用于对降噪后的图像进行分割处理，得到与所述彩色图像对应的二值图。
[0043] 可选地，所述区域确定单元包括：
[0044] 第一遍历子单元，用于对所述二值图进行像素遍历，获取像素值为真的像素集合，并为所述像素集合分配与之对应的索引值；
[0045] 第二遍历子单元，用于根据所述索引值和当前像素值进行遍历，获得属于索引值的像素数；
[0046] 标识单元，用于重复所述遍历过程，使得所有像素的取值范围为索引值的取值，且像素的空间位置标识得到了连通区域；
[0047] 区域获取子单元，用于获得像素最多的索引值，将属于该索引值的区域的像素值设置为预设值，并获取所述区域的边缘坐标，得到所述发光小球的轮廓区域。
[0048] 可选地，所述第二处理单元包括：
[0049] 第一确
定子单元，用于根据发光小球的轮廓区域确定局部区域；
[0050] 放大处理子单元，用于对所述局部区域进行二值图尺寸恢复处理，得到第一图像，使得第一图像的尺寸恢复至所述二值图尺寸；
[0051] 像素信息获取子单元，用于获得所述第一图像的像素信息；
[0052] 像素处理子单元，用于利用像素相邻关系，对所述像素信息进行处理，得到发光小球位置的二值图。
[0053] 可选地，所述第一计算单元包括：
[0054] 运算子单元，用于利用预设矩阵，对所述发光小球位置的二值图进行卷积运算，得到边缘像素点；
[0055] 第一计算子单元，用于计算所述边缘像素点的像素平均值，并根据所述平均值确定所述发光小球的圆心；
[0056] 第二计算子单元，用于计算所述边缘像素点与所述圆心的距离，将所述距离确定为所述发光小球的半径。
[0057] 相较于现有技术，本发明提供了一种检测发光小球特征信息的方法及装置，该方法包括：获取与待检测图像相匹配的彩色图像和深度图像；获得与彩色图像对应的二值图；依据二值图，确定发光小球的轮廓区域；根据发光小球的轮廓区域确定的局部区域，获得发光小球位置的二值图；对发光小球位置的二值图进行边缘像素提取，并计算得到发光小球的圆心和半径；利用深度图像和发光小球的轮廓区域，计算得到发光小球的深度值；输出发光小球的特征信息，发光小球的特征信息包括发光小球的圆心、半径和深度值。因此，在本发明中实现了基于一套算法可以获得发光小球的多个特征信息，降低检测算法运算的复杂性及提升算法精度。
附图说明
[0058] 为了更清楚地说明本发明
实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0059] 图1为本发明实施例提供的一种检测发光小球特征信息方法的流程示意图；
[0060] 图2为本发明实施例提供的一种检测发光小球特征信息装置的结构示意图。
具体实施方式
[0061] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0062] 本发明的
说明书和
权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何
变形，意图在于
覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
[0063] 在本发明实施例中提供了一种检测发光小球特征信息的方法，其中，发光小球可以理解为待检测图像或者视频中的一种标记物，发光也可以看作一种特征，根据颜色的不同，可以更好的分割小球目标和背景，比如当背景是红色时，可以设置小球为蓝色，当背景是蓝色时，可以设置小球为红色；发光小球可以被一些颜色可以变换的物体代替，但其实质作用是一致的。通过对发光小球的3D位置检测，可以获取发光小球在场景中的准确位置信息，这样间接获取到设备的位置信息。
[0064] 参见图1，在本发明的实施例中该方法可以包括以下步骤：
[0065] S101、获取与待检测图像相匹配的彩色图像和深度图像。
[0066] 通常获取待检测图像中的第i帧彩色图像和深度图像，其中彩色图像为RGB三通道彩色图，深度图像的像素点为深度值。可以通过具有彩色图、深度图采集功能的摄像机获取，例如，具有同时输出彩色数据流和深度图流的双目摄像机。
[0067] S102、对所述彩色图像进行处理，获得与所述彩色图像对应的二值图。
[0068] 对彩色图像可以进行四分之一
采样，并根据RGB阈值范围得到降采样后二值图。其中，在本发明实施例中采用四分之一采样是一个可能的实现方式，在考虑到效果和速度的同时进行的选择，也可以根据不同情况选用不同的降采样尺寸。
[0069] 具体的，步骤S102可以包括以下子步骤：
[0070] 对所述彩色图像进行降噪处理，得到降噪后的图像；
[0071] 对降噪后的图像进行分割处理，得到与所述彩色图像对应的二值图。
[0072] 即对采集到的RGB彩色图进行降采样，来降低算法运算量，并通过统计法设定小球RGB分割阈值，大致分割包含小球及一些噪点的二值图。
[0073] S103、依据所述二值图，确定所述发光小球的轮廓区域。
[0074] 在获得了二值图后，可以利用区域生长发标识出连通区域找到最大的轮廓作为小球轮廓区域。
[0075] 具体的，步骤S103可以通过以下步骤实现：
[0076] 对所述二值图进行像素遍历，获取像素值为真的像素集合，并为所述像素集合分配与之对应的索引值；
[0077] 根据所述索引值和当前像素值进行遍历，获得属于索引值的像素数；
[0078] 重复所述遍历过程，使得所有像素的取值范围为索引值的取值，且像素的空间位置标识得到了连通区域；
[0079] 获得像素最多的索引值，将属于该索引值的区域的像素值设置为预设值，并获取所述区域的边缘坐标，得到所述发光小球的轮廓区域。
[0080] 举例说明，当得到的二值图，若当前像素为True(真实的)，则为其顺序分配一个索引值(得到
种子点)，对于当前像素，再次遍历整张二值图，遍历过程中，若某一像素的值为True，且该像素的八邻域范围内出现了值为当前索引值的像素，则将该像素的值也设为索引值。最后记录属于该索引值的像素数。该过程可以理解为根据当前种子点进行区域生长。
[0081] 经过所有遍历后，所有像素的取值范围为索引值的取值，且像素的空间位置标识出了连通区域。即得到区域生长结果。
[0082] 找出像素数最多的索引值，将属于该索引值的区域的像素值置为某一固定值K，将其余部分置0，并记录该区域x/y方向最小/最大坐标作为最终输出结果，实现了对区域生长结果进行筛选和处理。
[0083] S104、根据所述发光小球的轮廓区域确定局部区域，并对所述局部区域进行处理，获得发光小球位置的二值图。
[0084] 当获得发光小球的轮廓区域，确定发光小球的局部区域，该局部区域可以表征小球大致位置区域。将该局部区域升采样，并进行二值图尺寸恢复处理，使得恢复原二值图尺寸，这里的原二值图是指彩色图像对应的二值图。利用像素相邻关系得到发光小球位置二值图。
[0085] 对应该步骤，本发明实施例还提供了一种获得发光小球位置的二值图的方法，该方法可以包括以下步骤：
[0086] 根据发光小球的轮廓区域确定局部区域；
[0087] 对所述局部区域进行二值图尺寸恢复处理，得到第一图像，使得第一图像的尺寸恢复至所述二值图尺寸；
[0088] 获得所述第一图像的像素信息；
[0089] 利用像素相邻关系，对所述像素信息进行处理，得到发光小球位置的二值图。
[0090] 具体的，对当前局部区域的彩色图进行阈值分割，小球区域为255(此处为一个具体实施例中的值，设为非0即可)，非小球区域为0的二值图像。
[0091] 对二值图每一行进行遍历，同一行连续非零值像素个数少于N个，认为噪点，此行全部填充0。连续的一段设定一个分割索引值区域段S，每一行有若干的分割索引值区域段Sk。
[0092] 计算第i行的每一个分割索引区域段的中间值(m列)，若此值出现在第i+1行中某一分割索引区域段内，则不做任何处理，否则此分割索引区域段置为0。
[0093] 第i行存在非零值，而第i+1行没有，则把先前的一行都设为0值。
[0094] 循环遍历所有行。
[0095] S105、对所述发光小球位置的二值图进行边缘像素提取，并计算得到所述发光小球的圆心和半径。
[0096] 可以通过边缘提取算法实现该过程，也可以利用Sobel算子提取边缘像素，即利用预设矩阵，对所述发光小球位置的二值图进行卷积运算，得到边缘像素点；计算所述边缘像素点的像素平均值，并根据所述平均值确定所述发光小球的圆心；计算所述边缘像素点与所述圆心的距离，将所述距离确定为所述发光小球的半径。其中，Sobel算子是像素图像
边缘检测中最重要的算子之一，在
机器学习、数字媒体、计算机视觉等信息科技领域起着举足轻重的作用。在技术上，它是一个离散的一阶差分算子，用来计算图像
亮度函数的一阶梯度之近似值。在图像的任何一点使用此算子，将会产生该点对应的梯度矢量或是其法矢量。
[0097] 具体的，Sobel算子用于边缘检测，包含两组3*3矩阵，分别表示横向和纵向，与二值图进行卷积运算求得边缘像素值。其公式为：
[0098] Gx＝[-101；-202；-101]*B；
[0099] Gy＝[121；000；-1-2-1]*B
[0100] 其中B为二值图像，两个矩阵为sobel算子。
[0101] 由求得的边缘像素点坐标求均值，可以求得光球圆心，然后根据边缘点和圆心点的距离计算圆心半径。
[0102] S106、利用所述深度图像和所述发光小球的轮廓区域，计算得到所述发光小球的深度值。
[0103] 根据小球轮廓区域和深度图像可以统计小球距离摄像头的距离，即深度值。
[0104] S107、输出所述发光小球的特征信息。
[0105] 所述发光小球的特征信息包括所述发光小球的圆心、半径和深度值。
[0106] 在本
申请实施例中发光小球的特征信息包括了发光小球3D位置和半径，具体包括发光小球圆心、半径和深度值。
[0107] 本发明提供了一种检测发光小球特征信息的方法，该方法包括：获取与待检测图像相匹配的彩色图像和深度图像；获得与彩色图像对应的二值图；依据二值图，确定发光小球的轮廓区域；根据发光小球的轮廓区域确定的局部区域，获得发光小球位置的二值图；对发光小球位置的二值图进行边缘像素提取，并计算得到发光小球的圆心和半径；利用深度图像和发光小球的轮廓区域，计算得到发光小球的深度值；输出发光小球的特征信息，发光小球的特征信息包括发光小球的圆心、半径和深度值。因此，在本发明中实现了基于一套算法可以获得发光小球的多个特征信息，降低检测算法运算的复杂性及提升算法精度。
[0108] 具体的，与边缘检测和霍夫变换的方法相比，算法简单，耗时低，而且霍夫变换参数多，那每个参数对结果影响很大，会导致较大的误检漏检。相比基于颜色的轮廓检测，精度效果更佳，因为后者过度依赖于阈值的设定，而本发明使用相邻像素关系进行筛选，去噪效果显著，精度更高。相比与基于帧差法的方法，此发明最大的优势就是摄像头可以摆动，而帧差法在分割前景时，摄像头是不可以晃动的，这样才能区分好前景和背景。
[0109] 对应的，在本发明实施例中还提供了一种检测发光小球特征信息的装置，参见图2，该装置包括：
[0110] 图像获取单元10，用于获取与待检测图像相匹配的彩色图像和深度图像；
[0111] 第一处理单元20，用于对所述彩色图像进行处理，获得与所述彩色图像对应的二值图；
[0112] 区域确定单元30，用于依据所述二值图，确定所述发光小球的轮廓区域；
[0113] 第二处理单元40，用于根据所述发光小球的轮廓区域确定局部区域，并对所述局部区域进行处理，获得发光小球位置的二值图；
[0114] 第一计算单元50，用于对所述发光小球位置的二值图进行边缘像素提取，并计算得到所述发光小球的圆心和半径；
[0115] 第二计算单元60，用于利用所述深度图像和所述发光小球的轮廓区域，计算得到所述发光小球的深度值；
[0116] 输出单元70，用于输出所述发光小球的特征信息，所述发光小球的特征信息包括所述发光小球的圆心、半径和深度值。
[0117] 在上述实施例的
基础上，所述第一处理单元包括：
[0118] 降噪子单元，用于对所述彩色图像进行降噪处理，得到降噪后的图像；
[0119] 第一分割子单元，用于对降噪后的图像进行分割处理，得到与所述彩色图像对应的二值图。
[0120] 在上述实施例的基础上，所述区域确定单元包括：
[0121] 第一遍历子单元，用于对所述二值图进行像素遍历，获取像素值为真的像素集合，并为所述像素集合分配与之对应的索引值；
[0122] 第二遍历子单元，用于根据所述索引值和当前像素值进行遍历，获得属于索引值的像素数；
[0123] 标识单元，用于重复所述遍历过程，使得所有像素的取值范围为索引值的取值，且像素的空间位置标识得到了连通区域；
[0124] 区域获取子单元，用于获得像素最多的索引值，将属于该索引值的区域的像素值设置为预设值，并获取所述区域的边缘坐标，得到所述发光小球的轮廓区域。
[0125] 在上述实施例的基础上，所述第二处理单元包括：
[0126] 第一确定子单元，用于根据发光小球的轮廓区域确定局部区域；
[0127] 放大处理子单元，用于对所述局部区域进行二值图尺寸恢复处理，得到第一图像，使得第一图像的尺寸恢复至所述二值图尺寸；
[0128] 像素信息获取子单元，用于获得所述第一图像的像素信息；
[0129] 像素处理子单元，用于利用像素相邻关系，对所述像素信息进行处理，得到发光小球位置的二值图。
[0130] 在上述实施例的基础上，所述第一计算单元包括：
[0131] 运算子单元，用于利用预设矩阵，对所述发光小球位置的二值图进行卷积运算，得到边缘像素点；
[0132] 第一计算子单元，用于计算所述边缘像素点的像素平均值，并根据所述平均值确定所述发光小球的圆心；
[0133] 第二计算子单元，用于计算所述边缘像素点与所述圆心的距离，将所述距离确定为所述发光小球的半径。
[0134] 本发明提供了一种检测发光小球特征信息的装置，包括：图像获取单元获取与待检测图像相匹配的彩色图像和深度图像；第一处理单元用于获得与彩色图像对应的二值图；区域确定单元依据二值图，确定发光小球的轮廓区域；第二处理单元根据发光小球的轮廓区域确定的局部区域，获得发光小球位置的二值图；第一计算单元对发光小球位置的二值图进行边缘像素提取，并计算得到发光小球的圆心和半径；第二计算单元利用深度图像和发光小球的轮廓区域，计算得到发光小球的深度值；输出单元输出发光小球的特征信息，发光小球的特征信息包括发光小球的圆心、半径和深度值。因此，在本发明中实现了基于一套算法可以获得发光小球的多个特征信息，降低检测算法运算的复杂性及提升算法精度。
[0135] 本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0136] 对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种
修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
