基于多Kinect协同的深度阈值分割算法识别轮廓交互方
法
技术领域
[0001] 本
发明属于
计算机视觉、
体感交互领域的技术，具体涉及一种基于多台Kinect
传感器通过轮廓互动反映
人机交互的方法。
背景技术
[0002] 体感交互技术是指通过用户的肢体隔空操控计算机，代替以往传统的
鼠标和
键盘等输入控制设备，使得人机交互的空间更加广阔，操控更加自由，方式也更加灵活。体感交互作为一个新兴的领域，已经逐渐步入了人类的
视野，并且日趋火爆，在游戏、医疗、零售、以及商业产品推广等领域都有着十分广泛的应用前景。
[0003] 由于体感传感器
硬件条件的限制，目前已有的体感交互产品大都只单独依靠一台体感传感设备进行信息采集，虽然可以在家庭或特定有限面积的场景中得到有效应用，但是应用空间十分有限，尤其是在面对大场景时，往往无法达到预期效果。因此，通过研究同时利用多台体感传感设备有效扩展应用空间，对今后体感交互产品的发展有着十分重要的意义。
[0004] 与此同时，通过多台体感传感设备采集信息时，就需要将通过不同传感设备采集到的信息进行标定和融合，传统的标定方式仅能处理同一景深的图像，面对体感传感器采集到的带有深度内容的体感信息，研究一种根据深度进行自适应调整的标定方式有着十分重要的意义。
[0005] 除此之外，一种生动新颖的表现形式对体感交互应用也有着十分重要的意义。在日常生活中，
流体在相互融合或分离时由于表面张
力的影响，其轮廓会呈现出一种奇妙的融合过程，在图形学领域，人们一直试图利用计算机去模拟这种真实的现象，但是对于这种复杂的流体效果，必须借助精确的物理方程和繁琐的计算才能呈现出其运动规律和视觉效果，然而，由于其计算的过程的复杂性，也就导致其应用中规模的局限性。为了能在大规模应用中，给用户带来要流畅的体验，因此，研究一种高效的边缘融合绘制方法，在体感交互技术领域有重要意义。
[0006] 目前，在图形学领域对于流体边缘融合的模拟已经十分成熟，但其主要工作都围绕着真实感和实时性的提升。
[0007] Blinn等人提出了一种通用的流体轮廓融合模型，使用图形学方式绘制流体表面轮廓的融合现象，但只绘制表面的变化过程。Y.Kanamori等人提出了一种基于GPU
加速的大规模流体融合模拟，这种方式采用基于观察者目光射线的方式有选择的绘制大规模流体轮廓融合的方法，并采用GPU加速。
[0008] 由上述的方法可以看出，流体轮廓融合的模拟都集中在真实感和实时性的提升上，并未把流
体模拟应用到体感交互领域。
[0009] 随着人机交互领域的蓬勃发展，体感应用作为一种全新的人机交互方式迫切需要更加丰富和生动的表现形式，将流体轮廓融合作为一种人机交互的反馈形式，可以极大丰富用户的视觉体验，因此，将基于轮廓交互的图形边缘融合效果应用到体感交互领域具有重要意义。
发明内容
[0010] (一)要解决的技术问题
[0011] 本发明所要解决的技术问题是提供一套完整的体感交互应用技术，通过互动式边缘融合效果来反映体感交互的过程，并扩展使用空间的面积，将体感交互方式与流体轮廓互动效果紧密结合起来，以提供一种新颖生动的人机交互的表现形式。
[0012] (二)技术方案
[0013] 为完成以上目标，本发明提出了基于多Kinect协同的深度阈值分割算法识别轮廓交互技术，包括以下步骤：(1)多Kinect协同，在一台控制主机上同时驱动多台Kinect深度传感器，并将采集到的信息进行校正；(2)基于深度阈值分割的用户识别与
定位，采集场景的深度信息对深度信息进行处理和筛选，计算用户的
位置；(3)通过边缘融合展现轮廓互动，以模拟流体边缘融合或分离的方式展现不同间发生的互动，采用一种基于空间分布特征的图形绘制方法，绘制出带有流体边缘互动效果的图形。本发明的技术方案如下：
[0014] 一种基于多Kinect协同的深度阈值分割算法识别轮廓交互技术，包括以下步骤：
[0015] 多Kinect协同，为满足大场景的需要，在一台控制主机上同时驱动多台Kinect深度传感器，并将采集到的信息进行校正并融合；
[0016] 基于深度阈值分割的用户识别与定位，采集场景的深度信息对深度信息进行处理和筛选，计算用户的位置；
[0017] 通过边缘融合展现轮廓互动，以模拟流体边缘融合或分离的方式展现不同个体间发生的互动，采用一种基于空间分布特征的图形绘制方法，绘制出带有流体边缘融合效果的图形，并进行显示。
[0018] 进一步的，根据应用场景的实际大小，在一台控制主机上同时驱动多台Kinect深度传感器；
[0019] 根据彩色信息进行标定，并计算不同Kinect之间的变换矩阵；
[0020] 对深度信息进行校正与融合，根据变换矩阵，对采集到的深度信息进行校正，克服由于来自不同Kinect而导致的畸变。
[0021] 进一步的，同时驱动多台Kinect的步骤为：通过实际应用场景确认部署Kinect数量，在同一台主机
控制器上同时驱动多台Kinect设备，为了方便后续计算，在Kinect摆放时，尽量使每台Kinect都保持
水平，且不同Kinect位于同一水平线上。
[0022] 进一步的，所述多Kinect标定的步骤如下：
[0023] 单独开启Kinect的RGBA
视频流，获取场景的彩色信息；
[0024] 使用棋盘格进行标定，检测彩色图像中的棋盘格的位置，为了方便后续计算，在摆放棋盘格时，应使棋盘格尽量保持水平；
[0025] 根据棋盘格在来自不同Kinect彩色图中的位置关系，计算不同Kinect之间的变换矩阵 其中，mij表示通过图像点坐标与空间点坐标线性求解得到的单应矩阵各个元素的数值。由于Kinect和棋盘格摆放水平， 计算所得的变化矩阵M中m12、m21、m31、m32近似为0，m11、m22、m33近似为1，因此，变换矩阵可以写作其中，cx与cy表示简化后单应矩阵的元素值。
[0026] 进一步的，所述深度信息校正与融合的步骤包括：
[0027] 对来自不同Kinect的深度信息进行校正和融合；通过计算所得的不同Kinect彩色图之间的变换矩阵 计算不同
深度图之间的变换关系q＝MQ，其中表示简化后的变换矩阵， 表示变换前的图像坐标，X表示横坐标
参数，Y表示纵坐标参数，Z表示到摄像机的距离， 表示变换后的图像坐标，x表示横坐标参数，y表示纵坐标参数，w表示齐次
坐标系参数，且w＝Z，根据深度变换方程，水平偏移量 竖直偏移量 求解不同深度下，水平和竖直方向的位移变
换，其中k为深度映射常数，Vdepth为深度值，cx与cy表示简化后单应矩阵的元素值，将位移变换后的深度图进行融合，可以获得完整的场景深度信息。
[0028] 进一步的，基于深度阈值分割的用户识别与定位的步骤包括：
[0029] 将融合后的场景深度图转换为单通道灰度图形式；
[0030] 对转换后的深度图进行阈值分割；
[0031] 对阈值分割后的图像进行筛选，进行用户识别和定位。
[0032] 进一步的，将融合后的场景深度图转换为单通道灰度图形式，步骤包括：
[0033] 利用融合操作后的完整场景深度信息，结合深度值与灰度值的映射方程G(x,y)＝C(1-Vdepth(x,y)/Dmax)，求解场景中相应位置深度信息对应的灰度 值，其中，C为
颜色空间分布常数，Vdepth(x,y)为相应位置的深度值，Dmax为最大深度。可以获得完整场景的灰度图。
[0034] 进一步的，对转换后的深度图进行阈值分割，步骤为，根据实际需求调整阈值大小，并对深度信息映射的灰度图进行阈值分割。利用过滤阈值DThreshold对采集到的场景进行二值化。
[0035] 进一步的，其特征在于对阈值分割后的图像进行筛选，确定用户的位置，步骤包括：
[0036] 去除噪声的影响；
[0037] 提取轮廓信息，并对轮廓进行筛选；
[0038] 计算用户位置。
[0039] 进一步的，去除噪声的影响，步骤为：设计膨胀核与
腐蚀核，对阈值分割后的图像进行形态学操作，进行若干次腐蚀和膨胀操作，去除噪声影响。
[0040] 进一步的，提取轮廓信息，并对轮廓进行筛选步骤为：
[0041] 提取二值图像中的最外层轮廓，求解过滤后的二值化图像的所有轮廓，并根据面积阈值Tarea对轮廓进行筛选，去除伪轮廓的影响。
[0042] 进一步的，计算用户位置，步骤为：利用交互中心坐标计算方程 求解真实轮廓的
重心坐标，其中，array(x,y)为灰度图中
像素值的大小。计算所得的重心位置即反映用户位置。
[0043] 进一步的，通过边缘融合展现轮廓互动，步骤包括：
[0044] 交互状态判定；
[0045] 绘制轮廓交互。
[0046] 进一步的，征在于交互状态判定，步骤为：根据用户位置确认当前
帧与前一帧用户交互发生的位置，并根据当前帧的交互状态进行判定。可以将轮廓交互状态区分为：分离、融合、新进入、离开场景以及数量不变五种情况。
[0047] 进一步的，绘制轮廓交互，步骤包括：
[0048] 插值显示；
[0049] 根据绘制函数绘制轮廓交互的状态。
[0050] 进一步的，插值显示，步骤为：
[0051] 利用轮廓交互状态的分类判断结果，对数量不变、新增或离开的重心直接绘制，对发生分离和融合的交互位置坐标与前一帧的相应位置进行插值，重新更新当前帧的重心位置。
[0052] 进一步的，根据绘制函数绘制轮廓交互的状态，步骤为：
[0053] 利用边缘融合图形绘制方程 绘制轮廓互动图形，其中， 为绘制像素和交互位置坐标i的距离，C为距离控制参数。
[0054] (三)有益效果
[0055] 本发明在同一台控制主机上同时驱动多台Kinect同时工作，可以克服传统体感技术中的空间限制，能够部署在大规模场景中，包括互动地板和互动墙面等。同时，本发明采用一种新型的标定方式，通过场景深度信息自适应的进行标定和融合。此外，本发明能够为用户提供一种全新的体感交互式应用的表现形式，以模拟流体边缘融合或分离的方式展现不同个体间发生的互动，同时保证绘制融合图形的实时性、
稳定性和生动性。
附图说明
[0056] 图1是本发明基于多Kinect协同的深度阈值分割算法识别轮廓交互技术的基本
流程图。
[0057] 图2是本发明的多Kinect协同流程图。
[0058] 图3是本发明基于深度阈值分割的用户识别与定位流程图。
[0059] 图4是本发明边缘融合绘制方法流程图。
[0060] 图5是本发明多Kinect标定示意图。
[0061] 图6是本发明多Kinect融合示意图。
[0062] 图7是本发明绘制的轮廓交互效果图，其中，图7a和图7b是轮廓交互前的效果图，图7c和图7d是开始发生融合的效果图，图7e、图7f和图7g是正在融合的效果图，图7h是融合完成后的效果图。
具体实施方式
[0063] 为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，并参照附图，对本发明进一步详细说明。
[0064] 1、方法概述
[0065] 如图1所示，本发明的方法主要分为三个步骤：(1)多Kinect协同，在一台控制主机上同时驱动多台Kinect深度传感器，并将采集到的信息进行标定和校正；(2)基于深度阈值分割的用户识别与定位，采集场景的深度信息对深度信息进行处理和筛选，计算用户的位置；(3)通过边缘融合展现轮廓互动，以模拟流体边缘融合或分离的方式展现不同个体间发生的互动，采用一种基于空间分布特征的图形绘制方法，绘制出带有流体边缘融合效果的图形。下面详细说明每个步骤。
[0066] (1)多Kinect协同是指：在一台控制主机上同时驱动多台Kinect深度传感器，并将采集到的信息进行标定和校正。Kinect深度传感器(Microsoft Kinect Sensor)是由微软(Microsoft)公司发布的体感信息采集装置，它能够不借助任何手持或穿戴设备实施采集用户的信息，完全颠覆了传统的人机交互方式，解放用户的双手和身体，能够使用户通过
姿态、手势、或语音来进行交互。但是，在传统的体感互动技术中，大都依靠单台Kinect设备采集信息，同时由于Kinect传感设备的采集区域有限，就大大限制了应用空间的面积，在家庭中、房间内部等面积较小的空间范围内，使用单台Kinect完全可以满足技术需要，但是，当使用的空间范围扩大，例如在大型场馆、户外等场景设计体感互动时，单台Kinect就无法满足项目的需要，因此，解决如何同时使用多台Kinect采集信息，如何将采集到的信息进行融合，具有十分重要的意义。多Kinect协同就是为了解决这个问 题而设计，如图2所示，多Kinect协同的步骤包括：首先同时驱动多台Kinect同时采集信息；接着，开启彩色流进行多Kinect标定，计算变换矩阵；最后，开启深度流信息，根据深度值的大小，进行深度信息校正和深度信息融合。
[0067] 首先，需要驱动多台Kinect同时采集场景信息，我们使用微软的
软件开发工具包(Microsoft Kinect SDK)作为
基础进行开发，Microsoft Kinect SDK是由微软与Kinect硬件设备同时推出的原生态软件开发工具包，它的API定义了一系列可供开发体感互动的API
接口，并且它是特别为Kinect设备量身打造，因此可以保证程序的兼容性和鲁棒性。由于通常的体感应用都是基于单Kinect进行互动，为了扩展使用空间，我们对多Kinect驱动进行了一些探索和研究，并且成功实现了同时驱动多台Kinect采集场景信息，具体来说我们使用一台控制主机可以同时驱动1至4台Kinect同时工作，将使用面积最大扩展到原来的4倍。并且保证程序的健壮性和稳定性。
[0068] 接着，需要将有不同Kinect采集到的场景信息进行融合，由于不同Kinect内参数以及摆放位置，仰
角的差别，基于不同Kinect采集到的场景信息需要首先进行校正后才能融合，因此，在融合操作前需要进行标定，通过Kinect采集到彩色信息计算转换矩阵。如图5所示，通过实际应用场景确认部署Kinect数量，在同一台主机控制器上同时驱动多台Kinect设备，为了方便后续计算，在Kinect摆放时，尽量使每台Kinect都保持水平，且不同Kinect位于同一水平线上。单独开启Kinect的RGBA视频流，获取场景的彩色信息，在不同Kinect的视野重叠区域摆放棋盘格，使用棋盘格进行标定，检测彩色图像中的棋盘格的位置，为了方便后续计算，在摆放棋盘格时，应使棋盘格尽量保持水平。
[0069] 根据棋盘格在来自不同Kinect彩色图中的位置关系，计算不同Kinect之间的变换矩阵：
[0070]
[0071] 由于Kinect和棋盘格摆放水平，计算所得的变化矩阵M中m12、m21、m31、m32近似为0，m11、m22、m33近似为1，因此，相邻Kinect之间变换矩阵可以写作：
[0072]
[0073] 根据变换矩阵就可以得到Kinect采集信息之间的相对位置关系。
[0074] 最后，开启深度流信息，进行深度流信息，进行深度信息校正和深度信息融合，对来自不同Kinect的深度信息进行校正和融合，传统的矩阵变化方式只能对同一景深的图像进行有效校正，对于不同景深的图像无法进行校正和变换。为了能适应不同深度信息校正的需要，因此，本方法使用一种新型的自适应深度校正方法，根据计算所得的不同Kinect彩色图之间的变换矩阵：
[0075]
[0076] 计算不同深度图之间的变换关系q＝MQ，其中
[0077] 且w＝Z
[0078] 根据变化矩阵M，实现深度信息的校正和变换，如图6所示，根据深度变换方程：
[0079]
[0080] 求解不同深度下，水平和竖直方向的位移变换，其中k为深度映射常数，Vdepth为深度值，将根据深不同度进行位移变换后的深度图进行融合，通过这种方式，可以将不同景深的信息进行校正和融合，获得完整的场景深度信息。
[0081] (2)基于深度阈值分割的用户识别与定位是指：对使用场景内部的用户或是与用户发生互动的区域进行检测和定位。对交互区域进行检测和定位是在进行体感互动设计首先要考虑的问题，在本发明中，我们采集场景的深度信息对深度信息进行处理和筛选，计算用户的位置。如图3所示，基于深度阈值分割的用户识别与定位的步骤包括：首先将融合后的场景深度图转换为灰度图形式；接着，对转换后的深度图进行阈值分割；最后，对阈值分割后的图像进行筛选，进行用户识别和定位。
[0082] 首先，将融合后的场景深度图转换为灰度图形式，由于深度信息的分部区间为0.4m～4m之间，为了方便显示和处理，需要将其映射到[0,255]这个区间。深度值与灰度值的映射方程为：
[0083] G(x,y)＝C(1-Vdepth(x,y)/Dmax)
[0084] 其中，C为颜色空间分布常数，Vdepth(x,y)为相应位置的深度值，Dmax为最大深度。通过映射方程，可以求解场景中相应位置深度信息对应的灰度值，可以获得完整的场景的单通道灰度图。
[0085] 接着，对转换后的深度图进行阈值分割，本发明中，我们根据深度变化检测用户所在位置或者交互发生的区域，步骤为，根据实际需求调整阈值大小，并对深度信息映射的灰度图进行阈值分割，阈值分割方程为：
[0086]
[0087] 其中，G(x,y)为相应位置映射的灰度值，DThreshold为过滤阈值，对映射后的 灰度图进行二值化。通过这种方式，可以根据深度变化检测出发生交互的区域。
[0088] 最后，对阈值分割后的图像进行筛选，进行用户识别和定位。由于Kinect设备限制，采集到深度图会包含噪声，通过二值化处理后的图像会出现很多孔洞，为了去除噪声的影响；去除噪声影响后，提取交互区域的轮廓信息，并对轮廓进行筛选；计算用户位置。
[0089] 在进行去噪处理时，首先设计膨胀核与腐蚀核，对阈值分割后的图像进行形态学操作，膨胀： 腐蚀：Y＝E⊕B＝{y:B(y)∩E≠Φ}进行若干次先腐蚀后膨胀操作，可以消除二值图像中的大部分孔洞，去除噪声影响。在去除噪声后，提取二值图像中的最外层轮廓，求解过滤后的二值化图像的所有轮廓，并根据面积阈值Tarea对轮廓进行筛选，去除伪轮廓的影响。根据筛选后的轮廓，结合交互中心坐标计算方程：
[0090]
[0091] 其中，array(x,y)为灰度图中像素值的大小。求解真实轮廓的重心坐标，即为交互区域的中心坐标。从而根据深度阈值分割可以实现实时的用户识别和定位。
[0092] (3)绘制边缘融合效果展现轮廓互动是指，以模拟流体边缘融合或分离的方式展现不同个体间发生的互动，采用一种基于空间分布特征的图形绘制方法，绘制出带有流体边缘融合效果的图形。在体感交互领域中，一项重要技术就是机器给予用户的反馈，为了能使反馈的形式更加生动和流畅，本发明通过绘制流体边缘融合效果的图形作为体感交互的全新反馈形式。绘制边缘融合效果的步骤包括：首先，对人机交互的状态进行判定，根据当前帧与前一帧的交互位置变化，将轮廓交互状态区分为：分离、融合、新进入、离开场景以及数量不变五种情况；然后，根据交互区域的状态进行判定结果，对交互位置进行插值；最后，采用一种基于空间分布特征的图形绘制方法，根据交互位置，绘制出带有流体边缘融合效果的图形。
[0093] 首先，根据用户位置确认当前帧与前一帧用户交互位置数量发生的变化进行判定。交互位置数量不发生变化代表区域内用户数量并未增加和减少，交互位置数量增加时，又分为用户新进入场景和用户轮廓发生分离两种状态，交互位置数量减少时，又分为用户离开场景和用户轮廓发生分离两种状态。
[0094] 然后，根据交互区域的状态进行判定结果，用户轮廓发生分离和融合的坐标位置进行插值，更新交互位置的坐标，从而保证显示的连贯性。
[0095] 最后，根据更新后的交互位置，绘制轮廓互动图形。利用边缘融合图形绘制方程：
[0096]
[0097] 其中， 为绘制像素和第i个交互位置坐标的距离，C为距离控制参数。这种边缘融合的图形绘制方式基于空间位置，能够绘制出带有边缘融合效果的图形。效果如图7所示。
