技术领域
[0001] 本
发明属于数字
图像处理技术领域，更为具体地讲，涉及一种红外光斑跟踪的跟踪点频率提升方法。
背景技术
[0002] 红外
光源在加有滤光片的摄像头图像中的成像具有稳定且易于分割的特点，而且红外光源本身具有成本低，照射距离较远，
角度较大等特点，是一种很好的跟踪方式。由于红外光源在图像中的成像
稳定性，对其形成的红外光斑的跟踪
算法复杂度不高，可以较为流畅地运行在现有的
硬件平台上。
[0003] 但是当跟踪的红外光斑被用作控制
信号，如空中
鼠标时，由于摄像头本身采集的
帧率通常较低，如25帧/秒，其输出的信息会导致空中鼠标不连续，有顿挫感。而通常鼠标的输出频率都在200HZ以上。要解决此问题，如果仅仅只是增加图像的采集的帧率，存在成本增大，增加算法的计算复杂度等缺点，所以，在不增加图像的采集帧率的情况下，拟合出跟踪点的真实运动轨迹，并在轨迹中选取出合适的点个数来提高跟踪点的频率是很有必要也具有较高经济价值的。
[0004] 目前常见的拟合方法有：直线拟合或多点曲线拟合。直线拟合就是将两点相连，并以某种准则在此线段上取点作为拟合点。优点是算法简单。多点拟合，以五点拟合为例，需要用到当前点，时间上的前两个点和后两个点，用多项式的方式拟合出曲线，优点是曲线拟合得较为准确。
[0005] 直线拟合出的点，能较好的反映当前的方向和距离，但是在轨迹的平滑性和连续性上效果不理想。多点曲线拟合需要用到多个点才能拟合曲线，比如现有的五点拟合，带来多达两到三帧的延迟。
发明内容
[0006] 本发明的目的在于克服
现有技术的不足，提供一种红外光斑跟踪的跟踪点频率提升方法，提升跟踪点频率的同时较为准确地拟合出跟踪点运动轨迹，以消除顿挫感并且减小延迟。
[0007] 为实现上述目的，本发明红外光斑跟踪的跟踪点频率提升方法，其特征在于，包括以下步骤：
[0008] (1)、膨胀和质心点获取
[0009] 对获得的二值化红外光斑图像进行一次膨胀操作，以让红外光斑更加饱满；所述的膨胀操作为
选定的区域
像素点中，如果有一个像素点像素值为1，则该区域内的所有像素点像素值都赋值为1，依次在红外光斑图像选定区域，做相同的赋值，直到整个红外光斑图像都选定赋值完成；
[0010] 对完成膨胀后的红外光斑图像在光斑内求得其横纵坐标的平均值，得到质心点b
位置：
[0011]
[0012]
[0013] xb表示求出的横坐标，yb表示求出纵坐标，Xi为光斑内第i个像素点的横坐标，Yi为光斑内第i个像素点的纵坐标，n为点的个数；
[0014] (2)、修正质心点
[0015] 首先对红外光斑图像中的光斑在质心点b作一条直线L1，该直线L1与红外光斑图像
坐标系x轴方向的夹角为θ，坐标系原点为红外光斑图像左下角；其中，夹角θ通过以下方法获得：对红外光斑图像中的光斑进行顺
时针旋转，以1度为单位，从0度旋转到90度，在每一度下求得其外截矩形的面积大小，面积最小对应的旋转角度即为夹角θ，所述的外截矩形定义为矩形的长和宽分别与未旋转的红外光斑图像坐标系x轴即红外光斑图像的
水平方向与y轴即红外光斑图像的垂直方向平行；
[0016] 然后，在质心点b作一条与直线L1垂直的直线L2，直线L2被光斑截断部分的中心点即为修正后的质心点a；
[0017] (3)、通过三个质心点拟合出跟踪点运动轨迹
[0018] 依次获得红外光斑图像光斑修正后的质心点a，分别为当前点pn(xn,yn)，前一个点pn-1(xn-1,yn-1)以及后一个点pn+1(xn+1,yn+1)；然后拟合出当前点pn(xn,yn)及后一个点2 2
pn+1(xn+1,yn+1)的跟踪点运动轨迹为x(t)＝axt+bxt+cx，y(t)＝ayt+byt+cy，式中t表示时间；
[0019] 3.1)、第一次拟合跟踪点运动轨迹，当前点为p1(x1,y1)，前一个点为p0(x0,y0)以及后一个点为p2(x2,y2)变量，变量ax,bx,cx、ay,by,cy为：
[0020]
[0021]
[0022] cx＝x1，cy＝y1
[0023] 并计算出后一个点p2在x轴方向的速度为：v2x＝acc2x*1S+v1x，在y轴方向的速度为v2y＝acc2y*1S+v1y，其中，acc2x、acc2y分别为当前点p1到后一个点p2在x轴、y轴方向上的
加速度：
[0024]
[0025]
[0026] 其中，S为规定帧间的时间间隔；
[0027] 3.2)、后续的拟合跟踪点运动轨迹，当前点为pn(xn,yn)，前一个点为pn-1(xn-1,yn-1)以及后一个点为pn+1(xn+1,yn+1)，变量ax,bx,cx、ay,by,cy为：
[0028]
[0029] bx＝vnx，by＝vny
[0030] cx＝xn，cy＝yn
[0031] 其中，vnx、vny分别为当前点pn在x、y轴方向上的速度；
[0032] 并计算后一个点为pn+1的在x、y轴方向上的速度：
[0033] v(n+1)x＝vnx+(((xn+1-xn)/(1S)-vnx)/(0.5S))*1S
[0034] v(n+1)y＝vny+(((yn+1)-yn)/(1S)-vny)/(0.5S))*1S
[0035] v(n+1)x、v(n+1)y作为下一次拟合当前点在x轴、y轴方向上的速度使用；
[0036] (4)、根据跟踪点运动轨迹得到拟合点
[0037] 根据当前点以及后一点需要拟合的点数，计算时间代入跟踪点运动轨迹曲线x(t)2 2
＝axt+bxt+cx，y(t)＝ayt+byt+cy，得到拟合的跟踪点。
[0038] 本发明的发明目的是这样实现的：
[0039] 本发明红外光斑跟踪的跟踪点频率提升方法，在保证原有跟踪点频率提升方法优点的
基础上，通过三个质心点拟合出跟踪点运动轨迹，减少拟合所需光斑点数，同时利用运动速度以及加速度这些实际的运动特点来增强其平滑性和连续性，并利用红外光斑成像的特点，将曲线更好的拟合到真实轨迹上。
附图说明
[0040] 图1是本发明红外光斑跟踪的跟踪点频率提升方法一具体实施方式
流程图；
[0041] 图2是一个3×3模板图；
[0042] 图3是光斑质心点修正示意图图；
[0043] 图4是红外光源速度较快时光斑的成像图；
[0044] 图5是红外光源速度较慢时光斑的成像图；
[0045] 图6是拟合点修正示意图；
[0046] 图7是方向变化剧烈时的跟踪点运动轨迹实例图；
[0047] 图8是方向变化较平缓时的跟踪点运动轨迹实例图。
具体实施方式
[0048] 下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会
淡化本发明的主要内容时，这些描述在这里将被忽略。
[0049] 图1是本发明红外光斑跟踪的跟踪点频率提升方法一具体实施方式流程图。
[0050] 在本
实施例中，如图1所示，本发明红外光斑跟踪的跟踪点频率提升方法包括以下步骤：膨胀和质心点获取、修正质心点、通过三个质心点拟合出跟踪点运动轨迹以及根据跟踪点运动轨迹得到拟合点四个步骤。
[0051] 下面对每个步骤结合具体实施方式进行详细说明。
[0052] 1、膨胀和质心点获取
[0053] 由于红外光源在图像中成像的光斑(本文以下简称光斑)受到角度以及运动等情况的影响，在
图像分割时(也即对图像做二值化操作)边缘会有较多的毛刺或者缺损，所以需对图像分割得到二值化红外光斑图像做一次膨胀的操作，以让光斑更加饱满。
[0054] 如图2所示，在选定的膨胀区域为在一个3×3的区域，即一个3×3模板，在红外光斑图像依次从左到右从上到下移动，如果区域内像素点中有一个像素点像素值为1，则将其余8个点都赋为1。膨胀是现有技术，在此不再赘述。
[0055] 对完成膨胀后的红外光斑图像在光斑内求得其横纵坐标的平均值，得到质心点b位置：
[0056]
[0057]
[0058] xb表示求出的横坐标，yb表示求出纵坐标，Xi为光斑内第i个像素点的横坐标，Yi为光斑内第i个像素点的纵坐标，n为点的个数。
[0059] 2、修正质心点
[0060] 由于光斑的形状是在变化的，质心点并不一定在光斑的中心位置，为保证轨迹与真实轨迹接近，所以需要将质心点修正到光斑中心位置。方法如下：
[0061] 对红外光斑图像中的光斑进行顺时针旋转，以1度为单位，从0度旋转到90度，在每一度下求得其外截矩形的面积大小，面积最小对应的旋转角度即为夹角θ，所述的外截矩形定义为矩形的长和宽分别与未旋转的红外光斑图像坐标系x轴即红外光斑图像的水平方向与y轴即红外光斑图像的垂直方向平行。如图3的外截框1和外截框2所示的面积大小，最小的那个对应的旋转角度即为此。图3中的光斑即为原始的，光斑R为顺时针旋转后的。旋转公式如下：
[0062] x′＝xcosθ-ysinθ
[0063] y′＝ycosθ+xsinθ
[0064] x′,y′为旋转后光斑像素点对应的横纵坐标，x,y为旋转前光斑像素点的横纵坐标，θ为旋转的角度。根据求得旋转角度即夹角θ，在质心点b作一条直线L1，该直线L1与红外光斑图像坐标系x轴方向的夹角为θ，坐标系原点为红外光斑图像左下角，然后，在质心点b作一条与直线L1垂直的直线L2，直线L2被光斑截断部分的中心点即为修正后的质心点a。
[0065] 3、通过三个质心点拟合出跟踪点运动轨迹
[0066] 本发明的跟踪点运动轨迹拟合只需要用到三个点，在时间顺序上分别是当前点pn(xn,yn)，前一个点pn-1(xn-1,yn-1)以及后一个点pn+1(xn+1,yn+1)，也即是会有一帧的延迟，相对于其余的五点或者更多点的曲线拟合，延迟大大减少。
[0067] 由于帧与帧间的时间很短，如以25帧的采集为例，那么帧间的时间间隔为40ms，而且光斑的控制是由人手来完成的，在此时间片下，帧间光斑的运动速度变化不大，加速度也不可能在如此短的时间内发生大的变化，所以认定帧与帧之间的光斑点运动是匀加速的过程，且帧间速度变化很小。第一次拟合跟踪点运动轨迹时，p1点速度不可得，采用的是p0到p2点的平均速度。
[0068] 对于跟踪点运动轨迹的拟合，为了保证其平滑以及方向上不会有大的突变，本发明采用二次多项式来拟合，公式如下：2 2
[0069] x(t)＝axt+bxt+cx，y(t)＝ayt+byt+cy
[0070] 为了方便说明，以横坐标为例，纵坐标的处理是完全相同的。
[0071] 3.1、第一次拟合跟踪点运动轨迹
[0072] 对于第一次拟合，当前点为p1(x1,y1)，前一个点为p0(x0,y0)以及后一个点为p2(x2,y2)，三点在x轴方向的速度分别为v0x,v1x,v2x，需要插入的点的在当前点p1和后一点2
p2之间，由函数可知x(0)＝cx＝x1,x(1S)＝axS+bxS+cx＝x2。对跟踪点运动轨迹x(t)求导，x′(0)＝v1x＝bx，由于帧间时间间隔S短，所以帧间的加速度以及速度变化并不大，所以当前点p1速度可为前一个p0点到后一个点p2的平均速度，求取公式为：v1x＝(x2-x0)/2S，在本发明中，认定模型帧间是匀加速的运动，求得当前点p1到后一个点p2的平均速度v2xavg＝(x2-x1)/1S，当前点p1到后一个点p2的加速度acc2x＝(v2xavg-v1x)/(0.5S)，所以后一个点p2点的速度为：v2x＝acc2x*1S+v1x，v2x作为第二次拟合的当前点在x轴方向上的速度使用。由上述等式，变量ax,bx,cx为：
[0073]
[0074]
[0075] cx＝x1
[0076] 其中，S为规定帧间的时间间隔。
[0077] 3.2、后续的拟合跟踪点运动轨迹
[0078] 对后续的拟合跟踪点运动轨迹，当前点为pn(xn,yn)，前一个点为pn-1(xn-1,yn-1)以及后一个点为pn+1(xn+1,yn+1)，三点速度分别为v(n-1)x,vnx,v(n+1)x，由跟踪点运动轨迹x(t)可知x(0)＝cx＝xn,x(1S)＝axS2+bxS1+cx＝xn+1。对跟踪点运动轨迹x(t)求导，x′(0)＝vnx＝bx，vnx为上一次拟合求得，为已知，则变量ax,bx,cx为：：
[0079]
[0080] bx＝vnx
[0081] cx＝xn
[0082] 并计算后一个点为pn+1的在x、y轴方向上的速度：
[0083] v(n+1)x＝vnx+(((xn+1-xn)/(1S)-vnx)/(0.5S))*1S
[0084] 作为下一次拟合当前点在x轴、y轴方向上的速度使用。
[0085] 4、根据跟踪点运动轨迹得到拟合点
[0086] 由得到拟合跟踪点运动轨迹，对于光斑间拟合的点数，可通过计算光斑中心点间的距离来确定，如光斑中心点p1和p2间距离为8，那么需要拟合的点数为8，将时间刻度1S平分为8份，以t为自变量，带入曲线公式中计算即可得到此8个点的坐标，最后一个点不用计算，为p2的坐标。由于拟合跟踪点运动轨迹已计算出，使用时也可根据实际情况来调整拟合点的个数。比如将两帧间拟合点个数设为定值，比如每帧间固定拟合5个点，那么在采集帧率为25帧/秒的情况下，一秒可得到150个输出点，大大提高了输出的频率。
[0087] 5、拟合点的修正
[0088] 红外光源在图像中的成像会由于每帧速度的不同，导致其成像的长度不同，速度快时，光斑要比慢时长的多，如图4、5所示。
[0089] 由于帧间光斑是基本相连的，在具体实施过程中，还可以用光斑点来对拟合出的点做修正。
[0090] 由于拟合出的点是在两个光斑中心点相连的位置，前一光斑为a，后一光斑为b。前后光斑点都是相连的，如图6所示，光斑a的旋转角度为θa，即直线M1与X轴的夹角。光斑b的旋转角度为θb，即直线M2与X轴的夹角。将此两角度求平均得θ修正＝(θa+θb)/2，即直线M3与X轴的夹角。按照步骤2中所示方法，利用角度θ修正，在拟合出的点求得直线L1，在拟合点作一条与直线L1垂直的直线L2，直线L2被光斑截断部分的中心点即为修正后的拟合点。
[0091] 图7、图8分别是方向变化剧烈时、方向变化较平缓时的跟踪点运动轨迹实例图。图中圆点为光斑质心点，十字点为拟合出的跟踪点。如图7、8所示，我们可以看出其拟合的跟踪点运动轨迹是较为准确。
[0092] 对于跟踪点频率的提升，本发明首先通过光斑点质心点的修正，保证原始点的准确性；然后对运动模型进行了建立，确定其运动模型为帧间匀加速，使得仅有三个点的情况下，跟踪点运动轨迹拟合成为可能，且将延迟控制在一帧。相比目前的五点拟合，节约了一帧的延迟。且由于每帧都需要重新计算此曲线的参数，参数中实时反映了运动的速度与加速度，其对方向以及速度的反应会更加灵敏并和实际的运动偏差很小。
[0093] 尽管上面对本发明说明性的具体实施方式进行了描述，以便于
本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的
权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
