技术领域
[0001] 本
发明涉及到
计算机视觉及
人机交互技术，特别涉及一种多点便携
光学触摸屏及其定位方法。
背景技术
[0002] 触摸屏比传统的输入设备拥有更友好直观的人机交互
接口，因此正逐渐替代传统输入设备。
[0003] 传统的触摸屏包括电容、
电阻触摸屏。电阻触摸屏虽然廉价，但是外层
薄膜容易被划伤导致触摸屏不可用，多层结构会导致很大的光损失。电容屏是目前最流行的触摸屏，它的缺点是：在潮湿天气容易引起误操作；只能用手或者专
门的触摸笔触摸；容易发生漂移；价格昂贵不适合制作大面积的触摸屏。
[0004] 光学触摸屏相对比传统触摸屏有很大的优势。如价格几乎不随触摸面积增加而增加，十分廉价且易维护。以surface为代表的光学多点触摸屏，体积很大且昂贵。红外线触摸屏有难以实现多点触摸，光照条件下不稳定的缺点。
发明内容
[0005] 基于此，有必要提供一种廉价、便携、易用、易维护、易扩展、触摸尺寸可调、可以应用于多种场合的多点光学触摸屏。此外还提供其定位方法。
[0006] 本发明采用的技术方案为：一种多点便携光学触摸屏，包括：
[0007]
图像采集装置，用于采集触摸表面上方的图像；
[0008]
图像处理芯片，处理图像采集装置采集到的图像，识别触摸物体并计算触摸物体相关信息；
[0009] 处理器，用于校准触摸屏，并对两个或者两个以上的图像处理芯片提供的信息进行处理，计算触摸点
位置等信息，然后将触摸点信息发送给上位机
软件；
[0010] 触摸环，为可发光的环状物，用于在可见光干扰大或者光线暗的情况下，套在
手指或其他触摸物体的顶端，改善触摸
质量；
[0011] 边框，为可折叠的外框，用于在触摸表面外的运动物体对触摸屏造成干扰的情况下，将触摸表面及图像采集装置围起来，以限制图像采集装置的采集范围，防止触摸表面外的运动物体对触摸屏干扰。
[0012] 其中，所述的图像采集装置是由摄像头、曲面反射镜和
外壳支架组成的全向图像采集装置，摄像头、曲面反射镜、外壳支架均为独立部件，可以拆卸更换。
[0013] 其中，所述的曲面反射镜的曲面为一种旋转曲面。
[0014] 其中，外壳支架将摄像头和曲面反射镜固定在一起，而且摄像头在曲面反射镜的正上方，摄像头与曲面反射镜的位置关系满足以下要求：
[0015] 摄像头镜头的光轴与曲面反射镜的曲面的旋
转轴重合，使得摄像头捕捉到的图像中心即为曲面反射镜的中心；
[0016] 摄像头的高度要保证摄像头能够通过曲面镜捕捉到触摸表面上方周围360度的图像。
[0017] 其中，摄像头分为捕捉可见光的普通摄像头和捕捉红外光的红外摄像头，用来适应不同的应用场合，反射镜也随之分为对可见光反射率较高的反射镜和对红外线反射率较高的反射镜。
[0018] 其中，所述的图像处理芯片的处理方式是：
[0020] 使用运动
物体识别算法，将图像中的
像素区分为运动的
前景像素和静止的
背景像素，并生成相应的二值图像；
[0021] 使用区域连通算法，将二值图像进行连通处理，以划分出不同的触摸物体；
[0022] 计算探测到的所有触摸物体在图像中的质心的位置等相关信息。
[0023] 其中，所述的图像处理芯片的处理方式并不对摄像头捕捉的整个图像进行处理，而是建立以图像中心为圆心，以一定距离为半径以一定长度为宽度的圆环图像探测区，处理算法仅处理图像探测区内的图像，这一图像探测区内的图像为触摸表面上的光线经过曲面反射镜反射到摄像头而形成的，摄像头可以通过图像探测区内的图像监视触摸表面上方，以判断是否有触摸物体
接触触摸表面。
[0024] 其中，所述的光学触摸屏，不改变
硬件的情况下，可以只通过在软件上调节图像探测区域的半径和宽度来改变图像采集装置的
感知范围，从而改变整个光学触摸屏的感知范围大小。
[0025] 其中，所述的处理器，可以连接两个或者两个以上的图像处理芯片，并将所有图像处理芯片提供的触摸物体信息整合成触摸点的信息，所有的图像处理芯片可以并行的计算，因此增加图像采集装置的数量不会导致处理器效率的下降过多。
[0026] 其中，所述的触摸环，为可发光的环状物体，可以套在手指或其他触摸物体的顶端，可以向四周发红外光或可见光。
[0027] 其中，所述的光学触摸屏，是独立的，不与触摸表面绑定，光学触摸屏可以很方便从一个触摸表面上取下并使用在另一个触摸表面上，图像采集装置使用时可以放置在触摸表面所在平面上的任意位置，并且图像采集装置可以任意
角度放置，只要在使用之前，启用校准算法，光学触摸屏即可以正常使用，所述的校准方法为：
[0028] 触摸表面显示几个校准点，并向校准算法提供校准点在触摸表面
坐标系内的坐标；
[0029] 触摸物体依次触摸校准点，被图像采集装置捕捉，得到的数据提供给校准算法处理；
[0030] 利用几何关系将图像处理装置的默认坐标系修正为与触摸表面的坐标系相平行的坐标系；
[0031] 利用几何关系计算图像采集装置中心在触摸屏表面的坐标系内的坐标。
[0032] 其中，所述的光学触摸屏，该触摸屏无需在触摸平面上
覆盖玻璃等遮盖物，增加了屏幕的透光率，减小了触摸装置重量及成本，增加了装置的便携性。
[0033] 其中，所述的图像采集装置，可以使用广角摄像头来减小图像采集装置的高度，增加便携性，而不用担心广角摄像头采集的图像有径向畸变。
[0034] 其中，所述的图像采集装置，曲面反射镜的尺寸可以视应用场景而调整，当用于小面积触摸表面时，可以减小曲面反射镜的尺寸，以缩小图像采集装置的尺寸，增加便携性。
[0035] 其中，所述的光学触摸屏，它可以作为一种便携的独立设备使用，它可以以较低成本将投影幕布、显示屏、
墙壁、地面等没有触摸功能的表面变为可触控界面。
[0036] 另外提供一种触摸物体信息整合成触摸点的信息的定位方法，该方法包括如下步骤：
[0037] 从图像处理芯片获得触摸物体质心信息；
[0038] 计算经过处理图像采集装置中心及触摸物体质心的直线方程，多个触摸物体将形成一个直线集；
[0039] 多个图像采集装置形成多个直线集，取任意两个直线集设为A和B，A中的直线与B中的直线两两相交得到一个点集；
[0040] 在多于两个图像采集装置的情况下，会产生多个点集，取这些点集的交集，形成触摸点集合，并排除“鬼点”；
[0041] 在只有两个图像采集装置的情况下，可以根据用算法甄别出少数“鬼点”并排除；
[0042] 寻找当前帧触摸点的集合和前一帧触摸点的集合的关联关系，确定哪些触摸点发生了移动、消失，哪些触摸点是新出现的点；
[0043] 将处理结果传输到上位机软件。
[0045] 1、该触摸屏便于携带，整个设备轻便且占空间小，而以前的技术中，触摸屏与触摸表面的面积一样大，无法携带；
[0046] 2、该触摸屏是一种通用独立设备，他不与触摸表面绑定，可以很方便从一个触摸表面上取下并使用在另一个触摸表面上，由于该触摸屏的感知范围大小可以通过软件调整，所以可以适用于各种尺寸的触摸表面，以前的技术中，触摸屏与触摸表面往往是一体的，而且触摸屏的感知范围是固定的，因此更换另一个触摸表面就必须再更换另一个触摸屏；
[0047] 3、该触摸屏便于使用安装，由于图像采集装置使全向采集装置，所以只要把触摸屏中的图像采集装置放在触摸表面所在平面上，该表面就可以被触控，而不管图像处理装置放置的角度和位置，以前的技术中，触摸屏的安装复杂，并需要精确校准；
[0048] 4、该触摸屏便于维护，由于触摸屏的几个组成部分均为独立可拆卸部分，所以方便维护更换，以前的技术中，触摸屏一个组成部分损坏往往需要全部更换。
[0049] 5、该触摸屏有很好的扩展性，可以由用户自己根据需求扩展或改变触摸屏功能，增加图像采集装置的数量，可以支持更多点的触摸，把摄像头更换为红外摄像头就可以将该触摸屏变为感知红外光的触摸屏，更换为普通摄像头就可以将该触摸屏变为感知可见光的触摸屏。
附图说明
[0050] 图1为一个
实施例中的图像采集装置和图像处理芯片。
[0051] 图2为当图像探测区的半径和宽度调整到一定数值后，图像采集装置感知区域介于收敛与发散的
临界状态的情况。
[0052] 图3为当图像探测区的半径和宽度调整到一定数值后，图像采集装置感知区域发散的情况。
[0053] 图4为当图像探测区的半径和宽度调整到一定数值后，图像采集装置感知区域收敛的情况。
[0054] 图5为一个实施例中，使用边框的情况。
[0055] 图6为图像采集装置采集到的图像中图像探测区、坐标系、运动像素团
块的示意图。
[0056] 图7为一个实施例中，采用一种特殊旋转抛物面反射镜的图像采集装置，这种曲面反射镜只将周围平行于触摸表面的光线反射到摄像头中。
[0057] 图8为一个实施例中，含有两个图像采集装置的光学触摸屏的情况。
[0058] 图9为一个实施例中，含有多于两个图像采集装置的光学触摸屏的情况。
[0059] 图10为一个实施例中，进行校准算法之前，两个图像采集装置的坐标系与触摸表面的坐标系的情况。
[0060] 图11为一个实施例中，进行校准算法之后，两个图像采集装置的坐标系与触摸表面的坐标系的情况。
[0061] 图12为一个实施例中，使用触摸环的情况。
[0062] 图13为一个实施例中，图像处理芯片的处理流程。
[0063] 图14为一个实施例中，处理器的处理流程。
[0064] 图15为一个实施例中，校准算法的流程。
具体实施方式
[0065] 图1示出了一个实施例中图像采集装置的详细结构和图像处理芯片2。该图像采集装置包括摄像头11、曲面反射镜12、外壳支架13，这三部分都是独立结构。曲面反射镜12的曲面为一种旋转曲面，例如，可以是旋转抛物面或者半球面，图中作为例子选用半球面反射镜。摄像头11的光轴GW与曲面反射镜13的
旋转轴HM重合，图像处理芯片与图像采集装置是一对一的关系，图像处理芯片只处理它所对应的图像采集装置所采集的图像，所以图像处理芯片可以放置在图像采集装置中。
[0066] 由于摄像头11的高度WM要保证摄像头能够通过曲面镜捕捉到触摸表面上方360度的图像，所以WM有最小值，但是由于图像采集装置只是为了探测触摸物体的所在的方向，所以不会受摄像头使用光学镜头而产生的径向畸变的影响，因此可以使用广角摄像头来减小WM，从而使得图像采集装置的高度降低，曲面反射镜12的尺寸可以视应用场景而调整，当用于小面积触摸表面5时，曲面反射镜12的尺寸可以减小，从而使得整个图像采集装置的尺寸减小，这两方面都会增加该光学触摸屏装置的便携性。
[0067] 图6中，摄像头11所采集到的图像6中的图像探测区61是以图像中心为圆心，以r为半径，以d为宽度的圆环区域，摄像头11可以通过图像探测区61内的图像监视触摸表面5上方，以判断是否有触摸物体接触触摸表面5，r和d在软件中均可调。图像探测区61内的像素二值化后，运动前景像素团块62为被图像处理芯片识别为触摸物体。
[0068] 由于图像处理芯片2只利用了图像6中的图像探测区61内的像素，因此，摄像头11可以做特殊处理，使它只返回含有图像探测区61像素的图像，以此来增加摄像头11的帧频。
[0069] 该光学触摸屏，可以在不改变硬件的情况下，可以只通过在软件上调节图像探测区域61的半径r和宽度d来改变图像采集装置的感知区域大小。
[0070] 图2为当图像探测区61的半径r和宽度d调整到一定数值后，处于与触摸表面5平行的某一平面上的光线UV从四周经过曲面反射镜12反射进入摄像头11成像在图像探测区内的情况。这是一种理论上的临界的情况，在这种情况下，无论触摸表面多大，摄像头11采集到的图像6在图像探测区域内也无法看到触摸表面5，因此图像采集装置的感知区域无穷大。
[0071] 图3为当图像探测区61的半径r和宽度d调整到一定数值后，高于图2中与触摸表面5平行的平面的光线UV从四周经过曲面反射镜12反射进入摄像头11成像在图像探测区内的情况。这种情况下，无论触摸表面5多大，摄像头11采集到的图像6在图像探测区61域内也无法看到触摸表面5，因此图像采集装置的感知区域无穷大，即图像采集装置的感知区域发散，这种情况应该避免，因为这种情况下，即使不接触触摸表面5，也可能会引起触摸操作。
[0072] 图4为当图像探测区61的半径和宽度调整到一定数值后，低于图2中与触摸表面5平行的平面的光线从四周经过曲面反射镜12反射进入摄像头11成像在图像探测区内的情况。这种情况下，摄像头11采集到的图像6在图像探测区61内可以看到触摸表面5所在的平面，图像采集装置的感知区域收敛，这是正常使用的情况，而且r减小时，图像采集装置的感知区域的半径MS增加，即图像采集装置的感知范围增大。
[0073] 图7中，曲面反射镜12的曲面是某种旋转抛物线曲面，这种曲面反射镜12可以只向摄像头11反射平行于触摸表面的光线，而不反射其他方向的光线。这时，图像采集装置的感知区域发散且不可调，必须使用边框截断图像采集装置的感知区域，但是，改变图像探测区域半径可以调整触摸屏离实际触摸表面的高度，使得触摸物体不必接触触摸表面即可被识别，这样可以减少触摸表面和触摸物体因摩擦而发生的损伤。
[0074] 图4中，由于图像探测区61有一定的宽度d，因此经过曲面镜反射镜12反射后，摄像头11可以看见以MT为内径，以MS为外径的圆环内的触摸表面5，因此在这圆环内，触摸表面5不能进行显示，但是触摸物体可以被感知。所以当该光学触摸屏作为
触摸板，即触摸表面不会有动态的显示时，触摸表面5可以处于以MS为半径的圆的范围内；当触摸表面5有动态的显示时，触摸表面5只能处于以MT为半径的圆的范围内。
[0075] 由于图像采集装置的结构，图像采集装置的感知区域是一个以图像采集装置中心M为圆心的圆形。图5中，1-1、1-2为两个图像采集装置，8为边框，5为触摸表面，图中圆形虚线内的区域是图像采集装置的感知区域，在两个圆形感知区域内运动的物体都会影响光学触摸屏，但是由于确定触摸点的位置至少需要同时被两个图像采集装置捕捉，所以只有两个感知区域的交集才可以计算出触摸点的位置，因此触摸屏面5必须被包含在两个感知区域的交集内。当在触摸表面的外围加装边框8后，图像处理装置的感知区域被截断，只有在边框8内的运动物体才会被感知，以避免误操作。
[0076] 边框为可折叠的外框，尺寸要比触摸表面大，边框内侧的
颜色应尽量与常用触摸物体如手指的颜色
对比度大，以容易被识别。
[0077] 图8中，1-1、1-2为图像采集装置，处理器3可以连接两个或更多图像采集装置，作为例子，图8中处理器3连接了两个图像采集装置，处理器还将处理的结果发送给上位机7。
[0078] 图8中，触摸表面5中有两个触摸物体P1和P2，1-1、1-2都捕捉到两个触摸物体，并将两个触摸物体在自身图像中的质心位置传递给处理器，处理器根据这些信息计算出过图像采集装置中心和触摸物体质心的直线方程，这里由1-1提供的信息计算出直线C1P1和直线C1P2的方程，由1-2提供的信息计算出直线C2P1和直线C2P2的方程，这两组直线分别相交，计算出触摸点P1、P2和“鬼点”P1、P2的位置，也就是说当有两个图像采集装置的情况下，多点同时触摸会产生“鬼点”，即这里的触摸点有两种可能P1、P2或P1′、P2′，但在两点触摸中，利用算法几乎可以排除“鬼点”，更多的点同时触摸就需要多个图像采集装置。
[0079] 图9可以用来阐述，该光学触摸屏是如何利用多于两个的图像采集装置来排除“鬼点”的，1-1、1-2、1-3为3个图像采集装置，处理器将他们提供的信息处理后得到3组直线方程，和1-1相关的两条直线与和1-2相关的两条直线相交得到含有4个点的点集，和1-2相关的两条直线与和1-3相关的两条直线相交得到含有4个点的点集，取这两个点集的交集即为真实的触摸点，在这里为P1、P2，这体现了该光学触摸屏对多点触摸的良好支持，以及良好的可扩展性。
[0080] 图10为一个实施例中，进行校准算法之前，两个图像采集装置的坐标系O2、O3与触摸表面的坐标系O1的情况。这时3个坐标系并不平行，而且不知道O2、O3坐标系原点即图像采集装置中心在触摸表面的坐标系O1中的坐标，该光学触摸屏能正常工作的两个必要条件是：所有图像采集装置的坐标系与触摸表面坐标系平行；所有图像采集装置中心在触摸表面坐标系O1中的坐标已知。
[0081] 图11为一个实施例中，进行校准算法之后的情况，可以看到两个图像采集装置的坐标系O2、O3与触摸表面的坐标系O1平行，且O2、O3的原点在O1中的坐标已知，该光学触摸屏此时校准完毕，可以正常启动工作。从图6中可以看到，图像采集装置捕捉到的图像在校准前的坐标系为默认坐标系63，63的x轴与图像横向的方向平行，63的y轴与图像纵向的方向平行，校准后的坐标系63会旋转一定角度变为坐标系64。
[0082] 校准算法运行时，触摸表面5显示出几个校准点，例如如图11中的A1、A2、A3、A4，并向校准算法提供校准点在触摸表面坐标系中的坐标，触摸物体依次点击显示在触摸表面的校准点的图像，图像采集装置捕捉到触摸物体后，将得到的数据提供给校准算法处理，校准算法通过几何关系，可以计算出图像采集装置自身默认坐标系63需要旋转多少角度才能与触摸表面的坐标系O1平行，并计算出图像采集装置底端中心M点在O1中的坐标，以满足使该光学触摸屏能正常工作的两个必要条件。
[0083] 因为有了上述校准算法，所以图像采集装置几乎可以任意位置、任意角度放置，只要在使用之前，启用校准算法，即可以正常使用。但是为了更好的效果，我们将图像采集装置放置在触摸表面5之外并分隔开一定距离放置，这样计算出的触摸点更准确。
[0084] 图12为一个实施例中，使用触摸环的情况。触摸环4为可发光的环状物体，套在手指或其他触摸物体的顶端，向四周发红外光或可见光，当触摸屏在可见光干扰较大的情况下，比如光线变化剧烈，或者在可靠性和
稳定性要求较高的情况下，可以将图像采集装置的摄像头更换为红外摄像头，触摸物体带上发红外光的触摸环，这样可以避免可见光干扰，增加系统可靠性和稳定性，当触摸屏在光线比较暗的情况下，可以将触摸物体带上发光的触摸环，使摄像头能感知到触摸物体。
