技术领域：本发明涉及一种基于四路摄像头协同工作的表面计算平台及在该平台上对多个触点进行检测的方法。

背景技术：长久以来，人们一直习惯于用鼠标键盘来操控计算机画面，很多操作方式都依赖于经验，后来出现了基于触觉的交互方式，也就是单点触控技术，目前应用最广泛的就是触摸屏技术。触摸屏的主要四大种类是：电阻触摸屏、表面声波触摸屏、电容式触摸屏和红外触摸屏。

电阻触摸屏。电阻触摸屏的主要部分是一块与显示器表面非常配合的电阻薄膜屏，这是一种多层的复合薄膜，它以一层玻璃或硬塑料平板作为基层，表面涂有一层透明氧化金属(透明的导电电阻)导电层，上面再盖有一层外表面硬化处理、光滑防擦的塑料层，它的内表面也涂有一层透明氧化金属涂层，在他们之间有许多细小的(小于1/1000英寸)的透明隔离点把两层导电层隔开绝缘。当手指触摸屏幕时，两层导电层在触摸点位置就有了接触，控制器侦测到这一接触并计算出(X，Y)的位置，再根据模拟鼠标的方式运作。

表面声波触摸屏。表面声波触摸屏的触摸屏部分可以是一块平面、球面或是柱面的玻璃平板，安装在显示器屏幕的前面。玻璃屏的左上角和右下角各固定了竖直和水平方向的超声波发射换能器，右上角则固定了两个相应的超声波接收换能器。玻璃屏的四个周边则刻有45°角由疏到密间隔非常精密的反射条纹。表面声波技术是利用声波在物体的表面进行传输，当有物体触摸到表面时，阻碍声波的传输，换能器侦测到这个变化，反映给计算机，进而进行鼠标的模拟。

电容式触摸屏。电容式触摸屏是一块四层复合玻璃屏，玻璃屏的内表面和夹层各涂有一层ITO(氧化铟)，最外层是一薄层矽土玻璃保护层，夹层ITO涂层作为工作面，四个角上引出四个电极，内层ITO为屏蔽层以保证良好的工作环境。当手指触摸在金属层上时，由于人体电场，用户和触摸屏表面形成以一个耦合电容，对于高频电流来说，电容是直接导体，于是手指从接触点吸走一个很小的电流。这个电流分从触摸屏的四角上的电极中流出，并且流经这四个电极的电流与手指到四角的距离成正比，控制器通过对这四个电流比例的精确计算，得出触摸点的位置。

红外触摸屏是利用X、Y方向上密布的红外线矩阵来检测并定位用户的触摸。红外触摸屏在显示器的前面安装一个电路板外框，电路板在屏幕四边排布红外发射管和红外接收管，一一对应形成横竖交叉的红外线矩阵。用户在触摸屏幕时，手指就会挡住经过该位置的横竖两条红外线，因而可以判断出触摸点在屏幕的位置。

每一类触摸屏应用都很广泛，都有各自的优缺点，但是这些触摸屏技术都有一个统一的缺点，即同时只能有一个热区，只能响应一个触点，这样操作起来就仍然显得死板，并没有从本质上改变传统交互方式，只是用手指点击代替鼠标操作，缺乏智能性，缺少“以用户为中心”交互的自然性、高效性。

多点触控技术(Multi-Touch)的出现打破了这个僵局，让双手自由交互成为可能。多点触控技术是指借助光学、声学或者材料学技术，构建触控平台，且该平台能够在同一时间检测平台上的多个接触点，使得用户能够运用多个手指进行触控式的操控，就像演奏乐器或者是其它双手操作一样，充分释放了人手的控制潜力，不再像鼠标那样，一只手仅能够操作一个点，因此多点触控技术是一种具有高度自由性的交互方式；而且多点触控技术不只是点、写、按这么简单，还可以实现基于手势的交互，如用单指按压控制，或是用两只手指撑开、收拢画面，以便达到缩放的目的。除此之外，这项技术还允许多个用户之间的协同操作，实现基于协同手势的交互。

多点触控技术最早可追溯到1982年多伦多大学的Nimish Mehta利用毛玻璃构建了弹性交互接口，毛玻璃背后的摄像头拍摄到阴影的大小取决于指尖压力的大小，并利用投影仪构建交互环境，并发表了硕士论文《AFlexible Machine Interface，M.A.Sc.Thesis，Department of ElectricalEngineering，University of Toronto supervised by Professor K.C.Smith.》。

目前比较成熟且较为公开的技术方案有微软公司2007年5月推出的表面计算机和纽约大学的Jefferson Y.Han教授提出的多点触控系统。

微软公司推出的表面计算机是一个表面安装了30英寸显示器的工作台，内部驱动硬件包括Pentium 4.3GHz处理器、2GB内存、标准桌面独立显卡、电源、立体声扬声器、红外照明灯等，成像部分则是五个重叠的镜头和一个短焦广角投影仪，镜头距离桌面21英寸，如图1a)所示。

2006年的Siggraph大会上，纽约大学的Jefferson Y.Han教授向众人演示了他的最新成果，如图1b)所示。这个触控系统在构建触摸屏时用到了亚克力玻璃层，并且在玻璃层上涂了一层硅胶，在硅胶层上又贴了一层背投软幕；在玻璃层的一个侧面均匀地安装了大功率的红外二极管，这些红外二极管发出的光将在亚克力玻璃层里传播；架子背后使用短焦广角投影仪将电脑上的界面投射到背投软幕上，从而构建与用户的交互界面；架子背后使用广角红外摄像头接收用户手指触点位置折射过来的红外光线。

多点触控技术的核心是受抑内全反射(Frustrated Total InternalReflection，FTIR)，即受抑内全反射技术，将红外二极管的光线打入亚克力玻璃层，并利用光线碰到手指产生的散射来抓取正确位置。红外二极管发光时，照向亚克力玻璃层的内层表面，如果亚克力玻璃层的表层是空气，光就会完全反射。如果有个折射率比较高的物质(例如手指)压住亚克力玻璃层的表面，亚克力玻璃层表面全反射的条件就会被打破，部分光束透过亚克力玻璃层，投射到手指，凹凸不平的手指表面导致光束产生散射(漫反射)，散射光透过亚克力玻璃层后到达光电传感器(如摄像头)，从而捕捉到触点位置。

但是基于FTIR技术的多点触控系统存在如下问题：

1：装置复杂。构建基于FTIR技术的多点触控平台，需要亚克力玻璃层，硅胶层，背投软幕，短距广角投影仪，而且需要对现有电脑进行改装，安装不方便，造型也比较庞大，占用空间大，价格自然比较昂贵。

2：噪声多，定位不够准确。由于硅胶层容易吸附灰尘，使用一段时间后，灰尘堆积在硅胶层上，使得即便在没有触点的情况下，光线到这些地方也会发生漫反射，从而干扰检测，容易形成误检。

3：缺少有用的特征信息。由于摄像头采集的是指尖折射的红外光，用户特征信息很有限，无法实现用户身份识别，也就无法实现多用户之间的协同。

鉴于目前主流的多点触控技术存在的上述不足，提供一种装置简单，安装方便，成本低廉并能精确定位任意多个触点的系统及检测方法实为必要。

技术方案：本发明要解决的技术问题是提供一种结构简单，安装方便，成本低廉并能精确定位任意多个触点的四路摄像头协同工作的表面计算平台，并提供一种对任意多个触点的检测和精确定位的方法。

本发明四路摄像头协同工作的表面计算平台由四块电路板、四个摄像头和多个红外光源组成。

四块电路板均为PCB板，其上可装(可涂或帖)反射材料，也可不装反射材料。四块电路板的宽度相等，均为Z，Z的取值主要根据外观的美观和便于用户交互考虑，一般取手指第一关节长度17-25mm，第一电路板和第三电路板长度相等，均为W，第二电路板和第四电路板长度相等，均为H，且W≠H，因为每个摄像头的光心都在所在角的角平分线上，W≠H可以保证对角两个摄像头的光心与任意触点的连线不会重合，从而任意一个触点即便在某个摄像头中不能成像，也必定能在该摄像头的对角摄像头中成像，确保每个触点至少在一个摄像头中成像，W和H的尺寸为安装本表面计算平台的显示器或投影屏幕的长和宽，每块电路板上都有两组电源接口用于电路板之间的连接，其中任一电路板上还有一个总电源接口。按照顺时针的顺序，第一电路板与第二电路板通过导线串联，第二电路板与第三电路板通过导线串联，第三电路板与第四电路板通过导线串联，最后整个电路通过总电源接口与外接电源相连，既形成一个顺时针闭合电路回路，也构成本表面计算平台的交互区。交互区的长为W，宽为H，高为Z。

红外光源采用红外二极管，从美观的角度考虑一般采用方形贴片红外二极管，尺寸以适合焊接为优，一般的封装形式有0603，0805，1206，1210，尺寸长v，宽m，高u分别为1.6*1.8*0.6mm，2.0*1.25*0.8mm，3.2*1.6*1.1mm，3.2*2.7*1.1mm，其波长与摄像头的镜头能接收的红外光的波长一致。

当四块电路板上装有反射材料时，摄像头拍摄通过反射材料反射红外光源发出的红外光来使表面计算平台的边框在摄像头中成的像为一条亮带，某电路板上的红外二极管必须将红外光射向其余边框，红外光通过其余边框反射后才能被摄像头捕获，所以红外光源之间的间隙可以较大，也不要求均匀分布，红外光源的个数取决于红外二极管的功率、发射角度、以及交互区的大小。焊接完毕后，在四块电路板上等距取n个标定点，且标定点按照在第一电路板，第二电路板，第三电路板，第四电路板上的位置顺时针排序，形成一个闭合回路。

当四块电路板上未装反射材料时，摄像头直接拍摄电路板上密布的红外光源发出的红外光，所以红外光源之间的间距必须足够小，才能使得表面计算平台的边框在摄像头中成的像为一条亮带。所以红外二极管均匀焊在电路板上，其中心与相同电路板上对应的摄像头的镜头中心必须在一条线上，红外二极管的数量n由电路板总长度l、红外二极管本身的宽度m以及红外二极管之间的间距s决定n＝l/s+m，l＝2*(W+H)，间距s应尽量小，以适合焊接为优，一般取2mm，焊接完毕后，红外二极管的中心作为摄像头标定的标定点，且标定点按照在第一电路板，第二电路板，第三电路板，第四电路板上的位置顺时针排序，也形成一个闭合回路。

四个摄像头都为能过滤可见光，接收同一波长的红外光、视角大于等于90度的红外摄像头，它们镶嵌在交互平台矩形边框的四个角的顶点上，且每个摄像头的光心都位于各角的角平分线上，均通过电缆线与计算机相连。

红外光源发出的红外光直接或间接被置于四个角的红外摄像头捕捉，由于采用红外光源和过滤可见光的红外摄像头能过滤背景噪声可见光的影响，所以每个摄像头只能拍摄到红外光源发出的稳定的红外光，且为了减小多触点检测的运算量，每个摄像头只对交互区的图像进行处理，使得每个摄像头拍摄的图像背景固定为交互区的白色的亮带，当交互区没有遮挡物(如指头)时，每个摄像头摄的像就是一条白色的亮带，如果有遮挡物，红外光源发出的光将被遮挡物阻挡，无法进入摄像头，从而摄像头将摄到阴影即遮挡物的像，然后通过运动检测中减背景的方法，检测出遮挡物，然后利用形态学滤波和连通域计算的方法，计算出每个遮挡物的轮廓，并以轮廓的外接矩形的中心作为遮挡物的位置。

减背景方法是将摄像头当前采集的图像I与背景图像B相减得到当前图像的差分结果D，并通过阈值th对当前差分结果D进行二值化，大于阈值部分成为前景图像即运动目标。

D(r，t)＝I(r，t)-B(r，t)，0≤r≤iw，0≤t≤ih    (1)

I(r，t)为当前采集的图像在象素点(r，t)位置的灰度值，B(r，t)为背景图像在象素点(r，t)位置的灰度值，D(r，t)为当前图像在象素点(r，t)位置的差分结果；iw为摄像头采集图像的长度，ih为摄像头采集图像的宽度，在不做限制的情况下由摄像头参数所决定，一般iw＝320，ih＝240，但本发明四路摄像头协同检测表面计算平台中通过交互区限制了每个摄像头的图像采集范围，从而每个摄像头采集的当前图像和背景图像都是交互区对应部分，是摄像头采集的完整图像的一部分，从而减小了差分以及后续的形态学滤波和连通域计算的计算量，提高了检测的效率。

在单触点时任意两路摄像头均可实现检测，但是在多触点时，由于触点之间存在遮挡情况，会出现某个触点在某个摄像头中成不了像或几个触点成同一个像的问题，从而无法检测出多个触点。本发明四路摄像头协同工作的表面计算平台通过分布在交互区四个角的摄像头，且交互区的长宽不等，使对角两个摄像头的光心和任意一个触点的联线都不重合，从而即便某个触点在某个摄像头中成不了像，也必将在该摄像头的对角摄像头中成像，从而能保证任意一个触点至少在一个摄像头中被检测到，所以能检测出触点之间遮挡的情况，解决多触点的检测问题。

采用本发明四路摄像头协同工作的表面计算平台进行多触点检测的方法是：

第一步，根据表面计算平台的矩形边框尺寸参数得到每个摄像头的世界坐标集CW和每个标定点的世界坐标集DW。每个摄像头的世界坐标集CW＝(cw1，cw2，cw3，cw4)，cwj＝(cwxj，cwyj)，j＝1，2，3，4，cw1＝(0，0)为第一摄像头的世界坐标，cw2＝(W，0)为第二摄像头的世界坐标，cw3＝(W，H)为第三摄像头的世界坐标，cw4＝(0，H)为第四摄像头的世界坐标；本发明四路摄像头协同工作的表面计算平台的矩形边框上的标定点按照顺时针顺序，依次为第一电路板上的标定点，第二电路板上的标定点，第三电路板上的标定点，第四电路板上的标定点，形成一个闭合回路，每个标定点的世界坐标集DW＝{dw1，dw2，……dwi，dwn}，dwi＝(xi，yi)，i＝1……n，为第i个标定点的世界坐标。

第二步，对四个摄像头进行标定，得到每个标定点在每个摄像头中的图像坐标集CA，CA＝{CA1，CA2，CA3，CA4}，CA1为所有标定点在第一摄像头中的图像坐标集，CA2为所有标定点在第二摄像头中的图像坐标集，CA3为所有标定点在第三摄像头中的图像坐标集，CA4为所有标定点在第四摄像头中的图像坐标集。对第一摄像头，顺时针依次从第1个标定点到第n个标定点，用遮挡物置于每个标定点dwi处，并用第一摄像头拍摄图像，图像中阴影的中心位置即为该标定点在第一摄像头中的图像坐标ca1i，所有标定点标定后得到第一摄像头中所有标定点的图像坐标集CA1＝{ca1i}，ca1i＝(x1i，y1i)，i＝1…n；对第二摄像头，依次用遮挡物置于每个标定点dwi处，并用第二摄像头拍摄图像，图像中的阴影的中心位置即为该标定点在第二摄像头中的图像坐标ca2i，所有标定点标定后将得到第二摄像头中所有标定点的图像坐标集CA2＝{ca2i}，ca2i＝(x2i，y2i)，i＝1…n；对第三摄像头，依次用遮挡物置于每个标定点dwi处，并用第三摄像头拍摄图像，图像中的阴影的中心位置即为将该标定点在第三摄像头中的图像坐标ca3i，所有标定点标定后将得到第三摄像头中所有标定点的图像坐标集CA3＝{ca3i}，ca3i＝(x3i，y3i)，i＝1…n；对第四摄像头，依次用遮挡物置于每个标定点dwi处，并用第四摄像头拍摄图像，图像中的阴影的中心位置即为将该标定点在第四摄像头中的图像坐标c4i，所有标定点标定后将得到第四摄像头中所有标定点的图像坐标集CA4＝{ca4i}，ca4i＝(x4i，y4i)，i＝1…n。

第三步，对触点(即运动目标)在摄像头图像中的坐标进行检测，得到所有触点在每个摄像头中的图像坐标集PG。假设第一摄像头拍摄到了n1个遮挡物，第二摄像头拍摄到了n2个遮挡物，第三摄像头拍摄到了n3个遮挡物，第四摄像头拍摄到了n4个遮挡物，得到所有触点的图像坐标集PG＝{PG1，PG2，PG3，PG4}，PG1为所有触点在第一摄像头中得到的图像坐标，为第一摄像头中第t1个触点图像坐标，t1＝1……n1；PG2为所有触点在第二摄像头中得到的图像坐标，为第二摄像头中第t2个触点图像坐标，t2＝1……n2；PG3为所有触点在第三摄像头中得到的图像坐标，为第三摄像头中第t3个触点图像坐标，t3＝1……n3；PG4为所有触点在第四摄像头中得到的图像坐标，为第四摄像头中第t4个触点图像坐标，t4＝1……n4。由于采用了能过滤可见光的红外摄像头，所以每个摄像头只能拍摄到红外光源发出的稳定的红外光，使得每个摄像头拍摄的图像背景也固定为交互区的白色的亮带，所以本发明采用固定背景静止摄像机下的运动目标检测方法，只检测平台交互区内的运动目标，通过运动目标检测方法减背景法得到运动目标区域，然后通过形态学滤波和连通域方法求得每个运动目标的外接矩形，外接矩形的中心位置坐标就是触点在第j个摄像头图像中的坐标j＝1，2，3，4。

第四步，根据所有触点的在每个摄像头中的图像坐标集PG和通过第一步和第二步得到的标定点的世界坐标集W和每个标定点在每个摄像头中的图像坐标集CA，确定在每个摄像头中每个触点图像坐标对应的标定点坐标，并确定标定点坐标和每个摄像头世界坐标之间的直线方程，得到直线方程集L＝{L1，L2，L3，L4}，Lj，j＝1，2，3，4表示第j个摄像头得到的直线方程集，其中t1＝1……n1，表示第一个摄像头中根据第t1个触点得到的直线方程；t2＝1……n2，表示第二个摄像头中根据第t2个触点得到的直线方程；t3＝1……n3，表示第三个摄像头中根据第t3个触点得到的直线方程；t4＝1……n4，表示第四个摄像头中根据第t4个触点得到的直线方程。方法是：

对第一摄像头拍摄到的每个触点的图像坐标计算所有标定点在第一摄像头中的坐标集CA1中与的欧氏距离最近的坐标j1＝1……n，j1为在CA1中的顺序，从而在标定点世界坐标集W中选择第j1个标定点，世界坐标为在标定精度达到平台的定位精度要求时，即为在矩形外框的边框上的世界坐标，即为在矩形外框的边框上的世界坐标；在标定精度达不到平台的定位精度要求且时，则利用下式采用线性插值的方法对在矩形外框的边框上的世界坐标进行插值，以提高定位的精确度，

$\left|\frac{{\mathrm{pg}}_{1t_1}-{\mathrm{ca}}_{1j_1}}{{\mathrm{ca}}_{{1j}_1}-{\mathrm{ca}}_{1j_1}^{\prime }}\right|=\left|\frac{P_{1t_1}-{\mathrm{dw}}_{j_1}}{{\mathrm{dw}}_{j_1}-{\mathrm{dw}}_{j_1}^{\prime }}\right|---\left(4\right)$

(3)，(4)中为对应的世界坐标，为后面一个标定点的世界坐标，为前面一个标定点的世界坐标，为所有标定点在第一摄像头中的图像坐标集CA1中用于插值的图像坐标，为对应的世界坐标，为在矩形外框的边框上的世界坐标，求解

然后根据第一摄像头的世界坐标cw1＝(cwx1，cwy1)，从而cw1和确定的直线的直线方程为，为直线的斜率，为直线的平移量。

对第二摄像头拍摄到的每个触点的图像坐标计算所有标定点在第二摄像头中的坐标集CA2中与的欧氏距离最近的坐标j2＝1……n，j2为在CA2中的顺序，从而在标定点世界坐标集W中选择第j2个标定点，世界坐标为在标定精度达到平台的定位精度要求时，即为在矩形外框的边框上的世界坐标，即为在矩形外框的边框上的世界坐标；在标定精度达不到平台的定位精度要求且则利用下式采用线性插值的方法对在矩形外框的边框上的世界坐标进行插值，以提高定位的精确度，

$\left|\frac{{\mathrm{pg}}_{{2t}_2}-{\mathrm{ca}}_{{2j}_2}}{{\mathrm{ca}}_{{2j}_2}-{\mathrm{ca}}_{{2j}_2}^{\prime }}\right|=\left|\frac{P_{{2t}_2}-{\mathrm{dw}}_{j_2}}{{\mathrm{dw}}_{j_2}-{\mathrm{dw}}_{j_2}^{\prime }}\right|---\left(6\right)$

(5)，(6)中为对应的世界坐标，为后面一个标定点的世界坐标，为前面一个标定点的世界坐标，为所有标定点在第二摄像头中的图像坐标集CA2中用于插值的图像坐标，为对应的世界坐标，为在矩形外框的边框上的世界坐标，求解

然后根据第二摄像头的世界坐标cw2＝(cwx2，cwy2)，从而cw2和确定的直线的直线方程为，为直线的斜率，为直线的平移量。

对第三摄像头拍摄到的每个触点的图像坐标计算所有标定点在第三摄像头中的坐标集CA3中与的欧氏距离最近的坐标j3＝1……n，j3为在CA3中的顺序，从而在标定点世界坐标集W中选择第j3个标定点，世界坐标为在标定精度达到平台的定位精度要求时，即为在矩形外框的边框上的世界坐标，即为在矩形外框的边框上的世界坐标；在标定精度达不到平台的定位精度要求且则利用下式采用线性插值的方法对在矩形外框的边框上的世界坐标进行插值，以提高定位的精确度，

$\left|\frac{{\mathrm{pg}}_{{3t}_3}-{\mathrm{ca}}_{{3j}_3}}{{\mathrm{ca}}_{{3j}_3}-{\mathrm{ca}}_{{3j}_3}^{\prime }}\right|=\left|\frac{P_{{3t}_3}-{\mathrm{dw}}_{j_3}}{{\mathrm{dw}}_{j_3}-{\mathrm{dw}}_{j_3}^{\prime }}\right|---\left(8\right)$

(7)，(8)中为对应的世界坐标，为后面一个标定点的世界坐标，为前面一个标定点的世界坐标，为所有标定点在第一摄像头中的图像坐标集CA3中用于插值的图像坐标，为对应的世界坐标，为在矩形外框的边框上的世界坐标，求解

然后根据第三摄像头的世界坐标cw3＝(cwx3，cwy3)，从而cw3和确定的直线的直线方程为，为直线的斜率，为直线的平移量。

对第四摄像头拍摄到的每个触点的图像坐标计算所有标定点在第一摄像头中的坐标集CA4中与的欧氏距离最近的坐标j4＝1……n，j4为在CA4中的顺序，从而在标定点世界坐标集W中选择第j4个标定点，世界坐标为在标定精度达到平台的定位精度要求时，即为在矩形外框的边框上的世界坐标，即为在矩形外框的边框上的世界坐标；在标定精度达不到平台的定位精度要求且则利用下式采用线性插值的方法对在矩形外框的边框上的世界坐标进行插值，以提高定位的精确度，

$\left|\frac{{\mathrm{pg}}_{{4t}_4}-{\mathrm{ca}}_{{4j}_4}}{{\mathrm{ca}}_{{4j}_4}-{\mathrm{ca}}_{{4j}_4}^{\prime }}\right|=\left|\frac{P_{{4t}_4}-{\mathrm{dw}}_{j_4}}{{\mathrm{dw}}_{j_4}-{\mathrm{dw}}_{j_4}^{\prime }}\right|---\left(10\right)$

(9)，(10)中为对应的世界坐标，为后面一个标定点的世界坐标，为前面一个标定点的世界坐标，为所有标定点在第一摄像头中的图像坐标集CA4中用于插值的图像坐标，为对应的世界坐标，为在矩形外框的边框上的世界坐标，求解

然后根据第四摄像头的世界坐标cw4＝(cwx4，cwy4)，从而cw4和确定的直线的直线方程为，为直线的斜率，为直线的平移量。

第五步，根据第四步中确定所有触点在所有摄像头中的直线方程集L，通过排列组合的方式，从每个摄像头得到的直线方程集Lj，j＝1，2，3，4中任取一条直线组成一个方程组，从而一共有(表示丛ni个数中无顺序地任取a个数)个方程组，求解这些方程组，去掉重复解即可得到所有触点的集合F＝{fe}，e为触点个数。方法描述如下：

从第一个摄像头的直线方程集L1中任选一条从第二个摄像头的直线方程集L2中任选一条从第三个摄像头的直线方程集L3中任选一条从第四个摄像头的直线方程集L4中任选一条从而由这四条直线确定的方程组为

化为矩阵形式表示为

Ax＝b，x＝(xe，ye)，

(11)中A为方程组的系数矩阵，其中为直线的斜率，为直线的斜率，为直线的斜率，为直线的斜率，x为未知数，代表触点位置，由水平位置xe和竖直位置ye组成，b为的直线平移量构成的向量，为直线的平移量，为直线的平移量，为直线的平移量，为直线的平移量，通过解方程组，得到方程组的解x＝(xe，ye)，即可得出实际触点位置fe，fe＝x。

上述是多触点检测的一般方法，对于单触点情况，每个摄像头都只检测到一个触点，从而每个摄像头和它拍到的触点都只能构建一条直线，此时只需从4条直线中选择任意两条直线构成方程组，求解该方程组得到方程组的解，方程组的解即为触点的位置。方法描述如下：

单触点时n1＝n2＝n3＝n4＝1，t1＝t2＝t3＝t4＝1，第一摄像头检测到的直线l11，方程为y11＝k11x11+b11，第二摄像头检测到的直线l21，方程为y21＝k21x21+b21，第三摄像头检测到的直线l31，方程为y31＝k31x31+b31，第四摄像头检测到的直线l41，方程为y41＝k41x41+b41，从l11，l21，l31，l41中任取两条组成方程组如下

r≠q，r＝1，2，3，4；q＝1，2，3，4；

化为矩阵形式表示为

Ax＝b，x＝(x1，y1)，

通过解方程组(12)，得到方程组的解x＝(x1，y1)，即可得出实际触点位置f1，f1＝x。

本发明四路摄像头协同工作的表面计算平台通过其中一块电路板上的总电源接口与外接电源相连，红外摄像头都通过导线与处理器(可以是电脑，也可是微处理器等可编程器件)相连，本发明四路摄像头协同工作的表面计算平台的检测方法通过在处理器上编程实现，完成任意多个触点的检测。

本发明四路摄像头协同工作的表面计算平台中利用了四路广角红外摄像头(视角大等于90度)，在实际工作中也可通过多个红外摄像头来代替某个广角红外镜头，只要这几个红外摄像头的视角之和大等于90度即可，利用本发明提出的多触点检测方法也可实现多触点的精确定位。

本发明根据两直线相交确定唯一交点的简单原理，充分利用四路摄像头协同检测，能精确定位任意多个触点。得到这些触点位置信息后，基于本平台的触控系统能根据触点位置坐标的变化情况确定各个触点的移动轨迹，据此定义不同的交互手势，比如两个触点运动方向相反表示进行放大或缩小操作；一个触点不动，另一个触点作弧线运动，表示进行旋转操作等等，完成单点触摸系统所无法完成的功能。与现有的多触点检测系统和方法相比，本发明可以达到以下有益技术效果：

1.本发明所述表面计算平台简单，安装方便，成本低廉。本发明所述平台只需要简单的红外光源，4个广角红外摄像头，或一些反射材料，不需要投影仪、亚克力玻璃、硅胶层、投影幕，也不需要对现有计算机进行改装，能直接安装于显示器前或现有交互平台如触摸屏上方，所以具有装置简单，安装方便，成本低廉的优势。

2.采用本发明能精确定位任意多个触点。基于两直线相交确定唯一交点的原理，充分利用四路摄像头去除遮挡的影响，有效地实现了任意多个触点的检测，并利用插值方法有效地提高了定位的精度。

附图说明：

图1是已有较成熟的多点触控平台示意图；

图2是现有多点触控平台使用的FTIR技术原理图；

图3是当四块电路板上装有反射材料时本发明四路摄像头协同工作的表面计算平台的结构示意图；

图4是当四块电路板上未装反射材料时本发明四路摄像头协同工作的表面计算平台的结构示意图；

图5是本发明四路摄像头协同工作的表面计算平台采用的世界坐标图；

图6是本发明四路摄像头协同工作的表面计算平台中第一摄像头拍摄的单触点图；

图7是本发明四路摄像头协同工作的表面计算平台中第二摄像头拍摄的单触点图；

图8是本发明四路摄像头协同工作的表面计算平台中第三摄像头拍摄的单触点图；

图9是本发明四路摄像头协同工作的表面计算平台中第四摄像头拍摄的单触点图；

图10是本发明多触点检测方法中对单个触点进行定位的示意图；

图11是本发明多触点检测方法中对多个触点进行定位的示意图；

图12是本发明多触点检测方法中对任意多个触点进行定位的流程图；

具体实施方式：

图1是已有较成熟的多点触控平台示意图。图1a)为微软演示的表面计算机，它是一个表面安装了30英寸显示器的工作台，内部驱动硬件包括Pentium 4 3GHz处理器、2GB内存、标准桌面独立显卡、电源、立体声扬声器、红外照明灯等，成像部分则是五个重叠的镜头和一个短焦广角投影仪，镜头距离桌面21英寸，无需鼠标和键盘，只用双手和触摸屏，就能即时、交互地轻松管理自己的数字内容，但是这种表面计算机装置复杂，价格比较昂贵；图1 b)为纽约大学的Jefferson Y.Han及其研究队伍的研究成果，可由双手同时操作，并且支持多人同时操作。这个触控系统在构建触摸屏时用到了亚克力玻璃层，并且在玻璃层上涂了一层硅胶，在硅胶层上又贴了一层背投软幕；在玻璃层的一个侧面均匀分布地安装了大功率的红外二极管，这些红外二极管发出的光将在亚克力玻璃层里传播；架子背后使用短焦广角投影仪将电脑上的界面投射到背投软幕上，从而构建与用户的交互界面；架子背后使用广角红外摄像头接收用户手指触点位置折射过来的红外光线，这种触控系统装置复杂，需要对现有电脑进行改装，安装不方便，造型也比较庞大，占用空间也大，价格自然比较昂贵，而且硅胶层容易吸附灰尘，使用一段时间后，灰尘堆积在硅胶层上，这样即便在没有触点的情况下，光线到这些地方也会发生漫反射，从而干扰检测，容易形成误检，此外由于摄像头采集的是指尖折射的红外光，用户特征信息很有限，无法实现用户身份识别，也就无法实现多用户之间的协同。

图2是现有多点触控平台使用的FTIR技术原理图。将红外二极管5的光线打入亚克力玻璃层102，并利用光线碰到手指103产生的散射来抓取正确位置。红外二极管5发光时，照向亚克力玻璃层102的内层表面，如果亚克力玻璃层102的表层是空气，光就会完全反射。如果有个折射率比较高的物质(例如手指103)压住亚克力玻璃层102的表面，亚克力玻璃层102表面全反射的条件就会被打破，部分光束透过亚克力玻璃层102，投射到手指103，凹凸不平的手指103表面导致光束产生散射(漫反射)，散射光透过亚克力玻璃层102后到达光电传感器(如摄像头)，从而捕捉到触点位置。(图2中标号要改)

图3是当四块电路板上装有反射材料时本发明四路摄像头协同工作的表面计算平台的结构示意图。表面计算平台由四块装有反射材料的电路板、四个摄像头、和若干个红外光源组成。电路板为PCB板，四块电路板的宽度相等，均为Z，Z一般取手指第一关节长度17-25mm，第一电路板6和第三电路板8长度相等，均为W，第二电路板7和第四电路板9长度相等，均为H，且W≠H，W和H的尺寸为安装本表面计算平台的显示器或投影屏幕的长和宽，每块电路板上都有两组电源接口用于电路板之间的连接，其中一块电路板上还有一个总电源接口。按照顺时针的顺序，第一电路板6通过电源接口与第二电路板7通过导线串联，第二电路板7通过电源接口与第三电路板8通过导线串联，第三电路板8的电源接口与第四电路板9通过导线串联，第四电路板9通过电源接口与第一电路板6通过导线串联，最后整个电路通过总电源接口与外接电源相连，既形成一个顺时针闭合电路回路，也构成本表面计算平台的交互区。交互区的长为W，宽为H，高为Z。

四个摄像头都为能过滤可见光、能接收同一波长的红外光、视角大于等于90度的红外摄像头，它们镶嵌在四块电路板构成的矩形的四个角的顶点上，且每个摄像头的光心都位于各角的角平分线上，均通过电缆线与计算机相连。

红外二极管5为方形贴片红外二极管，尺寸长v，宽m，高u，波长与摄像头的镜头能接收的红外光的波长一致，红外二极管5焊在某块电路板上，并将红外光射向其余电路板，红外光被其余电路板上的反射材料反射后被摄像头捕获，所以红外二极管5之间的间隙较大，也不要求均匀分布，红外二极管5的数量由交互区的大小，红外二极管5的功率和发光角度决定。红外二极管5的功率越大，发射角度越大，且平台交互区面积越小，所需的红外二极管5个数就越少，反之，红外二极管的功率越小，发射角度越小，且平台交互区面积越大，所需的红外二极管5个数就越多。焊接完毕后，在电路板上等间距地取n个点作为摄像头标定的标定点，且标定点按照在第一电路板6，第二电路板7，第三电路板8，第四电路板9上的位置顺时针排序，也形成一个闭合回路。

图4是当四块电路板上未装反射材料时本发明四路摄像头协同工作的表面计算平台的结构示意图。表面计算平台由焊有若干个红外二极管的电路板组成，包括四块电路板、四个摄像头、多个红外二极管组成。电路板为PCB板，四块电路板的宽度相等，均为Z，Z一般取手指第一关节长度17-25mm，第一电路板6和第三电路板8长度相等，均为W，第二电路板7和第四电路板9长度相等，均为H，且W≠H，W和H的尺寸为安装本表面计算平台的显示器或投影屏幕的长和宽，每块电路板上都有两组电源接口用于电路板之间的连接，其中某块电路板上还有一个总电源接口。按照顺时针的顺序，第一电路板6通过电源接口与第二电路板7通过导线串联，第二电路板7通过电源接口与第三电路板8通过导线串联，第三电路板8的电源接口与第四电路板9通过导线串联，第四电路板9通过电源接口与第一电路板6通过导线串联，最后整个电路通过总电源接口与外接电源相连，既形成一个顺时针闭合电路回路，也构成本表面计算平台的交互区。交互区的长为W，宽为H，高为Z。

四个摄像头都为安装有可见光滤波片、能接收同一波长的红外光、视角大于等于90度的红外摄像头，它们镶嵌在四块电路板构成的矩形的四个角的顶点上，且每个摄像头的光心都位于各角的角平分线上，均通过电缆线与计算机相连。

红外二极管5为方形贴片红外二极管，尺寸长v，宽m，高u，波长与摄像头的镜头能接收的红外光的波长一致，红外二极管5均匀焊在电路板上，其中心与相同电路板上对应的摄像头的镜头中心必须在一条线上，红外二极管5的数量n由电路板总长度l、红外二极管5本身的宽度m以及红外二极管之间的间距s决定n＝l/s+m，l＝2*(W+H)，间距s一般取2mm，焊接完毕后，红外二极管5的中心作为摄像头标定的标定点，且标定点按照在第一电路板6，第二电路板7，第三电路板8，第四电路板9上的位置顺时针排序，也形成一个闭合回路。

图5是本发明四路摄像头协同工作的表面计算平台采用的世界坐标图。如图所示，第一摄像头1的世界坐标cw1＝(0，0)，第二摄像头2的世界坐标cw2＝(W，0)，第三摄像头3的世界坐标cw3＝(W，H)，第四摄像头4的世界坐标cw4＝(0，H)，当四块电路板上未装反射材料时，本发明四路摄像头协同工作的表面计算平台中标定点为红外二极管5的中心，当四块电路板上装有反射材料时，标定点为均匀分布在矩形边框上的点，标定点的坐标为dwi，i＝1……n，标定点按在第一边框6，第二边框7，第三边框8，第四边框9的位置顺时针排序，形成一个闭合回路。

图6是本发明四路摄像头协同工作的表面计算平台的第一摄像头捕捉到的单触点的图像示意图。图6中矩形表示第一摄像头拍摄的交互区图像，由于采用了过滤可见光的红外摄像头，所以每个摄像头只能拍摄到矩形边框上的红外光，这些红外光在摄像头中成的像为一条白色的亮带，取交互区(W*H*Z)在每个摄像头中所成的像作为每个摄像头的成像区域，从而每个摄像头拍摄的图像背景固定为交互区的白色的亮带，然后采用固定背景静止摄像机下的运动目标检测方法，只检测平台交互区内的运动目标，通过运动目标检测中的减背景法得到运动目标区域，然后通过形态学滤波和连通域方法求得每个运动目标的外接矩形，每个运动目标的外接矩形的中心位置坐标就是触点在摄像头图像中的坐标。图6是图10所示的单触点情况下，第一摄像头捕捉到的图像，pg11为触点在第一摄像头中成的像。图7是图10所示的单触点情况下，第二摄像头捕捉到的图像，pg21为触点在第二摄像头中成的像，图7中矩形表示第二摄像头拍摄的交互区图像。图8是图10所示的单触点情况下，第三摄像头捕捉到的图像，pg31为触点在第三摄像头中成的像，图8中矩形表示第三摄像头拍摄的交互区图像。图9是图10所示的单触点情况下，第四摄像头捕捉到的图像，pg41为触点在第四摄像头中成的像，图9中矩形表示第四摄像头拍摄的交互区图像。

图10是采用本发明多触点检测方法对单触点进行定位的示意图。

单触点时每个摄像头都只能检测到一个阴影，从而得到的触点图像坐标集为PG＝{PG1，PG2，PG3，PG4} PG1＝{pg11}，PG2＝{pg21}，PG3＝{pg31}，PG4＝{pg41}，然后根据触点的图像坐标集PG和标定点的世界坐标集W和每个标定点在每个摄像头中的图像坐标集CA，确定每个触点在第j个摄像头中的图像坐标pgj1 pgij对应的标定点坐标dwi，并确定每个标定点dwi和每个摄像头世界坐标cwj之间的直线方程lj1，并得到直线方程集L＝{L1，L2，L3，L4}，L1＝{l11}，L2＝{l21}，L3＝{l31}，L4＝{l41}。

方法是：

对第一摄像头拍摄到的触点的图像坐标pg11，计算所有标定点在第一摄像头中的坐标集CA1中与pg11距离最近的坐标j1＝1……n，j1为在CA1中的顺序，从而在标定点世界坐标集W中选择第j1个标定点，世界坐标为即为pg11在矩形外框的边框上的世界坐标，即在标定精度达不到平台的定位精度要求时，通过线性插值的方法来提高定位精度。插值方法：若则利用式(3)、式(4)求解，pg11在矩形外框的边框上的世界坐标P11，P11＝(x1，y1)，然后根据第一摄像头的世界坐标cw1，从而点cw1和点P11确定的直线l11的直线方程为，y11＝k11x11+b11，为直线l11的斜率，b11＝cwy1-k11*cwx1为直线l11平移量。

对第二摄像头拍摄到的触点的图像坐标pg21，计算所有标定点在第二摄像头中的坐标集CA2中与pg21距离最近的坐标j2＝1……n，j2为在CA2中的顺序，从而在标定点世界坐标集W中选择第j2个标定点，世界坐标为即为pg21在矩形外框的边框上的世界坐标，即在标定精度达不到平台的定位精度要求时，通过线性插值的方法来提高定位精度。插值方法是：若则利用式(5)、式(6)求解pg21在矩形外框的边框上的世界坐标P21，P21＝(x2，y2)，然后根据第二摄像头的世界坐标cw2，从而点cw2和点P21确定的直线l21的直线方程为，y21＝k21x21+b21，为直线l21的斜率，b21＝cwy2-k21*cwx2为直线l21平移量。

对第三摄像头拍摄到的触点的图像坐标pg31，计算所有标定点在第三摄像头中的坐标集CA3中与pg31距离最近的坐标j3＝1……n，j3为在CA3中的顺序，从而在标定点世界坐标集W中选择第j3个标定点，世界坐标为即为pg31在矩形外框的边框上的世界坐标，即在标定精度达不到平台的定位精度要求时，通过线性插值的方法来提高定位精度。插值方法是：若则利用式(7)、式(8)求解pg31在矩形外框的边框上的世界坐标P31，P31＝(x3，y3)，然后根据第二摄像头的世界坐标cw3，从而点cw3和点P31确定的直线l31的直线方程为，y31＝k31x31+b31，为直线l31的斜率，b31＝cwy3-k31*cwx3为直线l31平移量。

对第四摄像头拍摄到的触点的图像坐标pg41，计算所有标定点在第四摄像头中的坐标集CA4中与pg41的欧氏距离最近的坐标j4＝1……n，j4为在CA4中的顺序，从而在标定点世界坐标集W中选择第j4个标定点，世界坐标为P41为pg41在矩形外框的边框上的世界坐标，在标定精度达到平台的定位精度要求时，即为pg41在矩形外框的边框上的世界坐标，即在标定精度达不到平台的定位精度要求时，通过线性插值的方法来提高定位精度。插值方法描述如下：若则利用式(9)、式(10)求解pg41在矩形外框的边框上的世界坐标P41，P41＝(x4，y4)，然后根据第四摄像头的世界坐标cw4，从而点cw4和点P41确定的直线l41的直线方程为，y41＝k41x41+b41，为直线l41的斜率，b41＝cwy4-k41*cwx4为直线l41平移量。

然后根据确定的四条直线方程l11，l21，l31，l41确定触点f位置，方法是：

从l11，l21，l31，l41中任选2条联立方程组，得到方程组如式(12)，通过解方程组(12)，得到方程组的解x＝(x1，y1)，即为实际触点位置f1，f1＝x。

图11是采用本发明表面计算平台对多点进行定位的示意图。对于多触点的检测来说，检测触点的图像坐标和构建每个摄像头中心到触点的标定坐标之间的直线方程的过程如方法中的第三、四、五步所示。假设第一摄像头拍摄到了n1个遮挡物，第二摄像头拍摄到了n2个遮挡物，第三摄像头拍摄到了n3个遮挡物，第四摄像头拍摄到了n4个遮挡物，与单触点检测过程一样，第一摄像头得到了n1条直线方程t1＝1……n1，为第一摄像头得到的第t1条直线；第二摄像头得到了n2条直线方程t2＝1……n2，为第二摄像头得到的第t2条直线；第三摄像头得到了n3条直线方程t3＝1……n3，为第三摄像头得到的第t3条直线；第四摄像头得到了n4条直线方程t4＝1……n4，为第四摄像头得到的第t4条直线，从第一摄像头的n1条直线方程中任取一条直线从第二摄像头的n2条直线方程中任取一条直线从第三摄像头的n3条直线方程中任取一条直线从第四摄像头的n4条直线方程中任取一条直线将这四条直线方程联立为一个方程组，根据排列组合原理，可知一共有(表示丛ni个数中无顺序地任取a个数)个方程组，求解这些方程组，去掉重复解即可得到所有触点的集合F＝{fe}，e为触点个数。

如图11中所示，每个摄像头都检测到了2个阴影，都得到了两条直线，第一摄像头得到了l11，l12两条直线，第二摄像头得到了l21，l22两条直线，第三摄像头得到了l31，l32两条直线，第四摄像头得到了l41，l42两条直线，从而得到个方程组，分别为

$\left(1\right)\left\{\begin{array}{c}{l}_{11}\\ l_{21}\\ l_{31}\\ l_{41}\end{array}\right\},\left(2\right)\left\{\begin{array}{c}{l}_{11}\\ l_{21}\\ l_{31}\\ l_{42}\end{array}\right\},\left(3\right)\left\{\begin{array}{c}{l}_{11}\\ l_{21}\\ l_{32}\\ l_{41}\end{array}\right\},\left(4\right)\left\{\begin{array}{c}{l}_{11}\\ l_{22}\\ l_{31}\\ l_{41}\end{array}\right\},\left(5\right)\left\{\begin{array}{c}{l}_{12}\\ l_{21}\\ l_{31}\\ l_{41}\end{array}\right\},\left(6\right)\left\{\begin{array}{c}{l}_{11}\\ l_{21}\\ l_{32}\\ l_{42}\end{array}\right\},\left(7\right)\left\{\begin{array}{c}{l}_{11}\\ l_{22}\\ l_{32}\\ l_{41}\end{array}\right\},\left(8\right)\left\{\begin{array}{c}{l}_{12}\\ l_{21}\\ l_{32}\\ l_{41}\end{array}\right\}$

$,\left(9\right)\left\{\begin{array}{c}L12\\ L22\\ L31\\ L41\end{array}\right\}\left(10\right)\left\{\begin{array}{c}L11\\ L22\\ L31\\ L42\end{array}\right\},\left(11\right)\left\{\begin{array}{c}{l}_{12}\\ l_{21}\\ l_{31}\\ l_{42}\end{array}\right\},\left(12\right)\left\{\begin{array}{c}{l}_{11}\\ l_{22}\\ l_{32}\\ l_{42}\end{array}\right\},\left(13\right)\left\{\begin{array}{c}{l}_{12}\\ l_{21}\\ l_{32}\\ l_{42}\end{array}\right\},\left(14\right)\left\{\begin{array}{c}{l}_{12}\\ l_{22}\\ l_{31}\\ l_{42}\end{array}\right\},\left(15\right)\left\{\begin{array}{c}{l}_{12}\\ l_{22}\\ l_{32}\\ l_{42}\end{array}\right\},\left(16\right)\left\{\begin{array}{c}{l}_{12}\\ l_{22}\\ l_{32}\\ l_{42}\end{array}\right\},$

但是这些方程组只有方程组1和方程组16有解，且不重合，分别为f1，f2，所以实际只有两个触点，即为f1，f2。

图12是采用本发明对任意多个触点进行检测的流程图。

本表面计算平台的四个摄像头为并行工作模式。四个摄像头并行工作，所以下面的步骤中第一步到第四步对四个摄像头都适用。

第一步，摄像头捕捉本表面计算平台交互区的视频图像。

第二步，触点图像坐标检测：对每个摄像头对交互区内的视频利用运动目标检测技术中的减背景方法，得出触点的区域，并用形态学滤波方法和连通域计算方法求出连通域的中心，连通域的中心即为触点的图像坐标。

第三步，确定触点图像坐标对应的标定点：根据第二步得到的触点图像坐标，从所有标定点在每个摄像头中的坐标集中选取与触点图像坐标距离最近的标定点，该标定点作为触点图像对应的标定点，若触点图像坐标与该标定点在摄像头中得图像坐标不等则采用线性插值的方法，求出触点图像坐标对应的标定点世界坐标。

第四步，确定触点图像坐标对应的标定点世界坐标和每个摄像头世界坐标确定的直线方程。

第五步，以排列组合的方式，从每个摄像头检测到的直线方程中任取一条组成方程组，求解这些方程组，去掉重复解，得到的解即为每个触点的实际位置，多点检测过程结束。