技术领域
[0001] 本
发明属于计算机
软件与投影的技术领域，具体涉及一种分布式红外视觉检测与投影融合自动矫正的触控显示系统。
背景技术
[0002] 随着科技的发展，
人机交互的体验趋于追求智能化、
沉浸感、交互性，大型
触摸屏幕集显示与互动功能为一体，在提供一种直觉性高的交互体验的同时，还可以支持多人同时观看体验，已成为在商业项目推介、博物馆主题展示、游戏互动娱乐等方面广泛应用的显示方式。目前大型触摸屏幕的工作方式采用在玻璃屏和
液晶屏之间加了一层电
信号感应面，感应
手指的触摸，达到实时检测反馈的效果，但其成本会随着显示屏幕尺寸的增加大幅度增长，大尺寸显示将花费极高的
费用；另一方面内部的液晶屏难以承受高压
力冲击，一些高强度的互动游戏极易损坏屏幕，增加了后期的维护运营成本。因此开发一款大屏幕、抗冲击、低成本的实时触摸显示方案，这是一个有待研发的课题。
[0003] 针对上述触控显示的需求，采用视觉检测触控结合的投影显示方案成为一种新的触控显示技术。中国
专利(CN102236408A)提出一种“基于
图像识别、多投影机融合大屏幕的多点人机交互系统”，对应着投影仪和投影幕设备，以实现基于图像识别、多投影机融合大屏幕为目的，设置图像布局模
块、投影数据接收模块、投影数据拼合模块、标准效果模块、效果监测模块以及数据输出模块；以实现人机交互为目的，设置用户输出监测模块、用户输出识别模块、屏幕坐标转换模块以及用户输出结果数据融合模块，在增强场景沉浸感的同时又对应着场景使人机交互更加自然。中国专利(
申请公布号CN102799317A)公开一种“智能互动投影系统”，系统由：红外摄像机，虚拟互动区域，投影仪单元，红外激光发射器单元，存储单元，处理单元，有线通信单元及无线通信单元组成，采用红外激光发射器平行触控感应平面发射红外“一字线”
激光束，利用手指或其他触摸设备“点击”时阻断激光束场，通过红外摄像机成像形成“高亮”光斑的原理，检测触摸事件，再将红外摄像机
坐标系下的
位置信息映射到虚拟互动区域坐标系下的位置信息。实现利用单个红外相机在垂直方向上单点和多点触摸显示的功能。
[0004] 结合上述发明，多种基于视觉的互动投影产品已经出现。这些产品在一些领域成功应用的同时也暴露出一些问题：
[0005] 1.视觉触摸检测
算法的前提是摄像机“看得见”，对于大型触摸区域单个摄像机的监视难以
覆盖，因此需要布置多个摄像机并将采集到的收据统一到同一个坐标系下；
[0006] 2.随着接入处理器摄像机数量的增长读取摄像头
帧率的明显下降，经统计摄像机
分辨率设置为1280*720接入1～4个摄像机的帧率分别为32帧/秒、22帧/秒、14帧/秒、10帧/秒，这将导致触摸事件检测的延时；
[0007] 3.目前多路投影的拼接融合主要依靠物理对齐或者人工矫正，因此拼接融合过程相对费时，后期投影融合的维护需要专
门人员。
[0008] 针对上述应用场景中存在的问题，本发明提出一种基于分布式红外视觉检测与自动投影融合矫正触控系统，设置了检测处理客户端，多线程数据融合中转模块，多线程影像
渲染模块，自动投影融合校正模块。本发明经多项具体实例验证，能够实时检测大型场景的触控事件，检测刷新率可达到30帧/秒；多台(2～4)投影融合自动校正仅需30s，校正
精度可达
像素级。
发明内容
[0009] 为了解决
现有技术中的上述问题，即为了解决触摸事件检测的延时、拼接融合过程相对费时的问题，本方发明提出了一种分布式红外视觉检测与投影融合自动矫正的触控显示系统，包括投影设备、视觉采集模块、红外发射器模块、摄像机标定模块、检测处理客户端、数据融合模块、影像处理器、多线程投影渲染模块、自动投影融合校正模块；
[0010] 所述投影设备为多台，用于投影影像；
[0011] 所述视觉采集模块包括一个或多个摄像机，用于实时采集触控区域的图像；
[0012] 所述红外发射器模块平行于触控平面，发射红外激光面并铺满整个触控区域；
[0013] 摄像机标定模块，用于划分摄像机各自监视的触控区域，并标定摄像机与触控区域；
[0014] 检测处理客户端，用于实时处理摄像机的图像，检测触摸位置的图像坐标，并计算图像坐标对应的触控区域坐标，将坐标信息发布到数据融合模块；
[0015] 数据融合模块，用于并行接收检测处理客户端传送的数据，对不同检测处理客户端发送的数据进行融合处理发送到影像处理器；
[0016] 影像处理器，用于接收数据融合模块发送的坐标数据，触发该坐标位置的设计的影像；
[0017] 多线程投影渲染模块，用于实时捕捉影像处理器窗口，同步渲染多路投影影像；
[0018] 自动投影融合校正模块，用于对多路投影进行几何和
颜色矫正将影像投影准确投影到触控区域。
[0019] 进一步地，所述自动投影融合校正模块包括可见光摄像机、融合矫正处理单元；所述可见光摄像机用于对投影区域进行
图像采集；所述融合矫正处理单元对所述多台投影设备的多路投影进行几何和颜色矫正将影像投影准确投影到触控区域。
[0020] 进一步地，所述“对多路投影进行几何和颜色矫正将影像投影准确投影到触控区域”，其方法为：
[0021] 将需要投影的触控区域平面通过网格化等分成若干大小相等的网格；
[0022] 计算所述网格在投影平面的像，将投影的影像采用纹理贴图的方式映射到网格中，再根据
相位信息调整颜色
亮度。
[0023] 进一步地，所述“计算所述网格在投影平面的像”，其方法为：
[0024] 根据下式计算触控区域平面的网格在投影平面的像
[0025]
[0026] 其中，(μ,ν)为投影平面的像素坐标，(X,Y,0)为触控区域平面的坐标，Hp为触控区域平面到投影设备平面的单应矩阵。
[0027] 进一步地，触控区域平面到投影设备平面的单应矩阵Hp的计算方法为：
[0028] Hp＝Hc×Hcp
[0029] 其中，Hc为触控区域平面到摄像机平面的单应矩阵，Hcp为相机平面到投影仪平面的单应矩阵。
[0030] 进一步地，所述“根据相位信息调整颜色亮度”，其方法为：
[0031] 根据 对投影融合区的亮度进行由强到弱衰减，进行颜色的拼接融合；或者
[0032] 根据 对投影融合区的亮度进行由弱到强增强，进行颜色的拼接融合；
[0033] 其中，r为调节系数。
[0034] 进一步地，相机平面到投影仪平面的单应矩阵Hcp，其生成方法为：
[0035] 通过投影设备向触控区域平面投影棋盘格，通过可见光摄像机采集棋盘格的
角点，通过下式计算Hcp，
[0036]
[0037] 其中，
[0038]
[0039] (μn,νn)为投影平面的第n个像素坐标，(Xn,Yn,0)为触控区域平面的对应的第n个坐标。
[0040] 进一步地，触摸位置在投影平面的像素坐标(μ,ν)的计算方法为：
[0041]
[0042]
[0043] 其中，f(i,j)为触摸位置区域的图像亮度，(i,j)为触摸区域图像像素坐标，Ω表示触摸位置区域。
[0044] 进一步地，根据下式对不同摄像机的监视融合区的数据判断：
[0045]
[0046] 其中，Dfusion＜d判定为同一个坐标，否则判断为不同的触摸坐标，d为预设数值，(xi,yi)、(xj,yj)分别为摄像机i与摄像机j的映射坐标。
[0047] 进一步地，所述检测处理客户端与所述摄像机一一对应，分别通过独立线程获取对应摄像机所采集的图像。
[0048] 进一步地，所述数据融合模块通过多线程并行接收检测处理客户端传送的数据，并校正所有接入的检测处理客户端的时间轴。
[0049] 本发明采用检测处理客户端实时处理摄像机的图像，能够实时检测大型触控区域的触控事件，保证了触控检测的时效性；多线程投影渲染模块实时捕捉影像处理器窗口，可以同时渲染多路投影影像画面，提升了渲染效率；自动投影融合校正模块对多路投影进行几何和颜色矫正将影像投影准确投影到触控区域，方便系统投影融合校正前期的搭建和后期的维护。
附图说明
[0050] 图1为本发明
实施例的分布式红外视觉检测与投影融合自动矫正的触控显示系统
硬件构成示意图；
[0051] 图2为本发明实施例的分布式红外视觉检测与投影融合自动矫正的触控显示系统的
框架示意图；
[0052] 图3为本发明实施例的融合区域和非融合区域触控位置示意图；
[0053] 图4为本发明实施例的红外发射器模块安装位置示意图；
[0054] 图5为本发明实施例摄像机布置及标定的示意图；
[0055] 图6为本发明实施例自动投影融合校正网格化触控区域平面示意图；
[0056] 图7为本发明实施例自动投影融合校正的投影仪标定示意图；
[0057] 图8为本发明实施例数据融合模块计算流程示意图。
具体实施方式
[0058] 下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
[0059] 本发明实施例的分布式红外视觉检测与投影融合自动矫正的触控显示系统，如图1、图2所示，包括投影设备108、视觉采集模块 101、红外发射器模块100、摄像机标定模块
102、检测处理客户端103、数据融合模块104、影像处理器105、多线程投影渲染模块106、自动投影融合校正模块107；
[0060] 1、投影设备
[0061] 投影设备108为多台投影仪，用于投影影像。
[0062] 采用投影设备将渲染矫正的影像投影到物理平面(如墙、地面、桌面等)上。大尺寸触摸显示区域，需要多台投影设备。投影仪可以选择有CRT，LCD，DLP等不同类型的工作方式，以透视、反射的方式投影影像画面。
[0063] 2、视觉采集模块
[0064] 视觉采集模块101包括一个或多个摄像机，用于实时采集触控区域的图像。作为实时触摸事件的检测设备，该模块的摄像机装设有红外滤光片构成红外摄像机，只可见
波长为800～850nm的红外光。当手指或其他触摸设备触摸触控区域阻断红外激光面，红外摄像机成像形成“高亮”光斑。
[0065] 3、红外发射器模块
[0066] 红外发射器模块100的发光面平行于触控平面，发射红外激光面并铺满整个触控区域。该模块发射波长为808nm，厚度大概在2mm 左右的红外激光面。如图4所示，红外发射器模块平行设置于触控平面上部，扇形地发射红外激光面铺满整个触控区域。
[0067] 4、摄像机标定模块
[0068] 摄像机标定模块102，用于划分摄像机各自监视的触控区域，并标定摄像机与触控区域。
[0069] 摄像机与世界坐标系的关系满足针孔模型，这里近似的将触控平面看作是世界坐标系中z＝0的平面，因此摄像机平面的像素坐标 (μ,ν)与触控平面坐标(X,Y,0)的关系可以表示为式(1)，其中K为相机的内参数，由式(2)表示。根据式(3)可以将图像的像素坐标映射到触控平面坐标。
[0070]
[0071]
[0072]
[0073] 其中，μ0、ν0、α、γ、β构成摄像机内参数矩阵，λ为变换尺度，r1,r2,r3,t为相机外参数矩阵的旋转平移分量，h1-h8构成单应矩阵。
[0074] 5、检测处理客户端
[0075] 检测处理客户端103，用于实时处理摄像机的图像，检测触摸位置的图像坐标，并计算图像坐标对应的触控区域坐标，将坐标信息发布到数据融合模块104。该模块采用嵌入式arm芯片作为处理器外设配置usb
接口、有线网络/无线wifi通信模块。
[0076] 检测处理客户端与所述摄像机一一对应，分别通过独立线程获取对应摄像机所采集的图像。
[0077] 6、数据融合模块
[0078] 数据融合模块104，用于并行接收检测处理客户端传送的数据，对不同检测处理客户端发送的数据进行融合处理发送到影像处理器。
[0079] 数据融合模块104、影像处理器105、多线程投影渲染模块 106这三个模块都集成到
中央处理器上，同时并行工作。
[0080] 7、影像处理器
[0081] 影像处理器105，用于接收数据融合模块发送的坐标数据，触发该坐标位置的设计的影像。
[0082] 8、多线程投影渲染模块
[0083] 多线程投影渲染模块106，用于实时捕捉影像处理器窗口，同步渲染多路投影影像。
[0084] 9、自动投影融合校正模块
[0085] 自动投影融合校正模块107，用于对多路投影进行几何和颜色矫正将影像投影准确投影到触控区域。
[0086] 自动投影融合校正模块包括可见光摄像机、融合矫正处理单元；所述可见光摄像机用于对投影区域进行图像采集；所述融合矫正处理单元对所述多台投影设备的多路投影进行几何和颜色矫正将影像投影准确投影到触控区域。
[0087] 为了更清楚地对本发明技术方案进行说明，下面分别从触控场景设置、以及触控系统运行两个方面对本发明技术方案进行进一步描述。
[0088] 触控场景的设置包括触控区域设置、摄像机布置及标定、投影仪布置及校正、网络搭建四部分内容。
[0089] 触控区域设置：物理平面(如墙、地面、桌面等)设置宽为 l，高为h的触控区域，本实施例采用激光
水平仪测量确定触控区域的四个
定位角O(0,0)、O2(l,0)、O3(l,h)、O5(0,h)。为了更好的识别四个定位角，采用带红外反射的标记设置在触控区域的四个定位角。
[0090] 摄像机布置及标定：对触控区域配置多个摄像头，相邻摄像机之间保留一个融合区，并确保每一个摄像机监视各自区域的像占图像的比例超过1/2。
[0091] 摄像机标定即求式(3)的单应矩阵H-1，H-1的矩阵表示如式(4)所示。单应矩阵H-1有8个未知数，对式(3)
变形得到式(5)。根据式(5)确定摄像机监视触控区域的四个定位角对应其图像的坐标位置，可以求的单应矩阵H-1唯一的解。如图5所示，设置有三个摄像机C1、 C2、C3，其中C1、C2、C3全为红外摄像机，以摄像机C1为例，其监视区域的四个定位角为O(0,
0)、O1(l/(N+R),0)、O4(l/(N+R),h)、 O5(0,h)，其中N为相机个数，R为预设的重叠区域占比，对应的图像坐标为P1(u1，v1)、P2(u2，v2)、P3(u3，v3)、P4(u4，v4)。摄像机标定模块102包含上述选择对应点，以及计算单应矩阵H-1的全部过程。
[0092]
[0093]
[0094] 其中，(μn,νn)为摄像机摄像图像上的坐标；(Xn,Yn,0)表示与 (μn,νn)对应的触控平面上的坐标。
[0095] 投影仪布置及校正：配置多个投影仪，其投影画面覆盖整个触控区域，相邻投影仪之间保留一个融合区。该过程除了需要用于显示的投影仪之外，还需要设置一个摄像机，摄像机监视整个触控区域，并确保监视区域的像占图像的比例超过1/2。
[0096] 投影仪的矫正的整体思路是要将需要投影的触控区域平面等分成若干大小相等的平面(后面将用网格代表)，如图6所示，计算这些网格在投影平面的像，将需要投影影像采用纹理贴图的方式映射到网格图中，再根据相位信息调整颜色亮度。
[0097] 投影平面与触控区域平面的映射关系满足单应矩阵。根据式 (6)可以求解触控区域网格在投影平面的像。
[0098]
[0099] 其中，(μ,ν)为投影平面的像素坐标，(X,Y,0)为触控区域平面的坐标，Hp为触控区域平面到投影设备平面的单应矩阵。
[0100] 标定投影仪的实施过程即求解单应矩阵Hp：
[0101] (1)计算触控区域平面到摄像机平面的单应矩阵Hc，如图 7所示，触控区域的四个定位点O、O2、O3、O5对应的图像点依次是P5、 P6、P7、P8，根据式(5)得到唯一的Hc。
[0102] (2)计算相机平面到投影仪平面的单应矩阵Hcp，如图7 所示，本实施例中，采用投影仪向触控区域投影棋盘格，可见光摄像机采集棋盘格的角点，根据式(5)得到唯一的Hcp(角点的个数往往大于4，采用最小二乘法求解)。
[0103] (3)根据式(7)，实现投影仪的标定。
[0104] Hp＝Hc×Hcp (7)
[0105] 为了让多个投影融合区域在颜色上平稳过度，可以根据式(8) 对投影融合区的亮度进行由强到弱衰减，进行颜色的拼接融合；或者根据式(9)对投影融合区的亮度进行由弱到强增强，进行颜色的拼接融合；
[0106]
[0107]
[0108] 其中，r为调节系数，本实施例中r＝0.45499；θ为相位系数。
[0109] 自动投影融合校正模块107实现标定投影单应矩阵Hp、映射投影网格点坐标、颜色校正的全部过程。
[0110] 网络搭建：将数据融合模块104、影像处理器105、多线程投影渲染模块106这三个模块都集成的中央处理器，将分布式检测处理客户端103搭建成一个局域网络。
[0111] 触控系统运行部份包括视频检测发布、
数据处理、影像处理、多线程投影渲染四部分。
[0112] 视频检测发布：实时监视触控区域，获取触摸位置在投影平面的像素坐标(μ,ν)，本实施例中对触摸位置区域，即“高亮”区域采用式(10)、式(11)计算的图像坐标，其中Ω表示“高亮”区域，f(i,j) 为触摸位置区域的图像亮度，(i,j)为触摸区域图像像素坐标。
[0113]
[0114]
[0115] 参考各自标定的单应矩阵，根据式(3)将图像坐标映射到触控区域坐标。本实施例中采用以下格式发送到数据融合模块。
[0116]
[0117] 检测处理客户端102包含上述检测触摸点图像坐标位置、映射到触摸区域坐标、坐标信息发布的全部过程。
[0118] 数据处理：开辟多个线程实时接收检测处理客户端103发送的坐标数据，校正所有接入的检测处理客户端103的时间轴，保障可以同时接收到检测处理客户端103传送的数据，并对出现在融合区的数据进行数据融合，统计得到触控位置，工作流程如图8。
[0119] 按坐标位置划分，接入的数据分为非监视融合区与监视融合区两类。处于监视融合区，同一个触控位置，不同检测处理客户端103 获得的坐标存在差异，如图3所示，l1-l5为第一个监视区域的触控位置， r1-r5为第二个监视区域的触控位置，其中l4、l5、r1、r2位于监视融合区域，l5和r1是同一个触控位置的不同检测结果。根据式(12)对监视融合区的数据进行融合处理，其中Dfusion＜d判定为同一个坐标，否则判断为不同的触摸坐标，d为预设数值，(xi,yi)、(xj,yj)分别为摄像机i与摄像机j的映射坐标。统计所有触控位置坐标发送到影像处理器105。
[0120]
[0121] 数据融合模块103包含上述接收数据、时间轴矫正、坐标融合的全部过程。
[0122] 影像处理：实时按照触摸位置的坐标触发设计影像。
[0123] 多线程投影渲染：通过多线程投影渲染模块105，实时对影像分屏处理，融合区域根据式(8)、式(9)进行亮度调整。本实施例中，采用opengl开辟多线程纹理贴的方式，渲染投影画面。
[0124] 本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、单元及方法步骤，能够以
电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0125] 结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的
软件模块，或者二者的结合来实施。软件模块可以置于随机
存储器(RAM)、内存、
只读存储器(ROM)、电可编程ROM、电可擦除可编程 ROM、寄存器、
硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
[0126] 术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法所固有的要素。
[0127] 至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
