技术领域
[0001] 本
发明是关于从先前
帧与当前帧之间的差图像的非零
像素区域快速检测偏振标记的技术，其中先前帧是包含用第一偏振光捕捉的偏振标记的图像，并且当前帧是用第二偏振光捕捉的图像。
背景技术
[0002] 标记辨识、指向、
鼠标、扩增实境、偏振、摄像机、差图像、图像处理发明内容
[0003] 技术问题
[0004] 最近，开发了通过摄像机进行捕捉以及从捕捉的图像辨识监视器中的鼠标
光标图标的指向技术。本发明的目标是提供可在复杂背景图像中检测鼠标光标图标的快速且稳定的系统。
[0005] 本发明的另一目标是解决所述系统在摄像机未捕捉监视器中的鼠标光标图标而是捕捉非监视器的周围环境中的物体时可能将物体误认为鼠标光标图标的问题。
[0006] 技术解决方法
[0007] 本发明是使用偏振差摄像机的图像处理系统，其可通过将不同偏振的2个图像同时输出到监视器屏上、用对应不同偏振捕捉所述2个图像以及比较所述捕捉的2个图像而快速地检测标记。
[0008] 有利效果
[0009] 本发明的目标是提供快速且稳定的系统，其可通过将不同偏振的2个不同图像同时输出到监视器屏上、用对应不同偏振捕捉所述2个图像以及比较所述2个图像来检测标记。通过本发明的图像处理系统检测的所述标记可用于指向或者扩增实境。所述标记也可供自动机用于辨识环境。
[0010] 本发明的图像处理系统搜索所述捕捉的2个图像的差图像的非零像素区域以检测所述标记。如果所述摄像机正在捕捉监视器周围的附近物体，那么所述图像处理系统停止对所述标记的搜索，这是因为差图像中不存在具有检测所述标记的高可能性的区域。因此，可减少CPU的负担以及电
力消耗。如果未使用本发明的图像处理系统，那么CPU的负担以及电力消耗为高，这是因为标记被假定始终存在于捕捉的图像中且图像处理系统始终尝试从捕捉的图像检测标记。
附图说明
[0012] 图2是偏振摄像机的组合。
[0014] 图4是标记图像以及普通图像。
具体实施方式
[0015] 实施例1
[0016] 最近，开发了通过摄像机进行捕捉以及从捕捉的图像辨识监视器中的鼠标光标图标的指向技术。举例来说，存在标题为“使用摄像机以及输出标记的指向装置(Pointing device using camera and outputting mark)”的韩国
专利10-0936816号的技术。所述技术是由本发明的
发明人发明。上文的指向技术包含从奇数帧辨识标记的图像处理系统的实施例，其中监视器在奇数帧中显示标记图像以及在偶数帧中显示普通图像。如图1所示，如果标记是位于监视器的中心区域处的鼠标光标图标ICC并且所述标记周围有足够清晰边际，那么容易检测标记。但是，如果鼠标光标图标ICE触碰监视器屏DS的边界界限并且存在结构(texture)PT类似于鼠标光标图标的结构的物体，那么图像处理系统可能具有区域分鼠标光标图标与监视器外的物体的困难。并且，如果摄像机的镜片是广
角镜片或者如果摄像机与显示器之间的距离长，那么捕捉的图像可含有监视器周围的物体并且所述图像处理系统可能具有从捕捉的图像检测鼠标光标的困难。
[0017] 为了解决以上问题，本发明提供快速图像处理系统，所述系统的处理包含：同时地用第一偏振光将标记输出到偏振玻璃型三维显示器(或者光束投影仪)上以及用第二偏振光输出普通图像；用所述第一偏振光捕捉标记的第一图像以及用所述第二偏振光捕捉的第二图像；以及从所述捕捉的2个图像的差图像检测标记。所述第一以及第二偏振可为圆偏振。进入摄像机的光的偏振可通过将
电压施加到可变
相位延迟器膜PR来调整，所述可变相位延迟器膜是电可调的且在摄像机CM镜片前面附接偏振膜PL，如图2所示。可购买这个可变相位延迟器。举例来说，
网站http：//www.arcoptix.com/variable phase retarder.htm含有关于可变相位延迟器的内容。如图3所示，上文的相位延迟器具有填充在两个玻璃衬底G之间的
液晶L，所述液晶用对准膜以及透明导电
端子涂布。通过在透明导电端子之间施加电压，相位迟延的量可加以调整。如果不存在施加到导电端子的电压，那么液晶如图3所示平行于玻璃衬底，并且可变相位延迟器产生最大量的相位迟延。如果施加的电压增加，那么相位迟延的量通过改变液晶的方向以使得液晶与玻璃衬底之间的角是垂直的而减少。通过将电压施加到可变相位延迟器膜，线性偏振可变换成圆偏振，并且偏振方向可被改变。因此，摄像机可通过将电压施加到可变相位延迟器而捕捉具有特定偏振的图像。
[0018] 从捕捉的图像，监视器(偏振玻璃型三维显示监视器)外的物体PT可如下所述地进行区别：用通过将第一电
信号施加到可变偏振膜(可变相位延迟器以及偏振膜)所获得的第一偏振来捕捉标记；用通过将第二
电信号施加到可变偏振膜所获得的第二偏振捕捉普通图像；计算以上2个捕捉的图像之间的差图像；以及从差图像检测零值像素。
[0019] 监视器外的物体PT的像素值为零，这是因为所述物体在所述2个图像两者中捕捉到。差图像的像素值是输入图像的对应2个像素值的差。举例来说，坐标是(x，y)的差图像的像素值是坐标是(x，y)的2个输入图像的像素值的差。监视器的内部区域是用不同偏振捕获为不同图像，并且监视器的内部区域的差值是非零的。
[0020] 为了容易按照差来检测标记，建议降低普通图像OI的区域的
亮度，其中所述区域对应于标记MK。2个图像的对应区域意味着所述对应区域在所述2个图像重叠的情况下重叠。举例来说，如果普通图像的区域MK的亮度如图4所示地降低，其中所述区域对应于标记，那么差值为正。如果差阶数被定义为从标记图像MI减去普通图像OI，那么标记周围的区域的差值为零或者负值，这是因为标记图像中的标记周围的像素值为0或者极小值(暗像素)并且普通图像中的对应区域的像素值为零或者正值(亮像素)。因此，差图像中的正像素区域具有含有标记的高概率。标记可容易通过在用第一偏振捕捉的标记图像中搜索这种高概率区域来检测。
[0021] 在本发明中，一阶差被定义为经
修改普通图像与标记图像之间的差，其中经修改普通图像意味着对应于标记的区域的亮度降低。
[0022] 如果摄像机静止不动，那么差中的仅标记区域的像素值为正值并且标记周围的另一区域的像素值为负值或者零。然而，如果摄像机是移动的，那么差图像中的标记以及显示器周围的物体的边界的像素值可为正值。在这种情况下，标记可通过从差图像中的正像素值区域移除物体的边界区域来检测。在本发明中，这种从一阶差图像移除物体的边界区域被定义为二阶差。
[0023] 建议根据标记图像而非普通图像来计算边界区域，这是因为来自普通图像的边界区域也可能含有在显示器内的物体的边界。
[0024] 这些概括如下：
[0025] (步骤1)捕捉用第一偏振显示的标记图像。
[0026] (步骤2)用第二偏振捕捉经修改普通图像，其中修改意味着普通图像中的对应标记区域的亮度降低。
[0027] (步骤3)从以上2个捕捉的图像之间的(一阶)差图像检测正像素值区域。
[0028] (步骤4)从步骤1中所捕捉的标记图像检测物体的边界的区域。
[0029] (步骤5)从通过从步骤3的正像素值区域移除步骤4的(二阶差)边界区域而获得的区域检测标记。
[0030] 建议在步骤5中移除包含所述边界区域的略微较大的区域。摄像机的运动的速度越快，移除较大区域越好。在步骤4中，坎尼
边缘检测器(canny edge detector)可用以检测物体的边界。然而，这种检测器具有检测的边界根据给定输入参数以及临限值而改变并且检测的边界的厚度与摄像机的运动速度无关的问题。在本发明中，建议使用按照差的以下边界检测器而非坎尼边缘检测器。
[0031] 接下来的表展示捕捉的顺序：
[0032] 表1
[0033]时间 捕捉的图像
T-2 标记图像0
T-1 普通图像1
T 标记图像2
T+1 普通图像3
[0034] 如果当前时间为T，那么建议使用差图像作为边界图像，其中差图像是在时间T-2处的标记图像0与时间T处的标记图像2之间计算(在本发明中，这个差图像是按照差定义为边界图像)。
[0035] 通过使用以上方法，检测的边界的厚度与摄像机的运动的速度成正比。这意味着二阶差图像在步骤5中更清楚，这是因为一阶差图像中的正像素的区域的厚度以及按照差的边界图像的厚度几乎相同。
[0036] 如果边界在步骤4中是按照坎尼边缘检测并且这个检测的边界将在步骤5中使用，那么边界区域不可被完全移除，这是因为通过坎尼边缘检测器检测的这个边界的厚度与摄像机的运动速度无关，而1阶差图像中的边界的厚度是可变的(与摄像机的运动速度成正比)。
[0037] 通过以上方法检测的标记或鼠标光标图标可用于指向。换句话说，可产生指向信号，使得鼠标光标图标移动到摄像机的观察方向。
[0038] 如果用户停止指向并且将摄像机放在桌子上，那么摄像机可捕捉物体而非显示器。在这种情况下，如果在监视器周围存在类似于鼠标光标图标的结构，那么如韩国专利权10-0936816的传统技术的图像处理系统可将所述结构与鼠标光标图标混淆。然而，通过使用本发明的差图像演
算法，图像处理系统可认识到不存在标记，这是因为一阶差图像的所有像素值为零并且可停止接下来的其他图像处理，如计算二次差。即，程序可容易且快速地辨识标记的不存在、停止用于标记侦测的进一步处理(即，用于计算二阶差图像的步骤)并且减少CPU的负担以及减少电力消耗。如果摄像机与显示器之间的距离长，那么捕捉的图像中的鼠标光标小并且图像处理系统可具有辨识小的鼠标光标图标的困难。然而，本发明的图像处理系统可检测小的鼠标光标图标，这是因为检测来自二阶差图像的正像素是足够的，即使鼠标光标图标的形状太小而不能被辨识。也就是说，本发明的图像处理系统可在比传统系统远的距离下稳定地检测标记。
[0039] 当今，电视家庭购物节目显示QR码。作为标记及普通图像的这种QR码图像可分别用不同偏振同时地显示于监视器(偏振玻璃型3D监视器)上并且QR码可通过本发明的图像处理系统来检测。标记也可显示于显示器矩形的4个
顶点处并且可被检测以及通过计算摄像机与标记之间的距离以及方向而可用于扩增实境。
[0040] 本发明的模式
[0041] 实施例2
[0042] 本实施例为实施例1的修改。
[0043] 实施例1是有关于计算两个捕捉的图像之间的差图像的图像处理系统，其中所述两个图像是用不同偏振加以偏振并且第一图像是黑色空白图像的组合图像(空白图像是所有像素值都相同的图像)，并且第二图像是经修改普通图像，其中对应于标记的区域的亮度下降。
[0044] 相比而言，本实施例使用第一图像以及第二图像，其中第一图像是标记的第一色彩(例如，红色)分量图像与普通图像的第一色彩的互补色分量图像的组合，并且第二图像是标记的第一色彩的互补色分量图像与普通图像的第一色彩分量图像的组合。
[0045] 对于给定的全色图像，第一色彩(例如，红色)分量图像意谓除第一色彩分量(红色)外的所有色彩分量值(红色、蓝色、绿色)被修改为零的图像。换句话说，给定的全色图像的红色分量彩色图像是蓝色以及绿色分量值为零并且红色分量值相同于给定的全色图像的图像。
[0046] 如果如此色彩组成的第一以及第二图像是用不同偏振同时显示于偏振玻璃型3D监视器上，那么用户的眼睛将所述图像感测为全色图像。
[0047] 通过分别用第一偏振以及第二偏振滤光器捕捉以上色彩组成图像以及选择第一色彩分量图像，标记图像可自如图4所示的第一偏振图像MI获得，其中标记区域亮且其背景区域暗，并且普通图像可从第二偏振图像OI获得，其中标记区域暗且另一区域亮。通过从以上两个捕捉的图像计算(一阶)差图像(换句话说，第一偏振图像的第一色彩分量图像MI与第二偏振图像的第一色彩分量图像OI之间的差)，接着差图像的标记区域的像素值为正并且另一区域的像素值为负或零。如果摄像机在移动，那么监视器外的物体的边界可产生正差值。在这种情况下，如实施例1中所示，像素值为正的标记区域可通过从一阶差图像移除边界区域而获得，其中边界区域是通过二次差而获得。
[0048] 因此，标记可通过从最终差图像搜索正像素值的区域而容易被检测，其中最终差图像是通过一阶以及二阶差程序获得。
[0049] 实施例3
[0050] QR码可显示到偏振玻璃型3D监视器上。另一方面，通过从透明偏振膜切割多个孔来形成QR码是可能的，并且这种透明QR码可贴附在墙上。这种透明QR可被捕捉并且可通过实施例1的方法来辨识。举例来说，QR码的白色区域可从透明偏振膜切割并且贴附到白色墙上。如果贴附的
薄膜是用第一偏振捕捉，那么所述膜的孔的像素为白色并且所述膜为黑色。如果贴附的膜是用第二偏振捕捉，那么孔的所有像素以及所述膜是白色的。
[0051] 因此，通过计算两个捕捉的图像的差图像，可检测QR码。这种透明偏振QR码可解决印刷在纸张中的传统白色以及黑色QR码在视觉上令人不愉快的问题。这种透明QR码可编码关于纬度及经度或者室内
位置坐标的信息，并且信息可通过自发导航自动机(例如，清洁自动机)使用。
[0052] 实施例4
[0053] 先前实施例是有关于通过在用第一偏振捕捉图像之后用第二偏振捕捉图像来连续地捕捉图像的系统。相比而言，具有不同偏振的两个图像可通过使用图像
传感器含有偶数像素上的第一偏振滤光器以及奇数像素上的第二偏振滤光器的偏振摄像机同时地捕捉。这种图像传感器被称作偏振图像传感器。这种偏振滤光器图案类似于图像传感器的像素上的原色(红色、蓝色、绿色)滤光器图案。原色分量图像可从通过彩色图像传感器捕捉的彩色图像获得。类似地，第一偏振分量图像以及第二偏振分量图像可从通过偏振图像传感器捕捉的图像获得，并且差图像可从所述两个偏振分量图像计算。
