本发明涉及将白板结合到投影仪—摄像机系统中的系统，尤其涉及通过采用视觉回波消除技术发送用于远程协作的白板工作表面的清晰图像的系统和方法。

在过去的几年中，视频摄像机和投影仪经历了从昂贵的实验室器材到花费得起的消费者产品的转换。这触发了许多人类—计算机交互系统的创建，它们结合了由投影仪提供的大尺寸显示和来自一个或多个摄像机的智能反馈两者。另一方面，白板仍是许多会议(包括演讲、演示和集体讨论)的不可缺少的一部分，因为它为会议参与者提供了大的共享空间，以集中他们的注意力，并自发地表达和交换他们的意见。
先前的工作已将白板集成到投影仪—摄像机系统中。然而，这些先前的工作大多数集中在同一物理位置上的组协作上。另一方面，当在有远程参与者的情况下，白板的使用会引起各种问题。例如，远程会议参与者无法提供写在白板上的内容，因为他们物理上不在与白板相同的位置。另外，通过网络将白板的图像发送到远程参与者使用大量的网络带宽，并且通常相当慢。
因此，需要的是一种用于捕捉并发送写在白板上的内容的系统和方法，这些内容可通过网络以清晰的方式传输到远程参与者，而无需大量的带宽。该系统应当也允许远程参与者提供白板内容，并允许将白板内容存档用于在以后的日子里察看。

本发明的系统和方法通过将白板同时用作书写表面和投影表面，将白板集成到投影仪—摄像机系统中。本发明用摄像机捕捉白板的图像序列或视频，并将白板上书写的内容从投影到其上的内容中分离出来。
通过在原始的计算机演示上数字地添加所提取的书写内容用于在远程场所显示，远程出席者可具有比仅观看在白板上的书写内容不可用的情况下所发送的显示内容更好的观看体验。他们也可具有比仅观看原始显示内容质量较差的原始白板视频更好的观看体验。此外，如果远程出席者向本地会议室发送一注释，则该注释将被投影，但是它不会被发送回远程场所。根据音频会议中的回波消除类推，这被称为视觉回波消除。在严格的定义上，视觉回波是由摄像机观察到的所投影的注释(从远程出席者)的样子。然而，由于计算机演示被发送到远程出席者用于更好的观看质量，也必须考虑所投影的演示作为视觉回波的样子。如果可从投影在白板上的项目的视频或图像序列中仅提取具体书写内容，则视觉回波消除得以解决。为此，需要对由摄像机观看到的计算机投影的内容的样子的准确预测。这进而要求两个基本组件：几何校准和色彩校准。几何校准关注摄像机视域中的位置和投影仪屏幕中的位置之间的映射，在本情况中投影屏幕为白板。色彩校准关注投影的内容的实际色彩与摄像机所见到的色彩之间的映射。
依照本发明的系统和方法可以使用的一个典型的过程如下。最初，获取几何校准数据和色彩校准数据。捕捉在其上投影了项目的白板的图像或视频，诸如投影演示或由远程参与者作出的注释，以及书写在物理白板上的内容。然后，计算给定捕捉图像的视觉回波。然后使用视觉回波消除以将白板上书写的内容从投影的内容(如，远程参与者的注释和电子演示)中隔离。书写内容可被发送到远程参与者，以结合所发送的演示和由远程参与者作出的注释在远程显示上显示。类似地，书写可被存档用于将来的察看。
依照本发明的系统和方法的若干直接的优点是计算机演示和白板讨论被无缝地集成到一个会话中。会议出席者不会因将其注意力从投影仪屏幕切换到白板而分散注意力，反之亦然。此外，这一系统使本地和远程出席者能够在单个相互共享的工作空间上彼此协作。本地出席者具有比使用诸如电子白板等商业大显示产品更自然的书写表面。更重要的是，该系统可在现有会议环境上面容易地安置。因此，本发明的系统和方法比大多数需要专门安装通常昂贵的器材和附件的大显示产品经济得多。
除上述的益处之外，当结合附图阅读以下的详细描述时，可以更清楚本发明的其它优点。

参考以下描述、附图和所附权利要求书，可以更好地理解本发明的具体特征、方面和优点，附图中：图1是描述构成用于实现本发明的一个示例性系统的通用计算设备的通用系统图。
图2所示是依照本发明的投影仪—摄像机—白板系统。
图3所示是用于依照本发明将投影的内容和白板书写内容分离的通用过程的示例性流程图。
图4所示是用于依照本发明的几何校准过程的流程图。
图5所示是由依照本发明的系统和方法采用的角检测过程的流程图。
图6所示是由依照本发明的系统和方法采用的色彩校准过程的流程图。
图7所示是由依照本发明的系统和方法采用的估算视觉回波的流程图。
图8所示是由依照本发明的系统和方法采用的消除视觉回波的流程图。
图9所示是通过使用依照本发明的视觉回波消除系统和方法获得的实验结果。

在以下本发明的较佳实施例的描述中，参考附图，其形成了本发明的一部分，并且其中通过图示示出了可实施本发明的具体实施例。可以理解，也可以使用其它实施例，并可以在不脱离本发明的范围的情况下作出结构上的改变。
1.0示例性操作环境图1示出了适合在其中实现本发明的计算系统环境100的一个示例。计算系统环境100仅为合适的计算环境的一个示例，并非暗示对本发明的使用范围或功能的局限。也不应将计算环境100解释为对示例性操作环境100中示出的任一组件或其组合具有任何依赖或需求。
本发明可以使用众多其它通用或专用计算系统环境或配置来操作。适合使用本发明的众所周知的计算系统、环境和/或配置的示例包括但不限于，个人计算机、服务器计算机、诸如蜂窝电话和PDA等手持式、膝上或移动计算机或通信设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费者电子设备、网络PC、小型机、大型机、包括任一上述系统或设备的分布式计算环境等等。
本发明可以在诸如由计算机执行的程序模块等计算机可执行指令的一般上下文环境中描述。一般而言，程序模块包括例程、程序、对象、组件、数据结构等等，执行特定的任务或实现特定的抽象数据类型。本发明也可以在分布式计算环境中实施，其中，任务由通过通信网络连接的远程处理设备来执行。在分布式计算环境中，程序模块可以位于本地和远程计算机存储介质中，包括存储器存储设备。参考图1，用于实现本发明的示例性系统包括计算机110形式的通用计算装置。
计算机110的组件可包括但不限于，处理单元120、系统存储器130以及将包括系统存储器的各类系统组件耦合至处理单元120的系统总线121。系统总线121可以是若干种总线结构类型的任一种，包括存储器总线或存储器控制器、外围总线以及使用各类总线体系结构的任一种的局部总线。作为示例而非局限，这类体系结构包括工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、增强ISA(EISA)总线、视频电子技术标准协会(VESA)局部总线以及外围部件互连(PCI)总线，也称为Mezzanine总线。
计算机110通常包括各种计算机可读介质。计算机可读介质可以是可由计算机110访问的任一可用介质，包括易失和非易失介质、可移动和不可移动介质。作为示例而非局限，计算机可读介质包括计算机存储介质和通信介质。计算机存储介质包括以用于储存诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任一方法或技术实现的易失和非易失，可移动和不可移动介质。计算机存储介质包括但不限于，RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储设备、或可以用来储存所期望的信息并可由计算机110访问的任一其它介质。通信介质通常在诸如载波或其它传输机制的已调制数据信号中包含计算机可读指令、数据结构、程序模块或其它数据，并包括任一信息传送介质。术语“已调制数据信号”指以对信号中的信息进行编码的方式设置或改变其一个或多个特征的信号。作为示例而非局限，通信介质包括有线介质，如有线网络或直接连线连接，以及无线介质，如声学、RF、红外和其它无线介质。上述任一的组合也应当包括在计算机可读介质的范围之内。
系统存储器130包括以易失和/或非易失存储器形式的计算机存储介质，如只读存储器(ROM)131和随机存取存储器(RAM)132。基本输入/输出系统133(BIOS)包括如在启动时帮助在计算机110内的元件之间传输信息的基本例程，通常储存在ROM131中。RAM132通常包含处理单元120立即可访问或者当前正在操作的数据和/或程序模块。作为示例而非局限，图1示出了操作系统134、应用程序135、其它程序模块136和程序数据137。
计算机110也可包括其它可移动/不可移动、易失/非易失计算机存储介质。仅作示例，图1示出了对不可移动、非易失磁介质进行读写的硬盘驱动器141、对可移动、非易失磁盘152进行读写的磁盘驱动器151以及对可移动、非易失光盘156，如CD ROM或其它光介质进行读写的光盘驱动器155。可以在示例性操作环境中使用的其它可移动/不可移动、易失/非易失计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字视频带、固态RAM、固态ROM等等。硬盘驱动器141通常通过不可移动存储器接口，如接口140连接到系统总线121，磁盘驱动器151和光盘驱动器155通常通过可移动存储器接口，如接口150连接到系统总线121。
图1讨论并示出的驱动器及其关联的计算机存储介质为计算机110提供了计算机可读指令、数据结构、程序模块和其它数据的存储。例如，在图1中，示出硬盘驱动器141储存操作系统144、应用程序145、其它程序模块146和程序数据147。注意，这些组件可以与操作系统134、应用程序135、其它程序模块136和程序数据137相同，也可以与它们不同。这里对操作系统144、应用程序145、其它程序模块146和程序数据147给予不同的标号来说明至少它们是不同的副本。用户可以通过输入设备，如键盘162和定点设备161(通常指鼠标、跟踪球或触摸板)向计算机110输入命令和信息。其它输入设备(未示出)可包括麦克风、操纵杆、游戏垫、圆盘式卫星天线、扫描仪等等。这些和其它输入设备通常通过耦合至系统总线121的用户输入接口160连接至处理单元120，但是也可以通过其它接口和总线结构连接，如并行端口、游戏端口或通用串行总线(USB)。监视器191或其它类型的显示设备也通过接口，如视频接口190连接至系统总线121。除监视器之外，计算机也可包括其它外围输出设备，如扬声器197和打印机196，通过输出外围接口195连接。
此外，计算机110也可包括能够捕捉图像序列193的摄像机192(诸如数码/电子照相机或摄影机，或胶片/照片扫描仪)，作为输入设备。此外，尽管仅描述了一个摄像机192，然而可包括多个摄像机作为计算机110的输入设备。多个摄像机的使用提供了同时或顺序地捕捉图像的多个视图的能力，以捕捉三维或深度图像，或捕捉场景的全景图像。来自一个或多个摄像机192的图像193通过适当的摄像机接口194输入到计算机110。该接口连接到系统总线121，由此允许图像193被路由并储存到RAM 132中，或与计算机110相关联的其它上述数据存储设备中的任一个。然而，注意，图像数据也可以从上述计算机可读介质中的任一个输入到计算机110中，而无需使用摄像机192。
计算机110可以在使用到一个或多个远程计算机，如远程计算机180的逻辑连接的网络化环境中操作。远程计算机180可以是个人计算机、服务器、路由器、网络PC、对等设备或其它公用网络节点，并通常包括许多或所有上述与计算机110相关的元件，尽管在图1中仅示出了存储器存储设备181。图1描述的逻辑连接包括局域网(LAN)171和广域网(WAN)173，但也可包括其它网络。这类网络环境常见于办公室、企业范围计算机网络、内联网以及因特网。
当在LAN网络环境中使用时，计算机110通过网络接口或适配器170连接至LAN171。当在WAN网络环境中使用时，计算机110通常包括调制解调器172或其它装置，用于通过WAN173，如因特网建立通信。调制解调器172可以是内置或外置的，通过用户输入接口160或其它合适的机制连接至系统总线121。在网络化环境中，描述的与计算机110相关的程序模块或其部分可储存在远程存储器存储设备中。作为示例，而非局限，图1示出远程应用程序185驻留在存储器设备181中。可以理解，示出的网络连接是示例性的，也可以使用在计算机之间建立通信链路的其它装置。
现在已经讨论了示例性操作环境，本描述的剩余部分将专用于实施本发明的程序模块和过程的讨论。
2.0投影仪—摄像机—白板系统中的回波消除系统和方法本发明的系统和方法通过将白板同时用作书写表面和投影表面，而将白板集成到投影仪—摄像机系统中。本发明捕捉视频或白板的图像序列，并从投影的图像中分离出白板上的书写内容。为各种原因能够从投影的内容中分离出白板书写内容是非常有益的。例如，它动态地降低了对于电话会议的带宽要求，因为与受阴影和光照变化影响的原始混合视频相比，所提取的书写内容和计算机投影的内容都可以用非常低的带宽来发送。另外，所提取的书写内容对归档和离线浏览会议是必需的。在白板上书写通常指示会议中的重要事件。通过将结果反馈到光学字符识别(OCR)系统，可以更容易地访问会议档案并将其以其它形式传输。
2.1系统综述图2示出了本发明的投影仪—摄像机—白板系统200的一个实施例。本地会议室202配备了投影仪204、摄像机206和白板208。投影仪204和摄像机206较佳地严格地连接在一起，尽管理论上它们可以位于任何地方，只要投影仪投影在白板208上，且摄像机能够看见整个投影区域(被称为投影仪空间)。投影仪204和摄像机206链接(无线或不无线地)到计算机210，并且计算机链接到通信网络(如内联网或因特网)212。远程出席者214也将其计算机链接到通信网络212。会议室中的计算机和远程计算机之间的数据传输较佳地通过实时传输协议(RTP)来进行。
电子演示216通过视频混合器218和投影仪204投影在白板208上，并且也通过网络212发送到远程参与者214用于在远程参与者处显示。演示216可以是，例如，幻灯片演示、电子表格、PDF文件等等，它们是通常在会议、演讲或集体讨论会话中呈现的任何内容。演示220的数据流由图2中的“P”指示。远程出席者214可注释该演示，并且注释流222由“A”指示。演示数据流“P”220和注释数据流“A”222在发送到投影仪204以将它们投影在白板208上之前，通过视频混合器218混合在一起。在演示过程中，演示者或其它本地出席者可在白板上书写或绘画。摄像机206捕捉投影的内容和书写内容两者。通过几何和色彩校准，系统预测由摄像机观看到的所投影的“P”和“A”数据流的样子，即，视觉回波。计算机210中的视觉回波消除模块224通过从由摄像机捕捉的现场视频/图像中减去预测的视觉回波，仅提取白板226上的书写内容，由“W”指示。在远程端，演示数据流“P”和白板书写流“W”226在远程出席者的计算机显示器230上显示之前通过混合器228混合。
依照本发明的系统和方法可使用的一个典型过程在图3中示出。如图3所示，在处理行动302，获取几何校准数据。类似地，如处理行动304所示，获取色彩校准数据。捕捉其上投影了项目的白板的图像或视频，例如，投影的演示和/或由远程参与者作出的注释，以及书写在物理白板上的书写内容，如处理行动306所示。然后，如处理行动308所示，计算捕捉的图像的视觉回波。然后使用视觉回波消除以从投影的内容(如，远程参与者的注释和电子演示)中隔离出书写在白板上的书写内容，如处理行动310所示。书写内容可被发送到远程参与者，以结合所发送的演示和由远程参与者作出的注释在远程显示器上显示。同样，书写内容可被存档用于将来的察看(处理行动312)。
上述系统和过程的各种细节在以下段落中提供。
2.2几何校准对于视觉回波消除，需要知道摄像机视域的位置和投影仪屏幕的位置之间的关系。这是几何校准的任务。假定摄像机和投影仪是可线性投影的(linearprojective)，并且白板表面是平坦的，则可容易地示出在摄像机视域中的点和投影仪屏幕/白板中的点之间的映射是单应性的(homography)，并且可由被定义至缩放系数的3×3矩阵H来描述。
对于几何校准，假定摄像机和投影仪都是可线性投影的，并且通过充分利用投影仪可活动地投影期望的图案的事实实现了一种健壮、准确且简单的技术。
图4示出了由依照本发明的系统和方法采用的几何校准过程的简化流程图。在一个起作用的实施例中，整个几何校准过程耗时少于2分钟，并且仅当摄像机相对投影仪移动时才是必需的。如图4所示，在处理行动402，最初将N个矩形顺序地投影到白板上，并同时使用固定的摄像机捕捉其图像。在本发明的一个起作用的实施例中，使用N＝40。下一步，如处理行动404所示，检测图像中每一矩形的四个角，如以下段落中所讨论的。然后，使用这4×N个检测的角及其在投影仪空间中的对应已知位置来估算投影仪屏幕/白板和摄像机图像平面之间的单应性(处理行动406)。投影仪空间可以被视为计算机显示屏的虚拟平面。由于可控制在计算机屏幕的何处显示矩形，因此角在投影仪空间中的位置是已知的。应当注意，理论上，仅需要四个点(即，一个矩形)来估算单应性。为达到更高的准确率，本发明的系统和方法使用投影到白板的不同位置上的更多的矩形。与其它几何校准方法相比，依照本发明的系统和方法利用了摄像机和投影空间之间的相对位置在校准过程中是固定的这个事实。因此，不同的图像中检测到的对应性可用于估算单个单应性，这提高了系统和方法的准确度和健壮性，而不会使角检测算法复杂化。
2.3几何校准的角检测可用于角检测的一个过程在图5中示出。该角检测过程通过将彩色图像转换成灰度级图像开始，如处理502所示。为降低边缘图(edge map)中的噪声并提高对比度，需要找出所投影的矩形内部和外部的区域，并量化灰度级值。由于内部区域是亮且均匀的，因此它形成了直方图的较高范围的峰值p1，而背景形成了较低范围的峰值p2。使用一种基于从粗到细直方图的方法来找出两个峰值，并将较高的阈值设为h1=34×p1+14×p2,]]>将较低的阈值设为h2=14×p1+34*p2.]]>h1以上的所有像素的灰度级值被设为h1，而低于h2的那些像素的灰度值被设为h2，中间的保持不变。然后使用常规的边检测方法之一在灰度级图像中检测矩形的边缘，以创建边缘图(处理行动504)。然后使用Hough变换来检测边缘图上的直线(处理行动506)。然后使用这些线拟合一四边形，如处理行动508所示。然后找出该四边形的角(处理行动510)。
2.4色彩校准对于视觉回波消除，对白板上的投影仪空间中的给定像素，通过上述几何校准知道了其在摄像机空间中的对应位置。然而，也需要知道在捕捉的图像/视频中投影仪空间中的对应色彩看上去应当是什么，这由色彩校准来确定。投影仪空间中相同的色彩在摄像机中看上去不同，这取决于色彩被投影到白板上的何处。这是由于投影仪的灯泡不产生均匀的光照，房间中的光照是闪烁且不均匀的，并且白板的表面不是朗伯的(Lambertian)。因此，色彩校准应当是依赖色彩和位置的。
对于色彩校准，视觉回波的像素被模型化为独立的高斯随机变量，并且使用一基于查找表的方法。注意，几何校准和色彩校准应当对不同于视觉回波消除的其它任务都是有用的，如投影仪的自动梯形失真(keystone)纠正。
图6示出了色彩校准的流程图。如图6所示，在处理行动602，该过程通过将RGB色彩空间量化成箱(bin)开始。在本发明的一个起作用的实施例中，使用了9×9×9或729个箱。在处理行动604，将每一量化的色彩投影到整个显示区域，并且同步地捕捉其图像，为每一色彩储存n个帧(处理行动606)。在一个起作用的实施例中，对每一色彩储存5个帧。在处理行动608，使用几何校准中找到的单应性H将每一图像扭曲变换(warp)到投影的屏幕坐标。该显示区域被均匀地划分成矩形块(如，32×32或1024)，并且跨n帧计算每一块中每一色彩的均值和方差，如处理610所示。均值和方差被输入到色彩C的查找表中(处理行动612)，并且投影下一色彩，直到投影了所有量化的色彩(处理行动614和616)。
使用图6的过程，在每一块(如，1024个块)上为量化的色彩(如，729)构建一查找表。注意，空间维数是必需的，因为同样投影的色彩在屏幕/白板的不同位置将具有不同的外观。如果对每一像素位置构建一查找表，可获得最佳结果，但是基于实验数据，这看上去是不必要的，因为色彩外观在显示表面上平滑地改变。
通常，执行色彩校准过程一次就足够。然而，如果投影仪的某些设置(色彩温度、对比度或亮度)或者摄像机的某些设置(曝光或白平衡)改变，则可能必须再次执行色彩校准。在本发明的一个实施例中，以10fps投影和捕捉729×n(当n＝5时，＝3645)个帧(以确保投影和捕捉是同步的)花费大约6分钟。
2.5视觉回波消除以下段落描述了视觉回波估算和消除过程。
2.5.1视觉回波估算给定所捕捉的对象的任意显示内容(处理行动702)，本发明的系统和方法通过最初用色彩校准过程中定义的查找表中的对应平均色彩替换每一像素(处理行动704)来估算视觉回波E，如图7所示。对于不在表中的色彩，使用两个最接近的箱的线性内插。然后，如处理行动706所示，图像中的每一像素被扭曲变换到摄像机视域。为获取对每一像素误差范围的估算，也查找并扭曲变换方差以获取像素范围的方差映射V(处理行动708)。
2.5.2视觉回波消除图8示出了依照本发明的通用视觉回波消除过程的流程图。其细节在以下小节中解释。如图8所示，在处理行动802，将包含诸如演示和任何注释等投影内容的白板的图像，以及对其计算视觉回波的可能的白板书写内容输入到系统中。使用所捕捉的图像的反照率与视觉回波的反照率之比，将图像的投影内容(如，投影的演示和注释)与纠正的图像(视觉回波)进行比较，如处理过程804所示。使用反照率之比，识别出白板上的书写内容(与投影的内容相对)，并恢复其色彩，如处理行动806所示。
2.5.2.1捕捉图像的生成过程通过用记号笔在白板上书写/绘画，实际上改变了白板的表面反照率，并因此改变了反射。因此，在一般意义上，提取白板上的书写内容归结为检测表面反照率的改变。
假定所有的图像都是几何上对齐的，并且用P表示入射光映射，用A表示白板的表面反照率，用C表示由摄像机传感器引起的像素范围色彩变换，并用E表示视觉回波，可得E＝C×A×P。如果在白板上没有书写内容，则捕捉的图像I应等于E。如果在白板上书写了内容，则表面反照率改变，并且用 表示。捕捉的图像然后可以用I=C×A~×P]]>描述，可通过估算色彩通道c∈{R，G，B}中像素[x，y]的反照率比a=A~/A]]>来计算反照率改变，给出如下：
a[x,y],c=I[x,y],cE[x,y],c---(1)]]>注意，白板上的书写内容吸收了光，因此A~<A,]]>并且结果，a[x，y]，c≤1。基于反照率比a，可检测书写内容并恢复其色彩。没有书写内容的白板区域的反照率应当为1。假定反照率上的传感器噪声是加性的，并且具有方差为 的零均值高斯分布，以下决策规则可得：当且仅当1-a[x,y],R+a[x,y],G+a[x,y],B3>V[x,y],R+V[x,y],G+V[x,y],BE[x,y],R+E[x,y],G+E[x,y],B---(2)]]>像素[x，y]属于书写区域。
注意，决策理论是单边的，因为如上所述，白板书写区域的反照率比严格小于1。
对于属于书写区域的每一像素[x，y]，可用其色彩恢复该书写内容，如W[x，y]，c＝a[x，y]，c×255                 (3)假定色彩强度范围从0到255。
2.5.2.2实际考虑事项由于几何校准中的噪声，I和E不完全对齐。在E中的强边(strong edge)附近，最多有1到2个像素的误差。因此，在书写区域部分，首先在E上应用侵蚀(erosion)，它增加了暗区域。侵蚀是一种标准的图像形态操作。在二进制图像中，它向具有某一邻域图案的像素分配0(黑)值。它扩展到灰度级和彩色图像。本发明的系统和方法使用其在彩色图像中的扩展。由此，E中黑区域附近的像素具有较高的A，并且较不可能被分类为书写区域。这一预处理减少了误差，因为为了令书写更可见，大多数用户偏爱在较亮的背景上面书写，而非在较暗的背景上书写。
实际上，为使W中的色彩可见，需要将摄像机的曝光设置为高于常态。这将导致色彩校准期间的过曝光(over-exposure)。本发明的系统和方法通过为色彩校准设置曝光优化，并使用分类方法来恢复书写的色彩，解决了这一问题。选择四种最常用的记号笔(红、黑、蓝和绿)作为分类M0～M3。对于受监控的训练，使用公式(2)和(3)来恢复书写W的设置，然后将其从RGB色彩空间转换到HSI(色调、饱和度和强度)色彩空间，并将新图像表示为W′。类别Mi的训练数据通过选择由记号笔i书写的区域，并收集其直方图ni(h，s，i)来手动加标签。
为分类从公式(3)中获得的像素W[x，y]，将其RGB值转换成HSI空间中的W′[x，y]，并评估它属于聚类i的似然性为p([x,y]|Mi)=ni(W[x,y]h′,W[x,y]s′,W[x,y]i′)Ni]]>对i＝0，...3              (4)其中，Ni是直方图i中数据点的总数。
由于摄像机传感器中的噪声，MAP决策规则可能无法给出空间一致的结果，因此使用61×61的窗来从邻域中所有的像素收集投票，并基于最大投票对中心像素进行分类。
3.0实验结果利用各种投影仪(包括InFocus LP530和Proxima DP6155)和各种视频摄像机(包括Aplex USB2、Logitech Pro4000和SONY EVI30)，在人工照明和自然照明条件下使用几何校准方法。基于对应性的解决单应性的拟合误差范围从0.3到0.7像素。
对于色彩校准，使用了SONY投影仪和EVI30摄像机。将估算的视觉回波E与实际捕捉的图像I进行比较，平均误差大约为3(色彩强度范围0～255)。大多数差异围绕在强边的区域周围，这是由于几何校准中的噪声。
图9示出了在各种背景上所得的视觉回波消除结果。可以看到，除非常复杂的背景上的部分之外，大多数书写内容都被恢复。然而，在这一情况下，即使人类的眼睛也很难辨别出书写内容。
为说明和描述目的提出了本发明的以上描述。它并不意味着本发明的全部或将本发明限于所解释的精确形式。鉴于上述教程，许多修改和变化都是可能的。本发明的范围并非由该详细描述，而是由所附权利要求书来限制。