本发明涉及将由计算机生成的视频图像和信息(CG：ComputerGraphics)重叠到现实世界的视频图像中的视频图像合成设备及视频图像合成方法，特别涉及向使用者关注的在现实空间区域上的CG显示控制。

使用在现实世界的视频图像上重叠了CG的视频图像、支持各种行动的技术，作为与扩张现实感(AR：Augmented Reality)和复合现实感(MR：Mixed Reality)相关的技术，研究非常活跃。例如，有为透视患者体内情况而提示医师的医疗辅助的用途、在工厂中将产品的组装顺序重叠显示到实物上的操作辅助的用途、还有在现实风景中指导显示地名和名称等的用途等。
然而，通过重叠显示CG，会存在由CG隐藏而看不见的现实空间区域。如果隐藏的区域是使用者不感兴趣的区域则没有问题，但以往由于没有那样的考虑，即使是使用者关注的现实空间区域，也按照预先设定的内容进行了CG重叠。
在G.Reitmayr and D.Schmalstieg.“Mobile CollaborativeAugmented Reality”In Proc.IEEE Virtual Reality 2001，pages 114-123中，由AR系统中的关于CG显示位置的分类(Head-stabilized：根据用户的视点来固定信息、Body-stabilized：根据用户的身体的位置来固定信息、World-stabilized：与现实世界的位置一致地来调整信息)，特别是进行移动AR系统中的适当的CG显示位置的考察。另外，在日本专利申请公开特开2000-276610号公报(JP-A-2000-276610)中关于代理显示(agent display)等，提案出一种不使用户感到不适地显示使用方便的代理人物(agent character)的系统。但是两者关于CG显示的情况都是利用一些试探法(经验法则)，而没有考虑关注的现实空间被CG覆盖而隐藏的情况。
另外，显示特定的现实物体(例如使用者的手等)使其始终可见的技术(掩码处理技术)，也使用例如色度键技术等来实现。可是，现实世界是时刻变化着的，使用者并不总是关注同一个现实物体。
由这种情况，在使用者想要观察的现实空间区域被CG隐藏的情况下，则使用者一般(1)卸下HMD，如果可能，(2)切换显示CG和现实图像，甚至如果可能，(3)(构成妨碍的CG)选择虚拟物体，移动到其他地方。由于在(2)中，一齐显示/不显示全部的CG，故不能有选择地仅显示一部分CG，另外，在(3)中，必须进行所谓“选择移动”虚拟物体的烦琐的操作。

本发明就是鉴于这样的现有技术的问题点而完成的，其主要目的是，实现一种将由计算机生成的图像重叠到使用者观察的现实世界中的视频图像合成装置，可进行控制以通过简便的设定，在使用者想关注的现实空间区域中不进行CG显示。
为此，本发明的第1技术方案提供一种视频图像合成方法，在使用者所观察的现实世界中，重叠由计算机生成的虚拟图像，其特征在于包括以下步骤：输入上述现实世界的摄像图像；输入上述使用者的视点的位置·姿势信息；基于上述位置·姿势信息生成虚拟图像；根据用户的指示设定虚拟图像消除区域；以及根据上述虚拟图像消除区域，在现实图像上重叠上述虚拟图像；其中，在上述重叠后的图像的与虚拟图像消除区域对应的区域，包含上述现实图像。
另外，本发明的第2技术方案提供一种视频图像合成设备，在使用者观察的现实世界中，重叠由计算机生成的虚拟图像，其特征在于包括：输入上述现实世界的摄像图像的图像输入装置；输入上述使用者的视点的位置·姿势信息的位置姿势信息输入装置；基于上述位置·姿势信息生成虚拟图像的虚拟图像生成装置；根据用户的指示设定虚拟图像消除区域的设定装置；以及根据上述虚拟图像消除区域，在现实图像上重叠上述虚拟图像的重叠装置；其中，在上述重叠后的图像的与虚拟图像消除区域对应的区域，包含上述现实图像。
另外，本发明的第3技术方案提供一种视频图像合成方法，在使用者所观察的现实世界的视频图像中重叠虚拟图像，其特征在于包括以下步骤：输入上述使用者所观察的现实世界的视频图像的图像输入步骤；输入上述使用者的视点的位置·姿势信息的位置姿势信息输入步骤；基于上述位置·姿势信息生成虚拟图像的虚拟图像生成步骤；检测出上述使用者所指定的预定区域的指定区域检测步骤；以及除去与上述指定区域检测步骤检测出的视频图像中的区域相对应的部分，将上述虚拟图像重叠到上述视频图像中的重叠步骤。
附图说明
附图包含在说明书中，构成其一部分，表示本发明的实施形式，并与说明书的记述一起用于说明本发明的原理。
图1A和1B是说明使用框架(frame)指定CG消除区域的本发明的概念的图。
图2A～2D是表示CG消除框架的结构例的图。
图3是表示有关本发明的第1实施形式的视频图像合成设备的概略结构例的方框图。
图4是说明有关本发明的第1实施形式的视频图像合成设备的动作的流程图。
图5A和5B是表示在有关本发明的第2实施形式的视频图像合成设备中使用的记录针(stylus)的例子的图。
图6是表示有关本发明的第1实施形式的视频图像合成设备的概略结构例的方框图。
图7是说明有关本发明的第1实施形式的视频图像合成设备的动作的流程图。
图8是示意说明有关本发明的第3实施形式的视频图像合成设备中的CG消除区域的指定方法的图。
图9A和9B是表示在有关本发明的第3实施形式的视频图像合成设备中，使用者用手指定CG消除区域的方法的例子的图。
图10是表示有关本发明的第3实施形式的视频图像合成设备的概略结构例的方框图。
图11是说明有关本发明的第3实施形式的视频图像合成设备的动作的流程图。
图12是说明有关本发明的第3实施形式的CG消除区域抽取动作的流程图。
图13是说明有关本发明的第3实施形式的CG消除区域抽取动作的流程图。

下面参照附图对本发明的优选实施形式进行详细说明。
(第1实施形式)有关本发明的第1实施形式的视频图像合成设备的一例，是当使用者安装显示设备眺望风景时，辅助显示与其对应的位置信息和名称的MR系统。
在本实施形式中，显示设备上使用可测量位置·姿势的视频透明(video see through)HMD。也就是，在HMD中内置位置·姿势测量传感器及摄像机，来自使用者的大致视点位置的视频图像可与使用者头部的位置·姿势信息(严格来讲是摄像机的位置·姿势)一起取得。
另外，在本实施形式中，为了使使用者可以指定不希望重叠显示CG的区域(CG消除区域)，使用将标记(marker)和CG消除区域对应起来的用户界面(以下称为CG消除框架)。通过从来自使用者的视点位置的视频图像抽取附加在CG消除框架中的标记，就能够抽取CG消除区域。
图2A～2D中，表示CG消除框架(标记和CG消除区域的对应起来)的例子(这里为简便起见，增加以下约束，使CG消除框架与设置在HMD中的摄像机(摄像单元)的摄像面相平行来进行使用)。小圆是标记，斜线部分是CG消除区域。斜线部分可以切去也可以存在，在存在的情况下则需要用透明(半透明)材料构成，或输入对应于斜线部分的现实世界的图像的方法。CG消除框架由使用者手持的把柄部分21和框架部分22构成，在使用者观察如图1A所示那样的重叠图像时，例如在想消除“教堂”对白框上的重叠图像的情况下，则将该框架挡在眼前，一边观看用摄像机所拍摄的现实空间图像，一边使框架对合到所希望的位置(不想显示CG的区域)。
如下所述，从设置在框架上的标记求得用框架所指定的区域，在根据本实施形式的MR系统中，由于不在该区域上重叠CG，故如图1B所示，使用者能够看到由重叠图像所隐藏的现实世界的图像。在后述的第2实施形式中，显示设备是光学透明类型的，如果除去现实世界是透过显示设备直接被观察或被拍摄的图像外，则都相同。
在图2A中，四边形的框架的4个角上分别以3个标记为一组进行附加。只要抽取任何1组的标记，就可计算出CG消除区域。另外，在图2B中附加标记以围住圆形框架。由于如果决定3点则可确定1圆，则只要能抽取任意的3个标记，就可将其内部作为CG消除区域而算出。图2C是将图2B的标记缩减到3点的图。在将许多标记CG附加到消除框架感到麻烦时有效。在图2D中，将具有方向性的标记的前面的区域(例如圆)定义为CG消除区域。这当不想在CG描绘单元和CG消除区域的交界处放置标记时有效。
框架的颜色是任意的，但当考虑到为了容易地检测，标记使用一般在现实物体中不使用的荧光色等，则最好是采用与标记对比性的颜色。另外，框架大小(CG消除区域的大小)是任意的，但如果过大则CG消除区域也变得过大，包含在视场中的CG的大半就显示不了，相反，如果过小则位置的调整将变难，所以考虑一般的手的长度(由于在摄影图像中所占的框架的比例根据从摄像机到框架的距离而变化，所以考虑能变化的范围)，设定适当的大小。
图3是表示作为本发明的第1实施形式中的视频图像合成设备的一例的MR系统的概略结构例的方框图。
摄像单元1在这里是内置于HMD内的摄像机。摄像单元1分别拍摄使用者的右眼和左眼观察到的现实空间的视频图像，将摄影视频图像作为视频图像信号输出到摄影视频图像取入单元2中。另外，在本说明书中为使说明简单，不特别分开说明左眼用图像和右眼用图像的处理，显然，为了生成用于HMD显示的左眼用合成图像和右眼用合成图像，实际上进行左眼、右眼用的2系统的处理。
摄影视频图像取入单元2将由摄像单元1输入的视频图像信号变换成适于视频图像合成单元6及CG消除区域抽取单元3的形式，送往视频图像合成单元6和CG消除区域抽取单元3。
在CG消除区域抽取单元3中，从由摄影视频图像取入单元2输入的视频图像中，抽取附加了上述CG消除框架的标记，以抽取CG消除区域。将视频图像上的消除区域原样作为CG消除区域即可。然后消除区域抽取单元3将所抽取的CG消除区域输出到视频图像合成单元6中。
摄影位置·姿势测量单元4在此内置于HMD内，依照来自CG生成单元5的请求，或者没有来自CG生成单元5的请求，将摄像单元1的位置·姿势信息送往CG生成单元5。摄影位置·姿势测量单元4考虑利用例如地磁传感器、陀螺仪(gyro)或光学式的传感器。
CG生成单元5从摄影位置·姿势测量单元4中取出摄像单元1的位置·姿势信息，推定摄像单元1的位置·摄影方向。如果能推定摄像单元1的位置·摄影方向，则从摄像单元1的透镜参数中求出视场，因此，CG生成单元5从数据单元7中取出进入摄像单元1的视场的部分的数据，生成待显示在由摄像单元1所拍摄的视频图像中的CG，并输出到视频图像合成单元6。
视频图像合成单元6分别从摄影视频图像取入单元2读入摄影视频图像，从CG生成单元5读入CG，从CG消除区域抽取单元3读入CG消除区域。然后，将来自CG生成单元5的CG合成到来自摄影视频图像取入单元2的摄影视频图像中。此时，在重叠到从CG消除区域抽取单元3得到的CG消除区域的部分中不描绘CG。由此，就生成仅CG消除区域的CG被消除的合成视频图像。
如果将CG消除框架的形状(设计)做成放大镜等，则使外观与功能一致，作为用户界面就更好。另外，也可不是不在CG消除区域中描绘CG，而是例如依照CG消除框架的种类，描绘透明度高的CG(操作表示透明度的α成分值)、或使CG闪烁地进行描绘。由视频图像合成单元6所生成的CG被送往显示单元8(在本实施形式中为HMD)。
数据单元7例如由硬盘构成，存有送给CG生成单元5的数据。作为在数据单元7中存储的数据，考虑有例如文本信息和全景视频图像、三维CG(计算机图形)数据等。数据单元7依照来自CG生成单元5的请求，将适当的数据送往CG生成单元5。例如在CG生成单元5请求将合成到摄像单元1的视场中的三维CG数据时，数据单元7就从所存储的三维CG数据中取出包含在摄像单元1的视场中的三维CG数据并送出。此外，数据单元7并不限于硬盘，只要是能够保存数据的介质则什么都可，例如也可以由磁带或存储器等构成。
显示单元8在本实施形式中是HMD。显示从视频图像合成单元6送出的合成视频图像信号。另外，在本实施形式的MR系统中，也如以往所公知的MR系统那样，HMD具有右眼用图像显示单元和左眼用图像显示单元，通过在视频图像合成单元6中生成右眼用的显示图像和左眼用的显示图像并提供给HMD，使用者就可体验三维CG显示。
关于具有如上那样的结构、作为有关本发明的第1实施形式的视频图像合成设备的一例的MR系统的动作，用如图4所示的流程图在下面进行说明。此外，设在数据单元7中预先存储着必要的数据。
首先，在步骤S1中启动系统。
在步骤S2中，从摄像单元1取得视频图像，所取得的摄影视频图像在摄影视频图像取入单元2中被变换成适当的格式，送往视频图像合成单元6和CG消除区域抽取单元3。
在步骤S3中，从读入到CG消除区域抽取单元3的摄影视频图像中抽取出标记，算出CG消除区域。然后将计算出的CG消除区域送往视频图像合成单元6。
在步骤S4中，摄影位置·姿势测量单元4测量摄像单元1的位置·姿势，测量出的位置·姿势信息被送往CG生成单元5。
在步骤S5中，CG生成单元5从由摄影位置·姿势测量单元4送出的位置·姿势信息推定摄像单元1的视场，并从数据单元7取得包含于摄像单元1的视场的范围的数据。
在步骤S6中，CG生成单元5使用从数据单元7中取得的数据生成CG。所生成的视频图像被送往视频图像合成单元6。
在步骤S7中，从摄影视频图像取入单元2送出的摄影视频图像和从CG生成单元5送出的计算机视频图像在视频图像合成单元6中进行合成。此时，在从CG消除区域抽取单元3送出的CG消除区域部分中不合成CG。据此，就生成消除了CG消除区域的CG的合成视频图像。合成后的合成视频图像被送往显示单元8。
在步骤S8中，显示单元8显示从视频图像合成单元6送出来的视频图像信息。
此后在步骤S9中，检查是否结束系统，在使系统结束的情况下，则在步骤S10中使系统结束，在不使其结束的情况下，则返回步骤S2，重复上述处理。
如上所述，根据第1实施形式，例如当使用者安装HMD眺望风景时，在辅助显示与其对应的位置信息和名称的MR系统中，即使在关注现实物体被CG隐藏了的情况下，只要使CG消除框架在对应的位置上遮挡，就能观察到关注现实物体。
(第2实施形式)有关本发明的第2实施形式的视频图像合成设备的一例，是为了透视患者体内的情况而提示医师的医疗辅助系统。在这里，作为显示设备，使用光学透明型HMD。这时因为在视频透明型HMD中，现实世界的显示分辨率存在界限。
另外，作为指定CG消除区域的UI，在本实施形式中位置·姿势的输入设备在这里使用记录针。图5A和5B是表示记录针的例子的图。在这里为简便，描述固定了使用者的视点位置·姿势的情况，但实际如下所述，要考虑使用者的视点位置·姿势和记录针的位置·姿势的相对关系。记录针51例如具有钢笔形状的，在内部设置有位置姿势传感器。从位置·姿势传感器检测出的位置与记录针前端的距离d，推定记录针前端位置，由该前端位置和检测出的记录针的倾角θ，求出用记录针的前端所指定的区域。在本实施形式中，把与记录针前端接触的虚圆52相对应的区域设为CG消除指定区域。实际上，根据记录针的倾角θ把从该虚圆52求出的椭圆区域设为CG消除区域。另外，在无法得到记录针的倾角(姿势信息)的情况下，也可以直接使用虚圆52。记录针的位置、姿势信息以及未图示的ON-OFF开关信息，可通过连接到记录针上的信号线或者发信机(communicator)从外部取得。
在本实施形式中，将位置·姿势输入设备作为UI来使用的理由是因为：(1)由于光学透明型HMD中与视频透明型HMD不同，一般不内置摄像机，所以(列举第1实施形式)在利用图像处理实现CG消除区域指定时，则重新需要摄像机。
(2)在手术辅助系统中，为了能够让医师能够始终把握病患部周围的状态和病患部与手术器具的位置关系等，将这些位置关系实时地用传感器等进行测量对医师进行提示是很重要的。因此，假定提供使位置·姿势测量在某种程度上可准确进行的环境。
(3)在利用手术支援系统进行手术的情况下，即便病患部周围需要CG的辅助，也要考虑到想把CG显示在手边非常近处的情况，和在手边非常近处不想显示CG的情况混合存在。
考虑这样的情况，可以将记录针的ON-OFF按钮分配成CG消除区域定义的ON-OFF。
另外，如果在手术器具中设置位置·姿势传感器，则只要简单地替换“带传感器的手术道具”和“无传感器的手术道具”，就能够简单地进行CG显示方法的切换。
图6是表示有关本发明的第2实施形式的MR系统的概略结构例的方框图。
头部位置·姿势测量单元14内置于后述的作为显示单元18的HMD内，依照来自CG消除区域抽取单元13和CG生成单元15的请求，或者没有来自CG消除区域抽取单元13和CG生成单元15的请求，将头部位置·姿势信息送往CG消除区域抽取单元13和CG生成单元15。头部位置·姿势测量单元14考虑利用例如地磁传感器、陀螺或光学式的传感器。
记录针状态检测单元19从记录针20取得记录针信息(位置·姿势·按钮的开关等)，依照来自CG消除区域抽取单元13的请求，或者没有来自CG消除区域抽取单元13的请求，而送往CG消除区域抽取单元13。
在CG消除区域抽取单元13中，从由头部位置·姿势测量单元14输入的位置·姿势数据以及由记录针状态检测单元19输入的记录针信息，计算出CG消除区域。如上所述，在本实施形式中，从头部的位置·姿势和记录针的位置·姿势，能够计算出图像面上的记录针前端位置和相对图像面的记录针的姿势。因此，将从记录针前端扩展到图像面上的椭圆(从相对图像面的记录针的姿势信息决定椭圆率)区域定义为CG消除区域。CG消除区域抽取单元13将抽取出的CG消除区域输出到视频图像合成单元16。
CG生成单元15从头部位置·姿势测量单元14取出头部位置·姿势信息，并推定头部位置·方向。如果能推定位置·姿势则可求得使用者的视场，因此CG生成单元15从数据单元17取出进入使用者视场的部分的数据，生成重叠于使用者视场的CG，并输出到视频图像合成单元16。
视频图像合成单元16分别从CG生成单元15读入CG，从CG消除区域抽取单元13读入CG消除区域。并且基于来自CG生成单元15的CG和来自CG消除区域抽取单元13的CG消除区域数据，合成CG。由视频图像合成单元16所生成的CG被送往显示单元18。
数据单元17例如由硬盘构成，存有送给CG生成单元15的数据。作为在数据单元17中存储的数据，考虑有例如文本信息和全景视频图像、三维CG数据等。数据单元17依照来自CG生成单元15的请求，将适当的数据送往CG生成单元15。例如在CG生成单元15请求将合成到使用者视场中的三维CG数据时，数据单元17就从所存储的三维CG数据中取出包含在使用者视场中的三维CG数据并送出。此外，数据单元17并不限于硬盘，只要是能够保存数据的介质则什么都可，例如也可以由磁带或存储器等构成。
显示单元18在这里是光学透明型HMD。通过将从视频图像合成单元16送出的合成视频图像信号投影到例如半透明反射镜上，而重叠在透过半透明反射镜可观看的现实世界上进行显示。
关于具有以上那样的结构、作为本发明的第2实施形式中的视频图像合成设备的一例的MR系统的动作，用如图7所示的流程图在下面进行说明。此外，设在数据单元17中预先存储着必要的数据。
首先，在步骤S11中启动系统。
在步骤S12中，记录针状态检测单元19检测记录针的状态，并将检测出的信息送往CG消除区域抽取单元13。
在步骤S13中，头部位置姿势测量单元14测量使用者的位置·姿势，所测量出的位置·姿势信息被送往CG消除区域抽取单元13和CG生成单元15。
在步骤S14中，基于从记录针状态检测单元19输入的记录针位置·姿势信息、以及从头部位置·姿势测量单元14输入的头部位置·姿势信息，CG消除区域抽取单元13计算出CG消除区域。此CG消除区域被送往视频图像合成单元16。
在步骤S15中，CG生成单元15从由头部位置·姿势测量单元14送出的头部位置·姿势信息推定使用者的视场，并从数据单元17取得包含于使用者视场的范围的数据。
在步骤S16中，生成单元15使用从数据单元17取得的数据，生成CG。所生成的视频图像被送往视频图像合成单元16。
在步骤S17中，从生成单元17送出的计算机视频图像基于来自CG消除区域抽取单元13的CG消除区域数据，在视频图像合成单元16中进行合成(在从CG消除区域抽取单元13送出的CG消除区域的部分中不描绘CG)。合成后的合成视频图像被送往显示单元18。
在步骤S18中，通过将从视频图像合成单元16送出的视频图像信息显示在光学透明型HMD的显示单元18上，使使用者辨识重叠于现实空间的CG。
此后在步骤S19中，检查是否结束系统，在使系统结束的情况下，则使系统结束，在不使其结束的情况下，则返回步骤S12，重复上述处理。
如上所述，根据第2实施形式，例如在利用手术支援系统进行手术的情况下，就可容易地进行想将CG显示到手边非常近处的情况，和在手边非常近处不想显示CG的情况的切换。
(第3实施形式)在有关本发明的第1实施形式的视频图像合成设备中，使用如图2所示的框架指定CG消除区域。
有关本实施形式的视频图像合成设备，其特征在于在有关第1实施形式的视频图像合成设备中，不是用框架而是可使用使用者的手来指定CG消除区域。
具体来说，在本实施形式中，如图9A和9B所示，把用使用者的手围住的区域(斜线所示的区域)作为CG消除区域。即使用者能够通过用两手或单手形成窥视孔，将所希望的区域指定成CG消除区域。图9A是用双手，图9B是用单手指定CG消除区域的例子。这样，通过可用手指定CG消除区域，就不但不必准备框架，使用者还能够用自然的动作指定CG消除区域。
使用者在观察如图1A所示那样的重叠图像时，例如，在想消除对白框“教堂”上的重叠视频图像的情况下，就用手作成窥视孔，挡在所希望的位置(不想显示CG的区域)  (参照图8)。
有关本实施形式的视频图像合成设备，采用如下结构：为了使挡在使用者眼前的手不被CG隐藏而总是可见，从自使用者的视点位置的视频图像抽取出使用者的手区域，在该区域中进行不描绘CG的掩码处理(使使用者眼前的物体不被CG隐藏而能看见的处理)。进行这样的掩码处理的结构，例如像在日本专利申请特愿2002-95535中所提案那样，可利用例如色度键(chroma key)技术来实现。
一般在手的掩码处理过程中，包含抽取自使用者的视点的视频图像中的、使用者手的区域的过程，因此，容易抽取出自使用者的视点的视频图像中的手的内部区域。
也就是有关本实施形式的视频图像合成设备，通过仅在可进行手的掩码处理的MR系统中，加上抽取自观测者视点的视频图像中的手的内部区域(图9A和9B的斜线区域)的处理就可实现。
如下所述，通过从自使用者的视点位置的视频图像中抽取出使用者的手区域，进而抽取其内部区域(窥视孔区域)，来求出所指定的区域。
通过在自观测者的视点的视频图像中的使用者的手区域以及手的内部区域上不重叠CG，就解决了挡在眼前的手被CG隐藏的问题，进而可不被CG隐藏地观看现实空间的预定区域。因此，在本实施形式中，通过将手区域和手的内部区域作为CG消除区域同样地进行处理，来简化处理。
当然，也可以将手区域与CG消除区域(手的内部区域)区别进行处理。在此情况下，将皮肤色部分作为手区域抽取，将其内部区域作为CG消除区域进行检测，但此时为了容易抽取手区域，也可以使使用者戴上蓝色的手套，将蓝色区域作为手区域进行抽取，在手区域中合成皮肤色的CG，在CG消除区域中进行不显示CG的处理。
图10是表示作为有关本发明的第3实施形式的视频图像合成设备的一例的MR系统的概略结构例的方框图。在图10中，对与图3相同的结构要素附加相同的参照数字并省略重复的说明。
即，CG消除区域抽取单元3’从由摄影视频图像取入单元2输入的视频图像中，如果必要使用来自数据单元7的与手区域抽取相关的数据(例如规定上述的特定颜色的数据)，抽取出手区域以及用手围住的区域(手的内部区域)，并至少将手的内部区域作为CG消除区域。然后，消除区域抽取单元3将抽取出的CG消除区域输出到视频图像合成单元6。
摄影位置·姿势测量单元4在此内置于HMD内，依照来自CG生成单元5的请求将摄像单元1的位置·姿势信息，或者没有来自CG生成单元5的请求，将摄像单元1的位置·姿势信息送往生成单元5。摄影位置·姿势测量单元4考虑利用例如地磁传感器、陀螺或光学式的传感器。
CG生成单元5从摄影位置·姿势测量单元4取出摄像单元1的位置·姿势信息，推定摄像单元1的位置·摄影方向。如果能推定摄像单元1的位置·摄影方向，则从摄像单元1的透镜参数求出视场，CG生成单元5从数据单元7取出进入摄像单元1的视场的部分的数据，生成待显示在由摄像单元1所拍摄的视频图像中的CG，并输出到视频图像合成单元6。
视频图像合成单元6分别从摄影视频图像取入单元2读入摄影视频图像，从CG生成单元5读入CG，从CG消除区域抽取单元3’读入CG消除区域。然后，将来自CG生成单元5的CG合成到来自摄影视频图像取入单元2的摄影视频图像中。此时，在重叠到从CG消除区域抽取单元3’得到的CG消除区域的部分中不描绘CG。由此，就生成仅CG消除区域的CG被消除的合成视频图像。
另外，也可以不是不在CG消除区域中描绘CG，而是描绘例如透明度高的CG(操作表示透明度的α成分值)，或使CG闪烁地进行描绘。由视频图像合成单元6中所生成的CG被送往显示单元8(在本实施形式中为HMD)。
7是数据单元例如由硬盘构成，存有送给CG生成单元5和CG消除区域抽取单元3’的数据。作为存储于数据单元7中的数据，考虑有例如文本信息、全景视频图像和三维CG(计算机图形)数据等数据，进而还有抽取手区域和手内部区域这种特定区域所必需的数据(规定特定颜色的数据等)等。
数据单元7依照来自CG生成单元5的请求将适当的数据送往CG生成单元5。例如在CG生成单元5请求将合成到摄像单元1的视场的三维CG数据时，数据单元7从所存储的三维CG数据中取出包含于摄像单元1的视场中的三维CG数据并送出。
进而，数据单元7依照来自CG消除抽取单元3’的请求，将适当的数据送往CG消除区域抽取单元3’。
8是显示单元，在本实施形式中为HMD。显示从视频图像合成单元6送出的合成视频图像信号。此外，在本实施形式的MR系统中，也如以往所公知的MR系统那样，HMD具有右眼用图像显示单元和左眼用图像显示单元，通过在视频图像合成单元6中生成右眼用的显示图像和左眼用的显示图像提供给HMD，使用者就可体验三维CG显示。
使用图11的流程图说明具有以上那样的结构、作为有关本发明的第3实施形式的视频图像合成设备的一例的MR系统的整体动作。如从图11和表示第1实施形式中的动作的图4的流程图的比较可知那样，有关本实施形式的视频图像合成设备的动作，除摄影位置·姿势信息取得步骤和CG消除区域抽取步骤的顺序相反这一点，以及CG消除区域抽取处理的内容不同这一点外都是相同的。此外，设在数据单元7中预先存储着必要的数据。
首先，在步骤S1中启动系统。
在步骤S2中，从摄像单元1取得视频图像，所取得的摄影视频图像在摄影视频图像取入单元2中变换成适当的格式，送往视频图像合成单元6及CG消除区域抽取单元3。
在步骤S3’中，摄影位置·姿势测量单元4测量摄像单元1的位置·姿势，测量出的位置·姿势信息被送往CG生成单元5。
在步骤S4’中，从读入到CG消除区域抽取单元3的摄影视频图像计算出CG消除区域。
由于此步骤S4’是本实施形式的特征性的步骤，所以进一步使用流程图详细地进行说明。
首先用图12的流程图，说明为抽取出手区域使用抽取特定颜色的图像处理进行情况下的步骤S4’的处理的一例。
在步骤S4a-1中，CG消除区域抽取单元3’如果必要从数据单元7中读入与手区域相关的数据。作为与手区域相关的数据，是与手的肤色相关的信息。一般，认为这些与手区域相关的数据读入一次就足够了，但例如在测量实时变化的光源的位置、每次都需要与此相应的肤色数据的情况下，就需要此步骤。
在步骤S4a-2中，以与手区域相关的数据为基础，从读入到CG消除区域抽取单元3’的摄影视频图像，抽取出手区域。
在步骤S4a-3中，抽取出视频图像上的手区域的内部区域。
在步骤S4a-4中，将视频图像上的手区域和手区域的内部区域原样作为CG消除区域进行抽取。
当然，用上述方法之外的、手的掩码处理中的手区域抽取方法来实现步骤S4也可以。
然后计算出的CG消除区域被送往视频图像合成单元6。
在步骤S5中，CG生成单元5从由摄影位置·姿势测量单元4送出的位置·姿势信息推定摄像单元1的视场，从数据单元7取得包含于摄像单元1的视场中的范围的数据。
在步骤S6中，CG生成单元5使用从数据单元7取得的数据生成CG。所生成的视频图像被送往视频图像合成单元6。
在步骤S7中，从摄影视频图像取入单元2送出的摄影视频图像和从CG生成单元5送出的计算机视频图像在视频图像合成单元6中进行合成。此时，在从CG消除区域抽取单元3送出的CG消除区域的部分中不合成CG。由此，就生成消除了CG消除区域的CG。合成后的合成视频图像被送往显示单元8。
在步骤S8中，显示单元8显示从视频图像合成单元6送来的视频图像信息。
此后在步骤S9中，检查是否结束系统，在使系统结束的情况下，则在步骤S10中使系统结束，在不使其结束的情况下，则返回步骤S2，重复上述处理。
如上所述，根据第3实施形式，例如当使用者安装HMD眺望风景时，在辅助显示与其对应的位置信息和名称的MR系统中，即便在关注现实物体被CG隐藏了的情况下，只要用手作成窥视孔，遮挡在对应的位置上，就可以观察到关注现实物体。
(第4实施形式)尽管在上述的第1实施形式和第2实施形式中，作为显示单元使用HMD，但也可以不用HMD，而应用于例如日本专利申请公开特开平10-051711号公报所公开那样的，调整显示设备和视点的位置生成重叠图像的head up display(HUD)光学透明型AR系统等。
(其他实施形式)另外，尽管第2实施形式以光学透明型HMD为对象进行了说明，但也可适用于使用在第1实施形式中所说明那样的视频透明型HMD的实施形式。
另外，尽管在第3实施形式中，表示了利用掩码处理而不使用框架等道具来指定CG消除区域的例子，但即便在使用图2所示的框架等来指定CG消除区域的情况下，也可以使用掩码处理。在该情况下，通过在具有图2A和2B所示那样的框的框架中，设框为某种特定颜色，将部分CG消除区域定义为“某特定颜色的内部区域”，就可以用与第3实施形式相同的处理进行CG消除处理。
在此情况下，在框架的框中也可以不设标记。另外，在框架的框中所用的特定颜色并不限定于皮肤色，例如可以蓝色或红色等任何颜色都可，但最好是设定成在背景色中不包含的颜色。
另外，尽管在第3实施形式中，对为抽取出手区域，利用掩码处理的情况进行了说明，但也可以通过掩码处理以外的方法来抽取手区域。例如，可以使设置了多个位置传感器的手套戴在使用者的手上，从手套的传感器输出来抽取手区域。
使用图13所示的流程图，来说明用该方法抽取手区域情况下的CG消除区域抽取步骤S4’的处理。
在步骤S4b-1中，测量手的位置信息。
在步骤S4b-2中，从测量出的手的位置信息和使用者的视点位置信息中，计算出自使用者的视点位置的视频图像上的手区域。
在步骤S4b-3中，抽取自使用者的视点位置的视频图像上的手区域的内部区域。
在步骤S4b-4中，从自使用者的视点位置的视频图像上的手区域及手区域的内部区域，计算出CG消除区域。
之后同样地进行步骤S5以后的处理即可。
另外，不仅是上述实施形式，将实现前述实施形式的功能的软件的程序，从记录介质直接或者使用有线/无线通信提供给具有可执行该程序的计算机的系统或设备，该系统或设备的计算机通过执行所提供的该程序来达到相同功能的情况也包含在本发明中。
从而，为了用计算机实现本发明的功能处理，而提供并安装在该计算机中的程序代码本身也将实现本发明。也就是，用于实现本发明的功能处理的计算机程序本身也包含在本发明中。
在该情况下，只要具有程序的功能，则不限程序的形式，例如可以是目标代码、由解释程序所执行的程序、提供给OS的脚本数据等。
作为用于提供程序的记录介质，例如有软盘、硬盘、磁带等的磁记录介质、MO、CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-R、DVD-RW等的光/光磁存储介质、非易失性的半导体存储器等。
作为使用了有线/无线通信的程序提供方法，列举出在计算机网络的服务器上存储形成本发明的计算机程序本身、或被压缩的包含自动安装功能的文件等、可在客户计算机上形成本发明的计算机程序的数据文件(程序数据文件)，向连接着的客户计算机下载程序数据文件的方法。在此情况下，也可以将程序数据文件分割成多个分段文件，将分段文件配置在不同的服务器上。
也就是，使由计算机实现本发明的功能处理用的程序数据文件对多个用户进行下载的服务器装置也包含在本发明中。
另外，也可以加密本发明的程序并保存在CD-ROM等存储介质中发布给用户，对满足预定条件的用户例如经由因特网从主页下载解密的密钥信息来进行提供，通过使用该密钥信息来执行被加密的程序，并使其安装到计算机上而实现。
另外，除通过计算机执行所读出的程序，上述实施形式的功能得以实现外，基于该程序的指令，在计算机上运行的OS等执行实际处理的一部分或全部，通过该处理上述实施形式的功能也可得以实现。
进而，在从记录介质读出的程序被写入到插入计算机的功能扩充板或连接到计算机的功能扩展单元上所具有的存储器以后，基于该程序的指令，该功能扩充板或功能扩充单元上所具有的CPU等执行实际处理的一部分或全部，通过该处理上述实施形式的功能也可得以实现。
根据本发明，关于在现实空间上重叠CG的MR系统，在想观看的现实空间被CG隐藏的情况下，通过简单地指定不想显示CG的区域，部分性地不显示(消除)该区域的CG，就能够观看关注现实空间。
进而，本发明还可应用于由多个或者单个单元构成的系统。不言而喻，本发明还可应用于，通过提供执行由本系统或者发明所定义的处理的程序而得以实现的情况。