技术领域
本发明是应用于例如风景观察器中的可视化装置。其通过在如望远镜中 的镜头所捕获的真实图像上叠加进由计算机生成的实时图像的方式进行工 作。其能够用于娱乐、教育或商业目的。
此装置——Virtual SightseeingTM——替代了现有的望远镜并且增加了革 新的功能性,其通常装在有历史意义的或风景优美的地方。通过在展现给用 户的图像中对多媒体元素与真实景色进行合成,其使多媒体元素得以加入到 真实景色中。所述的多媒体元素可以使用简单的Web网页界面进行定义和 维护。
Virtual SightseeingTM利用了标准望远镜的物理特性,即其易用性和一般 为人熟知性来建立能够让任何人、在任何地方使用的创新系统。所显示的多 媒体信息和虚拟元素对所述装置的方向和位置较为敏感。通过移动所述的装 置,其方向和位置如同用户人工改变其方向一样发生改变。所述装置中呈现 的所有信息都进行了地理标注。
背景技术
风景观察器或望远镜以及其它类似的装置都是众所周知的。然而,如本 发明所阐述的,应用了在真实图像上叠加进由计算机生成的实时图像技术的 可视化装置却是新的。本发明之前的先有技术
水平表现较低。
Yoram Baram的
专利WO004/008427和惠普(Hewlett Packard)的专利 US6037914、GB2376397都对在直接显示于用户眼中的真实图像上叠加由计 算机生成的图像的便携式装置进行了阐述并且提出
权利要求。
专利US2004/0080547、US2003/0179218和US2002/0036649介绍了把真 实图像与虚拟图像进行整合来应用于特殊环境的方法和装置。
作为与理解本发明有关的几个知识领域中的先有技术水平的参考,列举 以下的文章和出版物:
1.Azuma,R.T.(1997).A Survey of Augmented Reality. Presence-Teleoperators and Virtual Environments,6(4),pp.355-385;
2.Azuma,R.,Bailot,Y.,Behringer,R.,Feiner,S.,Julier,S.,and MacIntyre, B.(2001).Recent Advances in Augmented Reality.IEEE Computer & Graphics 21(6),pp.34-47;
3.Azuma,R.,Lee,J.,Jiang,B.,Park,J.,You,S.,and Neumann,U.(1999). Tracking in Unprepared Environments for Augmented Reality Systems.Journal of Computers & Graphics,23(26),pp.787-793;
4.Berger,M.O.,Wrobel-Dautcourt,B.,Petitjean,S.,and Simon,G.(1999). Mixing Synthetic and Video Images of an Outdoor Urban Environment.Machine Vision and Applications,11(3),pp.145-159;
5.Brooks,F.P.(1999).What’s Real About Virtual Reality.IEEE Computer Graphics and Applications,21(6),pp.16-27;
6.Debevec,P.E.(1998).Rendering Synthetic Objects Into Real Scenes: Bridging Traditional and Image-Based Graphics with Global Illumination and High Dynamic Range Photography.Procee dings of SIGGRAPH’98,New York, NY;
7.Kutulakos,K.N.and Vallino,J.R.(1998).Calibration-free Augmented Reality.IEEE Transactions on Visualization and Computer Graphics,4(1),pp. 1-20;
8.Livingston,M.A.and State,A.(1997).Magnetic Tracker Calibration for Improved Augmented Reality Registration.Presence-Teleoperators and Virtual Environments,6(5),pp.532-546;
9.Piekarski,W.,Thomas,B.,Hepworth,D.,Gunther,B.,and Dernczuk,V. (1999).An Architecture for Outdoor Wearable Computers to support Augmented Reality and Multimedia Application.Proceedings of the 3rd International Conference on Knowledge-Based Intelligent Information Engineering Systems, Adelaide,Australia;
10Rokita,P.(1998).Compositing Computer Graphics and Real World Video Sequences.Computer Networks and ISDN Systems,30(20-21), pp.2047-2057;
11.Roseblum,L.(2000).Virtual and Augmented Reality 2020.IEEE Computer Graphics and Applications,20(1),pp.38-39;
12.Starner,T.,Schiele,B.,Rhodes,B.,Jebara,T.,Oliver,N.,Weaver,J.,and Pentland,A.(1998).Augmented Realities Integrating User and Physical Models. First IEEE International Workshop on Augmented Reality(IWAR’98),San Francisco,CA;
13.State,A.,Hirota,G.,Chen,D.,Garrett,W.,and Livingston.M.(1996). Superior Augmented Reality Registration by Integrating Landmark Tracking and Magnetic Tracking.Proceedings SIGGRAPH’96,New Orleans;
14.Thalmann,N.M.and Thalmann,D.(1997).Animating Virtual Actors in Real Environments.Multimedia Systems,5(2),pp.113-125.
作为先有技术水平所列举的专利和参考都是所述装置技术的起点。然 而,要创造在此介绍的发明就要开发一种新系统,其加入了解决其它系统中 现有问题的可靠和灵活的特性。
发明内容
支持Virtual SightseeingTM的物理结构与标准的观光望远镜类似,然而为 其新的功能性又包括了不同的部件。主要部件有捕获真实图像的系统(典型 地为视频摄像机)、处理真实图像并且叠加虚拟元素的计算机以及显示合成 图像的屏幕。
传感器或
图像处理技术用于确定所述装置的方向。用户可以使 用
触摸屏、按键或简单地移动本装置来与所述装置进行交互。
对所述装置不同部件的位置进行设计,使其能够尽可能对大多数用户友 好。为了更好地观看和容易
访问,把触摸屏装到移动的结构中。为了具有简 单和直觉的用户掌握,把
手柄安装在所述装置的前部。在此手柄上具有类似 于计算机
鼠标装置中所使用的两个压
力按键。测量方向
角度的传感器安装在 所述移动结构的轴中。测量上/下方向的传感器在水平轴中,而测量左/右方 向的传感器在垂直轴的结构中。光线的
亮度和位置可以由当天的时间来估 计。
在
虚拟摄像机的虚拟世界中,系统
软件代表真实摄像机。此虚拟摄像机 的特性(焦距、位置、方向等等)与真实摄像机的完全一致。若真实摄像机 的这些特性中任何一个发生变化,则虚拟摄像机的特性也以同样方式发生改 变。虚拟世界的大小与真实世界的大小一致。对虚拟连线
框架模型进行开发 来匹配虚拟和真实元素。当真实摄像机移动时,虚拟摄像机也实时地移动。 若任何三维物体出现在虚拟摄像机(在虚拟世界中)前面,则所述的物体就 叠加在由真实摄像机实时捕获的真实图像之上。
从用户的视点看,运行所述系统的步骤如下:
第一步是初始化,其中所述的系统从
服务器中收集全部情景信息。当全 部信息从服务器下载时,所述的系统准备使用,并且启动示范模式(可选的) 或应用模式;
当所述的系统处于示范模式时,显示一段视频。所述的视频可以包括广 告、信用或其它普通的信息。取决于如何进行设置(可选择通过付费使用所 述的系统),所述的系统启动应用模式,此模式为Virtual SightseeingTM实际 工作的时间。在此模式中,用户可以与视域中的元素进行交互、玩游戏,或 者使用所述系统提供如何其它的功能性;
最后,当时间结束(根据付费额或用户的选择)时,显示“再见”的讯 息,所述的系统返回演示范模式(可选)或转变为停止。
所述的系统允许两类用户。使用Virtual SightseeingTM的普通用户和具有 改变、增加或清除虚拟信息等
许可权限的管理员。这些改变可以在本地或远 端完成。管理员不用物理上去设置Virtual SightseeingTM的地方就可以执行改 变。使用互联网连接和用于配置的Web页做到这些。
由标准观光望远镜提供的唯一功能就是放大图像。Virtual SightseeingTM 包括根本不同的功能性,其包括:发现元素(通过图形化的表示和音响能够 指导用户);进行真实图像的游戏;把虚拟元素合成到真实世界的场景中; 包括可以与用户进行交互的文本、图像、声音和视频等的虚拟多媒体元素。 例如,若用户点击Virtual SightseeingTM的博物馆,他或她就能够得到包括票 价或到达该博物馆路线在内的有关该博物馆的信息。
与现有的
增强现实系统相比,Virtual SightseeingTM具有与众不同的重要 特性,使用固定的物理结构具有以下益处:
可靠性-若
自由度是众所周知的,则增强现实的主要问题(
跟踪用户 的移动和方向)就能够解决。
坚固性-典型的增强现实系统对周围环境都非常敏感。具有了坚实、 固定的结构,这些问题得以最小化并且
电子和机械部件得以保护。
增强现实技术通常应用于便携、移动或可佩带的系统中。这些经常是复 杂的系统。相反,Virtual SightseeingTM是使用坚实和固定结构的装置,其实 时工作并且以没有先前经验的平均用户为目标。在这种类型的结构中,测量 摄像机方向的传感器能够很容易地得以应用。这样,虚拟元素能够以精确的 方向放置在精确的位置上,因此增强现实的主要问题之一——了解用户正在 观看的位置——得到了解决。
与传统的透明
增强现实眼镜相比,Virtual SightseeingTM装置具有更加坚 固、可靠和易用的优点。这些眼镜经常用于实验室环境,而Virtual SightseeingTM的目的是要用于具有低维护成本的一般公共场所。
通过了解Virtual SightseeingTM的位置/方向,能够使用点击虚拟元素应 处位置的虚拟模型。所述的传感器为虚拟模型提供有关真实摄像机的信息, 虚拟模型指出虚拟元素应该放置在哪里并且如何放置。有关真实摄像机的信 息使虚拟摄像机能够在虚拟世界中复制真实摄像机。
Virtual SightseeingTM还可以用于观光之外的其它目的。其还可以用于:
查找项目:查找应用通过在所述装置的显示屏中直接对要查找的目标进 行选择来改变查找目标的通常处理方法;
游戏:策略游戏或“第一人称射击”游戏在Virtual SightseeingTM系统中 很容易实现。例如,在放置于城堡顶部的Virtual SightseeingTM中,能够模拟 历史战役,根据虚拟敌人确定策略;
公众参与:Virtual SightseeingTM使对风景进行计划构建或其它改变所产 生的影响很容易得到评估。为了公众参与和讨论,这些元素能够叠加在真实 图像上;
多媒体内容:所述的系统把复杂的多媒体内容链接到真实世界的项目 上。
附图说明
图1示出了本发明的前视图;
图2示出了本发明的右视图;
图3示出了本发明的顶视图;
图4示出了本发明的前透视图;
图5示出了本发明的后透视图(从上部);
图6示出了本发明的截面视图;
图7示出了本发明的后透视分解视图;
图8示出了本发明的前透视分解视图。
图中作为参考的本发明的主要部件如下:
部件01.后保护;
部件02.主要保护;
部件03.前保护;
部件04.垂直轴;
部件05.手柄;
部件06.硬币收集系统;
部件07.视频摄像机保护玻璃;
部件08.CPU-处理单元;
部件09.UPS;
部件10.视频摄像机的旋转
编码器(水平轴);
部件11.视频摄像机;
部件12.自动对焦和
变焦镜头控制器;
部件13.显示屏;
部件14.
温度控制系统;
部件15.固定视频摄像机的平台;
部件16.水平轴;
部件17.内部传输机构(用于移动视频摄像机);
部件18.上
支撑基座;
部件19.下支撑基座;
部件20.按键;
部件21.结构的
旋转编码器(垂直轴);
部件22.声音扬声器。
具体实施方式
基座包括垂直轴(部件04)和支撑Virtual SightseeingTM系统的支撑基 座(部件18和19)。后保护(部件01)、主要保护(部件02)和前保护(部 件03)连接在垂直轴(部件04)上。手柄(部件05)连接在主保护上来操 控Virtual SightseeingTM。
连接在前保护(部件03)上的显示屏(部件13)是防恶意破坏的。为 了交互性,其还可以是触摸屏。在显示屏的下面,为了更好与本发明交互, 具有也连接在前保护(部件03)的立体声扬声器(部件22)。
捕获真实图像的视频摄像机(部件11)在后保护(部件01)之内,由 视频摄像机的保护玻璃(部件07)加以保护。在保护内,为了把视频摄像机 (部件15)沿着水平轴(部件16)固定,视频摄像机连接在平台上。此装 置完全在显示屏(部件13)的后面。水平轴的旋转移动由手柄(部件05) 控制内部传输机构(部件17)来引导。旋转感应器(部件10)连接在水平 轴(部件16)上来捕获视频摄像机(部件11)的倾角。要控制视频摄像机 的光学系统,具有连接在后保护边上的镜头控制器(部件12)。此控制器控 制视频摄像机镜头的
光圈、聚焦和变焦。
保持所述结构内部可操作温度的
温度控制系统(部件14)在后保护(部 件01)的边上。
两个压力按键(部件20)连接在手柄(部件05)上作为触摸屏的另一 可选。
硬币收集系统(部件06)连接在前保护(部件03)上。其启动应用并 且控制操作时间(与付费额成比例),其为防恶意破坏的并且包括一个保险 柜。
在硬币收集系统(部件06)的后面,连接在主保护(部件02)上,有 对Virtual SightseeingTM全球结构的旋转角度进行测量的旋转传感器(部件 21)。
Virtual SightseeingTM需要工业微计算机(部件08)来处理数据和生成图 像。此计算机包含
信号采集板来从两个旋转传感器、硬币收集系统和按键等 取得数据。还具有应用移动网络技术(GPRS)的
调制解调器来使其得以与远程 服务器连接,用于维护、升级和收集统计数据。为了有移动性需求的应用, 可以安装指南针和GPS。UPS(部件09)在
能源供应故障的情况下允许适当 的系统关机,并且其对主系统的供电
电压进行了过滤。
对于本发明的几个部件,优化说明如下:
镜头-对于所述的镜头具有两种可能性:可变电动的或固定焦距的镜 头。类型能够是“CS”装配,并且具有自动聚焦和自动光圈。若为电动的, 则镜头应能够具有连接在
马达上的编码器,对镜头的焦距提供反馈。变焦应 能够在5x至15x之间变化。若镜头是固定的,则其变焦将与所述的场所匹 配。考虑到标准的风景观察器具有20x至30x之间的变焦,这意味着Virtual SightseeingTM要探测更广阔的
视野,固定变焦应该为10x或15x。
视频摄像机-视频摄像机应能够是1024x576
分辨率的“火线”,并且 具有自动配置,例如“自动曝光”和“
白平衡”。
TFT+触摸屏-15″底座安装的15″TFT监视器;SVGA最大分辨率 1024x768,60Hz;触摸技术。
工业计算机-Intel PV CPU FSB800;AGP 8x;512Mb RAM;40Gb HD; Firewire;4slots PCI。
采集板-采集板48IO TTL PCI-高
电流总线。从旋转传感器、焦距传 感器和硬币收集系统取得数据。
GPRS调制解调器-与服务器远程连接的调制解调器;PCI或PCMCIA 三频段的GSM/GPRS。
GPS和指南针-为了Virtual SightseeingTM的方向和位置可以安装指南 针和GPS。
旋转传感器-要使用14bits分辨率(误差:每10km为3.8m)的“单
匝”绝对编码器。
硬币收集系统-应用启动和时间控制系统。防恶意破坏并且装有保险 柜。保险柜的保密系统。
部件的材质、大小、形状和布局取决于本发明的其它元素,都在本权利 要求书的范围之内。