首页 / 专利库 / 电脑安全 / 恶意广告 / 对叠加在真实图像之上的信息进行可视化的系统

叠加在真实图像之上的信息进行可视化的系统

阅读:350发布:2020-09-02

专利汇可以提供叠加在真实图像之上的信息进行可视化的系统专利检索,专利查询,专利分析的服务。并且本 发明 是一种对 叠加 在真实图像之上的信息进行 可视化 的系统,该真实图像应用于例如观光场所中。其包括对所述系统的 位置 和方位进行测量的机构;对真实图像进行捕获的系统,其典型地为视频摄像机(11)、硬币收集系统(06)、处理图像并且合成虚拟元素的计算机(08)、显示最终图像的显示屏(13),其可以包括游戏、公众展示和多媒体内容。,下面是叠加在真实图像之上的信息进行可视化的系统专利的具体信息内容。

1.在增强现实的领域中,在真实图像上叠加信息的可视化系统,其中所 述部件在不可控的环境里提供功能性,其包括:
对包括本地和/或远程数据库的信息进行叠加和可视化的系统;
对真实图像进行采集的系统,典型地为视频摄像机(11),其自动与所述 装置的方向对准;
对所述装置的位置进行处理并且把真实图像与虚拟元素进行合成的工 业计算机(08);
显示最终图像、命令并且访问信息和内容的触摸屏(13);
包括垂直轴(04)和支撑整个装置的支撑基座(18和19),其结构外壳(01, 02,03)保护了除与用户交互之外所有的所述装置部件;
以操控所述装置的手柄方式对系统的位置和方向进行测量的装置,其安 装在结构外壳上,并且具有至少两个用于选项选择的压按键(20)来命令并 且访问信息和内容;其中所述装置的平和垂直方向由传感器加以确定:
通过与传输系统(17)耦合的旋转传感器(10)对水平轴(16)方向的 旋转移动进行测量,通过手柄(05)进行命令来操纵视频摄像机(11)的倾 ;和
对垂直轴方向的所述结构左/右方向进行测量的位置传感器
视频摄像机光学系统的控制器(12),其控制视频摄像机镜头的光圈、聚 焦和变焦。
2.根据权利要求1的在真实图像上叠加信息的可视化系统,其中确定如 何完成图像合成的系统依赖于所测量的位置和方向。
3.根据权利要求1和2的在真实图像上叠加信息的可视化系统,其中由 位置传感器或图像处理确定方向和位置参数。
4.根据权利要求1、2和3的在真实图像上叠加信息的可视化系统,其 中叠加内容的数据库是内建的或能够进行远程访问。
5.根据权利要求1、2、3和4的在真实图像上叠加信息的可视化系统, 其中可以使用不同的信息输入部件,其包括与几种应用匹配的按键和/或触摸 屏,即访问信息和内容。
6.根据权利要求1、2、3、4和5的在真实图像上叠加信息的可视化系 统,其中对这些环境条件进行估计,其包括温度和光照,且显示器与这些条 件匹配。
7.根据权利要求1、2、3、4、5和6的在真实图像上叠加信息的可视化 系统,其中集成信息可视化、位置和方向测量以及覆盖信息的物理结构能够 经受住室内和室外的条件以及借助防恶意破坏显示屏(13)自主工作,保持所 述结构内部运转温度的坚固的机构外壳(03)和温度控制系统(14)位于后保护 (01)的边上。
8.根据权利要求1、2、3、4、5、6和7的在真实图像上叠加信息的可 视化系统,其中所述的物理结构是可运输的,但也可在具有预定位置和一组 可能预定方向的预定固定场所中操作。
9.根据权利要求1、2、3、4、5、6、7和8的在真实图像上叠加信息的 可视化系统,其中要显示的内容为广告、游戏、公众展示和历史模拟。

说明书全文

技术领域

发明是应用于例如景观察器中的可视化装置。其通过在如望远镜中 的镜头所捕获的真实图像上叠加进由计算机生成的实时图像的方式进行工 作。其能够用于娱乐、教育或商业目的。

此装置——Virtual SightseeingTM——替代了现有的望远镜并且增加了革 新的功能性,其通常装在有历史意义的或风景优美的地方。通过在展现给用 户的图像中对多媒体元素与真实景色进行合成,其使多媒体元素得以加入到 真实景色中。所述的多媒体元素可以使用简单的Web网页界面进行定义和 维护。

Virtual SightseeingTM利用了标准望远镜的物理特性,即其易用性和一般 为人熟知性来建立能够让任何人、在任何地方使用的创新系统。所显示的多 媒体信息和虚拟元素对所述装置的方向和位置较为敏感。通过移动所述的装 置,其方向和位置如同用户人工改变其方向一样发生改变。所述装置中呈现 的所有信息都进行了地理标注。

背景技术

风景观察器或望远镜以及其它类似的装置都是众所周知的。然而,如本 发明所阐述的,应用了在真实图像上叠加进由计算机生成的实时图像技术的 可视化装置却是新的。本发明之前的先有技术平表现较低。
Yoram Baram的专利WO004/008427和惠普(Hewlett Packard)的专利 US6037914、GB2376397都对在直接显示于用户眼中的真实图像上叠加由计 算机生成的图像的便携式装置进行了阐述并且提出权利要求
专利US2004/0080547、US2003/0179218和US2002/0036649介绍了把真 实图像与虚拟图像进行整合来应用于特殊环境的方法和装置。
作为与理解本发明有关的几个知识领域中的先有技术水平的参考,列举 以下的文章和出版物:
1.Azuma,R.T.(1997).A  Survey of Augmented Reality. Presence-Teleoperators and Virtual Environments,6(4),pp.355-385;
2.Azuma,R.,Bailot,Y.,Behringer,R.,Feiner,S.,Julier,S.,and MacIntyre, B.(2001).Recent Advances in Augmented Reality.IEEE Computer & Graphics 21(6),pp.34-47;
3.Azuma,R.,Lee,J.,Jiang,B.,Park,J.,You,S.,and Neumann,U.(1999). Tracking in Unprepared Environments for Augmented Reality Systems.Journal of Computers & Graphics,23(26),pp.787-793;
4.Berger,M.O.,Wrobel-Dautcourt,B.,Petitjean,S.,and Simon,G.(1999). Mixing Synthetic and Video Images of an Outdoor Urban Environment.Machine Vision and Applications,11(3),pp.145-159;
5.Brooks,F.P.(1999).What’s Real About Virtual Reality.IEEE Computer Graphics and Applications,21(6),pp.16-27;
6.Debevec,P.E.(1998).Rendering Synthetic Objects Into Real Scenes: Bridging Traditional and Image-Based Graphics with Global Illumination and High Dynamic Range Photography.Procee dings of SIGGRAPH’98,New York, NY;
7.Kutulakos,K.N.and Vallino,J.R.(1998).Calibration-free Augmented Reality.IEEE Transactions on Visualization and Computer Graphics,4(1),pp. 1-20;
8.Livingston,M.A.and State,A.(1997).Magnetic Tracker Calibration for Improved Augmented Reality Registration.Presence-Teleoperators and Virtual Environments,6(5),pp.532-546;
9.Piekarski,W.,Thomas,B.,Hepworth,D.,Gunther,B.,and Dernczuk,V. (1999).An Architecture for Outdoor Wearable Computers to support Augmented Reality and Multimedia  Application.Proceedings of the 3rd International Conference on Knowledge-Based Intelligent Information Engineering Systems, Adelaide,Australia;
10Rokita,P.(1998).Compositing Computer Graphics and Real World Video Sequences.Computer Networks and ISDN Systems,30(20-21), pp.2047-2057;
11.Roseblum,L.(2000).Virtual and Augmented Reality 2020.IEEE Computer Graphics and Applications,20(1),pp.38-39;
12.Starner,T.,Schiele,B.,Rhodes,B.,Jebara,T.,Oliver,N.,Weaver,J.,and Pentland,A.(1998).Augmented Realities Integrating User and Physical Models. First IEEE International Workshop on Augmented Reality(IWAR’98),San Francisco,CA;
13.State,A.,Hirota,G.,Chen,D.,Garrett,W.,and Livingston.M.(1996). Superior Augmented Reality Registration by Integrating Landmark Tracking and Magnetic Tracking.Proceedings SIGGRAPH’96,New Orleans;
14.Thalmann,N.M.and Thalmann,D.(1997).Animating Virtual Actors in Real Environments.Multimedia Systems,5(2),pp.113-125.
作为先有技术水平所列举的专利和参考都是所述装置技术的起点。然 而,要创造在此介绍的发明就要开发一种新系统,其加入了解决其它系统中 现有问题的可靠和灵活的特性。

发明内容

支持Virtual SightseeingTM的物理结构与标准的观光望远镜类似,然而为 其新的功能性又包括了不同的部件。主要部件有捕获真实图像的系统(典型 地为视频摄像机)、处理真实图像并且叠加虚拟元素的计算机以及显示合成 图像的屏幕。传感器图像处理技术用于确定所述装置的方向。用户可以使 用触摸屏、按键或简单地移动本装置来与所述装置进行交互。
对所述装置不同部件的位置进行设计,使其能够尽可能对大多数用户友 好。为了更好地观看和容易访问,把触摸屏装到移动的结构中。为了具有简 单和直觉的用户掌握,把手柄安装在所述装置的前部。在此手柄上具有类似 于计算机鼠标装置中所使用的两个压按键。测量方向度的传感器安装在 所述移动结构的轴中。测量上/下方向的传感器在水平轴中,而测量左/右方 向的传感器在垂直轴的结构中。光线的亮度和位置可以由当天的时间来估 计。
虚拟摄像机的虚拟世界中,系统软件代表真实摄像机。此虚拟摄像机 的特性(焦距、位置、方向等等)与真实摄像机的完全一致。若真实摄像机 的这些特性中任何一个发生变化,则虚拟摄像机的特性也以同样方式发生改 变。虚拟世界的大小与真实世界的大小一致。对虚拟连线框架模型进行开发 来匹配虚拟和真实元素。当真实摄像机移动时,虚拟摄像机也实时地移动。 若任何三维物体出现在虚拟摄像机(在虚拟世界中)前面,则所述的物体就 叠加在由真实摄像机实时捕获的真实图像之上。
从用户的视点看,运行所述系统的步骤如下:
第一步是初始化,其中所述的系统从服务器中收集全部情景信息。当全 部信息从服务器下载时,所述的系统准备使用,并且启动示范模式(可选的) 或应用模式;
当所述的系统处于示范模式时,显示一段视频。所述的视频可以包括广 告、信用或其它普通的信息。取决于如何进行设置(可选择通过付费使用所 述的系统),所述的系统启动应用模式,此模式为Virtual SightseeingTM实际 工作的时间。在此模式中,用户可以与视域中的元素进行交互、玩游戏,或 者使用所述系统提供如何其它的功能性;
最后,当时间结束(根据付费额或用户的选择)时,显示“再见”的讯 息,所述的系统返回演示范模式(可选)或转变为停止。
所述的系统允许两类用户。使用Virtual SightseeingTM的普通用户和具有 改变、增加或清除虚拟信息等许可权限的管理员。这些改变可以在本地或远 端完成。管理员不用物理上去设置Virtual SightseeingTM的地方就可以执行改 变。使用互联网连接和用于配置的Web页做到这些。
由标准观光望远镜提供的唯一功能就是放大图像。Virtual SightseeingTM 包括根本不同的功能性,其包括:发现元素(通过图形化的表示和音响能够 指导用户);进行真实图像的游戏;把虚拟元素合成到真实世界的场景中; 包括可以与用户进行交互的文本、图像、声音和视频等的虚拟多媒体元素。 例如,若用户点击Virtual SightseeingTM的博物馆,他或她就能够得到包括票 价或到达该博物馆路线在内的有关该博物馆的信息。
与现有的增强现实系统相比,Virtual SightseeingTM具有与众不同的重要 特性,使用固定的物理结构具有以下益处:
可靠性-若自由度是众所周知的,则增强现实的主要问题(跟踪用户 的移动和方向)就能够解决。
坚固性-典型的增强现实系统对周围环境都非常敏感。具有了坚实、 固定的结构,这些问题得以最小化并且电子和机械部件得以保护。
增强现实技术通常应用于便携、移动或可佩带的系统中。这些经常是复 杂的系统。相反,Virtual SightseeingTM是使用坚实和固定结构的装置,其实 时工作并且以没有先前经验的平均用户为目标。在这种类型的结构中,测量 摄像机方向的传感器能够很容易地得以应用。这样,虚拟元素能够以精确的 方向放置在精确的位置上,因此增强现实的主要问题之一——了解用户正在 观看的位置——得到了解决。
与传统的透明增强现实眼镜相比,Virtual SightseeingTM装置具有更加坚 固、可靠和易用的优点。这些眼镜经常用于实验室环境,而Virtual SightseeingTM的目的是要用于具有低维护成本的一般公共场所。
通过了解Virtual SightseeingTM的位置/方向,能够使用点击虚拟元素应 处位置的虚拟模型。所述的传感器为虚拟模型提供有关真实摄像机的信息, 虚拟模型指出虚拟元素应该放置在哪里并且如何放置。有关真实摄像机的信 息使虚拟摄像机能够在虚拟世界中复制真实摄像机。
Virtual SightseeingTM还可以用于观光之外的其它目的。其还可以用于:
查找项目:查找应用通过在所述装置的显示屏中直接对要查找的目标进 行选择来改变查找目标的通常处理方法;
游戏:策略游戏或“第一人称射击”游戏在Virtual SightseeingTM系统中 很容易实现。例如,在放置于城堡顶部的Virtual SightseeingTM中,能够模拟 历史战役,根据虚拟敌人确定策略;
公众参与:Virtual SightseeingTM使对风景进行计划构建或其它改变所产 生的影响很容易得到评估。为了公众参与和讨论,这些元素能够叠加在真实 图像上;
多媒体内容:所述的系统把复杂的多媒体内容链接到真实世界的项目 上。
附图说明
图1示出了本发明的前视图;
图2示出了本发明的右视图;
图3示出了本发明的顶视图;
图4示出了本发明的前透视图;
图5示出了本发明的后透视图(从上部);
图6示出了本发明的截面视图;
图7示出了本发明的后透视分解视图;
图8示出了本发明的前透视分解视图。
图中作为参考的本发明的主要部件如下:
部件01.后保护;
部件02.主要保护;
部件03.前保护;
部件04.垂直轴;
部件05.手柄;
部件06.硬币收集系统;
部件07.视频摄像机保护玻璃;
部件08.CPU-处理单元;
部件09.UPS;
部件10.视频摄像机的旋转编码器(水平轴);
部件11.视频摄像机;
部件12.自动对焦和变焦镜头控制器
部件13.显示屏;
部件14.温度控制系统;
部件15.固定视频摄像机的平台;
部件16.水平轴;
部件17.内部传输机构(用于移动视频摄像机);
部件18.上支撑基座
部件19.下支撑基座;
部件20.按键;
部件21.结构的旋转编码器(垂直轴);
部件22.声音扬声器。

具体实施方式

基座包括垂直轴(部件04)和支撑Virtual SightseeingTM系统的支撑基 座(部件18和19)。后保护(部件01)、主要保护(部件02)和前保护(部 件03)连接在垂直轴(部件04)上。手柄(部件05)连接在主保护上来操 控Virtual SightseeingTM。
连接在前保护(部件03)上的显示屏(部件13)是防恶意破坏的。为 了交互性,其还可以是触摸屏。在显示屏的下面,为了更好与本发明交互, 具有也连接在前保护(部件03)的立体声扬声器(部件22)。
捕获真实图像的视频摄像机(部件11)在后保护(部件01)之内,由 视频摄像机的保护玻璃(部件07)加以保护。在保护内,为了把视频摄像机 (部件15)沿着水平轴(部件16)固定,视频摄像机连接在平台上。此装 置完全在显示屏(部件13)的后面。水平轴的旋转移动由手柄(部件05) 控制内部传输机构(部件17)来引导。旋转感应器(部件10)连接在水平 轴(部件16)上来捕获视频摄像机(部件11)的倾角。要控制视频摄像机 的光学系统,具有连接在后保护边上的镜头控制器(部件12)。此控制器控 制视频摄像机镜头的光圈、聚焦和变焦。
保持所述结构内部可操作温度的温度控制系统(部件14)在后保护(部 件01)的边上。
两个压力按键(部件20)连接在手柄(部件05)上作为触摸屏的另一 可选。
硬币收集系统(部件06)连接在前保护(部件03)上。其启动应用并 且控制操作时间(与付费额成比例),其为防恶意破坏的并且包括一个保险 柜。
在硬币收集系统(部件06)的后面,连接在主保护(部件02)上,有 对Virtual SightseeingTM全球结构的旋转角度进行测量的旋转传感器(部件 21)。
Virtual SightseeingTM需要工业微计算机(部件08)来处理数据和生成图 像。此计算机包含信号采集板来从两个旋转传感器、硬币收集系统和按键等 取得数据。还具有应用移动网络技术(GPRS)的调制解调器来使其得以与远程 服务器连接,用于维护、升级和收集统计数据。为了有移动性需求的应用, 可以安装指南针和GPS。UPS(部件09)在能源供应故障的情况下允许适当 的系统关机,并且其对主系统的供电电压进行了过滤。
对于本发明的几个部件,优化说明如下:
镜头-对于所述的镜头具有两种可能性:可变电动的或固定焦距的镜 头。类型能够是“CS”装配,并且具有自动聚焦和自动光圈。若为电动的, 则镜头应能够具有连接在达上的编码器,对镜头的焦距提供反馈。变焦应 能够在5x至15x之间变化。若镜头是固定的,则其变焦将与所述的场所匹 配。考虑到标准的风景观察器具有20x至30x之间的变焦,这意味着Virtual SightseeingTM要探测更广阔的视野,固定变焦应该为10x或15x。
视频摄像机-视频摄像机应能够是1024x576分辨率的“火线”,并且 具有自动配置,例如“自动曝光”和“白平衡”。
TFT+触摸屏-15″底座安装的15″TFT监视器;SVGA最大分辨率 1024x768,60Hz;触摸技术。
工业计算机-Intel PV CPU FSB800;AGP 8x;512Mb RAM;40Gb HD; Firewire;4slots PCI。
采集板-采集板48IO TTL PCI-高电流总线。从旋转传感器、焦距传 感器和硬币收集系统取得数据。
GPRS调制解调器-与服务器远程连接的调制解调器;PCI或PCMCIA 三频段的GSM/GPRS。
GPS和指南针-为了Virtual SightseeingTM的方向和位置可以安装指南 针和GPS。
旋转传感器-要使用14bits分辨率(误差:每10km为3.8m)的“单 ”绝对编码器。
硬币收集系统-应用启动和时间控制系统。防恶意破坏并且装有保险 柜。保险柜的保密系统。
部件的材质、大小、形状和布局取决于本发明的其它元素,都在本权利 要求书的范围之内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈