用于提供多模态视觉时间感知图形显示的系统和方法
阅读：1022发布：2020-07-09
专利汇可以提供用于提供多模态视觉时间感知图形显示的系统和方法专利检索，专利查询，专利分析的服务。并且多模态视觉时间 感知 图形显示系统使得当实现时间和交通条件感知图形时，提供关于视觉化的感兴趣点询问可控的且动态的图形效果。所述系统基于当前和过去的交通数据来处理交通信息，并视觉化地理边界。，下面是用于提供多模态视觉时间感知图形显示的系统和方法专利的具体信息内容。
1.一种用于提供多模态视觉时间感知图形显示的系统，所述系统包括：
包括显示器的用户输入和输出设备；以及
处理器，其执行与环境数据收集设备或在线信息源中的至少一个相关联的计算机可执行指令，所述指令引起机器：
响应于来自用户输入的查询而从环境数据收集设备或在线信息源中的至少一个接收环境数据；
生成与环境数据和感兴趣点相关联的时间感知地理围栏；以及
在显示器上输出包括与时间感知地理围栏相关联的参数的地图。
2.根据权利要求1所述的系统，其中环境数据收集设备生成对应于交通工具以及交通工具周围环境的环境数据。
3.根据权利要求2所述的系统，其中环境数据收集设备包括安装在交通工具上的传感器设备。
4.根据权利要求1所述的系统，其中环境数据收集设备是网络设备，其中网络设备响应于来自用户输入的查询而从在线信息源接收环境数据。
5.根据权利要求1所述的系统，还包括用于存储地图数据的存储器，所述地图数据对应于虚拟环境、纹理数据、环境光线数据、天气条件和季节性效应数据、控制参数集或渲染参数集中的至少一个。
6.根据权利要求5所述的系统，其中参数包括地图数据。
7.一种用于提供多模态视觉时间感知图形显示的方法，所述方法包括：
响应于来自用户输入的查询，由处理器从环境数据收集设备或在线信息源中的至少一个接收环境数据；
由处理器生成与环境数据和感兴趣点相关联的时间感知地理围栏；以及
由处理器在显示器上输出包括与时间感知地理围栏相关联的参数的地图。
8.根据权利要求7所述的方法，其中环境数据收集设备生成对应于交通工具以及交通工具周围环境的环境数据。
9.根据权利要求8所述的方法，其中环境数据收集设备包括安装在交通工具上的传感器设备。
10.根据权利要求7所述的系统，其中环境数据收集设备是网络设备，其中网络设备响应于来自用户输入的查询而从在线信息源接收环境数据。
11.根据权利要求8所述的系统，还包括用于存储地图数据的存储器，所述地图数据对应于虚拟环境、纹理数据、环境光线数据、天气条件和季节性效应数据、控制参数集或渲染参数集中的至少一个。
12.根据权利要求11所述的系统，其中参数包括地图数据。
用于提供多模态视觉时间感知图形显示的系统和方法
[0001] 相关申请的交叉引用本申请根据35 U.S.C.§119(e)要求2016年1月6日提交的美国临时专利申请序列号62/
275,276的权益，特此通过引用在其整体上合并该美国临时专利申请的内容。
275,276的权益，特此通过引用在其整体上合并该美国临时专利申请的内容。
技术领域
[0002] 本公开一般地涉及用户信息和用户辅助系统的领域，并且更特别地涉及向交通工具操作者提供用于绘制地图和导航应用的多模态视觉时间感知图形显示的系统和方法。发明内容
[0003] 下面阐述本文所公开的某些实施例的概述。应当理解，仅为向读者提供这某些实施例的简要概述而呈现这些方面，并且这些方面不意图限制本公开的范围。实际上，本公开可以涵盖可能未在下面阐述的各种方面。
[0004] 本公开的实施例涉及一种用于提供多模态视觉时间感知图形显示的系统，所述系统包括用户输入和输出设备，该用户输入和输出设备包括显示器和处理器，所述处理器执行与环境数据收集设备或在线信息源中的至少一个相关联的计算机可执行指令。指令引起机器响应于来自用户输入的查询而从环境数据收集设备或在线信息源中的至少一个接收环境数据，生成与环境数据和感兴趣点相关联的时间感知地理围栏，并在显示器上输出包括与时间感知地理围栏相关联的参数的地图。环境数据收集设备生成对应于交通工具以及交通工具周围环境的环境数据。在一个实施例中，环境数据收集设备包括安装在交通工具上的传感器设备。在另一个实施例中，环境数据收集设备是网络设备，其中网络设备响应于来自用户输入的查询而从在线信息源接收环境数据。所述系统还包括用于存储地图数据的存储器，所述地图数据对应于虚拟环境、纹理数据、环境光线数据、天气条件和季节性效应数据、控制参数集或渲染参数集中的至少一个。
[0005] 根据本公开的另一个示例性实施例，一种用于提供多模态视觉时间感知图形显示的方法，所述方法包括：响应于来自用户输入的查询，由处理器从环境数据收集设备或在线信息源中的至少一个接收环境数据；由处理器生成与环境数据和感兴趣点相关联的时间感知地理围栏；以及由处理器在显示器上输出包括与时间感知地理围栏相关联的参数的地图。环境数据收集设备生成对应于交通工具以及交通工具周围环境的环境数据。环境数据收集设备包括安装在交通工具上的传感器设备。环境数据收集设备是网络设备，其中网络设备响应于来自用户输入的查询而从在线信息源接收环境数据。提供用于存储地图数据的存储器，所述地图数据对应于虚拟环境、纹理数据、环境光线数据、天气条件和季节性效应数据、控制参数集或渲染参数集中的至少一个。附图说明
[0006] 图1是多模态视觉时间感知图形显示系统的示例性实施例的示意图。
[0007] 图2是描绘了根据公开的所描述实施例的时间感知地理围栏的地图。
具体实施方式
[0008] 出于促进理解本文公开的实施例的原理的目的，现在参考附图和以下撰写的说明书中的描述。这些参考不意图限制主题的范围。如本公开所涉及领域的技术人员通常将想到的，本公开还包括对说明的实施例的任何更改和修改，并且包括所公开实施例的原理的另外应用。
[0009] 如本文所使用的术语“地图特征”指代对应于地图上显示的物理位置的任何图形。地图特征包括自然和人造结构两者，所述自然和人造结构包括但不限于自然地形特征、道路、桥梁、隧道、建筑以及任何其他人造或自然结构。一些绘制地图系统使用2D图形、3D图形或2D和3D图形的组合来显示地图特征。通过使用程式化的彩色图形、单色图形或照片般逼真的图形来显示一些地图特征。
[0010] 如本文所使用的术语“交通工具中的信息系统”指代与交通工具相关联的计算机化系统，该计算机化系统用于将信息传递给交通工具的操作者和其他乘员。交通工具中的信息系统也被称作驾驶员辅助系统或驾驶员信息系统。在机动交通工具中，交通工具中的信息系统经常与交通工具物理集成，并且被配置为从交通工具中的各种传感器和控制系统接收数据。特别地，一些交通工具中的信息系统从导航系统接收数据，所述导航系统包括基于卫星的全球定位系统和诸如蜂窝塔定位系统和惯性导航系统之类的其他定位系统。一些交通工具中的信息系统实施例还包括诸如无线局域网（LAN）和广域网（WAN）设备之类的集成网络设备，所述集成网络设备使交通工具中的信息系统能够使用数据网络来发送和接收数据。数据也可以来自本地数据存储设备。在可替换实施例中，移动电子设备提供交通工具中的信息系统的一些或全部功能性。移动电子设备的示例包括智能电话、平板、笔记本计算机、手持GPS导航设备以及被配置为执行绘制地图和导航功能的任何便携式电子计算设备。移动电子设备可选地与现存的交通工具中的信息系统集成在交通工具中，或者在缺少内置导航能力的交通工具中充当交通工具中的信息系统，所述缺少内置导航能力的交通工具包括较旧的机动交通工具、摩托车、飞行器、船只以及包括但不限于自行车和其他非机动交通工具的很多其他交通工具。
[0011] 如本文所使用的术语“环境数据”包括交通工具中的信息系统从交通工具中的传感器或在不同交通工具实施例中从外部源接收的任何数据，所述外部源涉及交通工具外部的环境中的环境条件。一些环境数据涉及接近交通工具的区域中的环境条件，例如从交通工具传感器170接收的数据，而其他数据涉及交通工具周围的更大区域，例如城市或州的天气地图。术语“天气条件”指代环境数据的类型，所述环境数据的类型对应于交通工具外部的区域中的天气。天气条件的示例包括晴天或阴天外界光线条件、基于太阳或月亮的位置的外界光线、存在或不存在降水、风向和风速、温度以及湿度。其他类型的环境数据涉及各种环境条件，包括但不限于交通信息、道路建设和道路封闭信息、服务和感兴趣点的位置信息、公共事件信息等。
[0012] 图1描绘了客户系统104，所述客户系统104生成包括地理边界的3D虚拟环境的图形显示。客户系统104包括控制器108、存储器120、显示器144、可选定位系统148和可选网络设备152。客户系统104的硬件实施例包括但不限于个人计算机（PC）硬件、供机动交通工具中使用的包括嵌入式计算硬件的嵌入式系统硬件，以及包括智能电话和平板计算设备的移动电子设备。
[0013] 在客户系统104中，控制器108包括实现中央处理单元（CPU）112和图形处理单元（GPU）116的功能性的一个或多个集成电路。在一些实施例中，处理器是将CPU 112和GPU 116以及可选地其他组件的功能性集成到单个集成设备中的片上系统（SoC），所述其他组件包括存储器120、网络设备152和定位系统148。在一个实施例中，CPU是实现指令集的商业可获得中央处理设备，所述指令集诸如x86、ARM、Power或MIPS指令集族中的一个。GPU包括用于显示2D和3D图形两者的硬件和软件。在一个实施例中，控制器108执行软件驱动程序，并在GPU 116中包括硬件功能性以使用OpenGL、OpenGL ES或Direct3D图形应用编程接口（API）来生成3D图形。例如，GPU 116包括实现用于处理和显示2D和3D图形的片段着色器和顶点着色器的一个或多个硬件执行单元。在操作期间，CPU 112和GPU 116执行从存储器120检索的存储的编程指令140。在一个实施例中，存储的编程指令140包括操作系统软件和生成3D图形的一个或多个软件应用程序，所述一个或多个软件应用程序包括绘制地图和导航应用。
[0014] 控制器108执行绘制地图和导航程序，并且利用图形变换生成3D图形输出，所述图形变换利用光线和其他图形效果来描绘交通工具周围的环境中的地图特征，所述光线和其他图形效果以直观的方式描绘交通工具周围的物理环境的外观。通过以下操作来利用软件和硬件功能性配置控制器108：将编程指令存储在操作性地连接到控制器的一个或多个存储器中，并将硬件功能性操作性地连接到处理器和/或其他电子、机电或机械组件以从传感器或数据源提供数据来使处理器能够实现下面讨论的过程和系统实施例。
[0015] 存储器120包括非易失性存储器和易失性存储器两者。非易失性存储器包括诸如NAND闪速存储器之类的固态存储器、磁和光学存储介质，或者当交通工具中的信息系统104被停用或失去电力时保留数据的任何其他合适的数据存储设备。易失性存储器包括在客户系统104的操作期间存储软件和数据的静态和动态随机存取存储器（RAM），所述数据包括图形数据和地图特征数据。除了编程指令140之外，存储器120还包括地图数据，所述地图数据对应于虚拟环境124、纹理数据132、环境光线数据134、天气条件和季节性效应数据136、控制参数集174和预定渲染参数集178。
[0016] 如本文所使用的，如在存储的地图数据124中描绘的术语“地图数据”指代地理数据和图形数据，所述地理数据和图形数据对应于道路、结构、自然地形特征以及涉及在客户系统104的操作期间不频繁改变的交通工具周围的物理环境的任何相关地理数据。例如，虚拟环境的建筑和其他结构静态地图数据124包括由多个多边形形成的三维结构的多个模型。结构数据包括限定一系列互连的多边形（例如三角形）的具有三维坐标的顶点，所述一系列互连的多边形形成3D虚拟环境中的结构的形状。地图数据124也被称作“静态地图数据”，因为地图特征数据在改变的光线和天气条件下基本保持不变。当然，客户系统104的一些实施例可以接收周期性地图数据更新以将长期改变合并到物理世界建筑、道路和其他特征，但是在使用客户系统104时静态地图数据通常不改变。控制器108被配置为参考多个动态因素来修改包括静态地图数据的虚拟环境的显示，所述多个动态因素包括一天中的时间、交通工具的位置，交通工具周围的天气条件以及地理边界周围的交通模式。
[0017] 在操作期间，控制器108从传感器设备170、网络设备152或在线信息源190中的至少一个接收环境数据。传感器设备170可以包括任何合适数量的传感器。交通工具传感器或传感器设备170和网络设备152是环境数据收集设备的示例。如本文所使用的术语“环境数据收集设备”指代生成或接收环境数据以供客户系统104中的控制器使用的任何设备。在一些实施例中，传感器170生成对应于交通工具以及交通工具周围环境的环境数据，而网络设备152响应于来自客户系统104的查询而从在线信息源190接收环境数据。控制器108将不同类型的环境数据与一个或多个控制参数174相关联。控制器108标识对应于所标识控制参数的一个或多个预定渲染参数178，以将时间感知地理围栏变换应用于地图特征的描绘。在实施例中，地图特征的描绘可以是以3D虚拟环境的形式。例如，控制器108处理来自在线信息源190的当前和过去交通数据以标识交通强度，并基于从以任何输入形式的用户输入接收的感兴趣点来生成多个色彩等级测量，所述用户输入例如在地图上感兴趣点周围画圆圈、对着声换能器讲话、以文本形式向系统键入请求等。然后控制器108将信息传输到显示屏144以供显示。
[0018] 如图1中描绘的，在线信息源190包括通过数据网络108以客户系统104可访问的方式提供数据的任何在线服务。例如，在线信息源190包括实况天气服务，所述实况天气服务提供与感兴趣位置周围的天气相关的信息。另一个在线信息源190是产生关于交通量、事故和其他交通信息的报告的在线交通服务。
[0019] 客户系统104包括操作性地连接到控制器108的可选定位系统设备148。定位系统的示例包括全球定位系统（GPS）接收器、标识客户系统104关于固定无线发射器的位置的无线电三角测量接收器，以及惯性导航系统。在操作期间，控制器108执行绘制地图和导航软件应用，所述绘制地图和导航软件应用从定位系统148检索位置信息以标识客户系统104的地理位置并调整虚拟环境的显示以对应于客户信息系统104的位置。在导航应用中，控制器108标识客户信息系统104的位置和移动，用于生成到所选择的目的地的路线并在3D虚拟环境中显示路线。
[0020] 显示器144是与客户系统104的外壳集成的集成显示设备，诸如LCD或其他视觉显示设备，或者显示器144是外部显示设备，所述外部显示设备通过有线或无线接口操作性地连接到客户系统104来从控制器108接收输出信号以生成3D虚拟环境的显示。在客户系统104是交通工具中的嵌入式计算设备的实施例中，显示器144是位于交通工具的控制台中的LCD或其他平板显示器，或者显示器144是在交通工具中的挡风玻璃或其他显示表面上显示
3D虚拟环境的平视显示器（HUD）或其他投影显示器。
3D虚拟环境的平视显示器（HUD）或其他投影显示器。
[0021] 图2是描绘了根据公开的所描述实施例的时间感知地理围栏的地图。在该地图中，基于用户经由系统输入的询问来视觉化各种色彩等级测量。基于用户的输入，如上文在图1中所描述的系统的控制器通过网络设备从在线信息源接收数据。控制器将不同类型的数据与一个或多个控制参数相关联，标识对应于所标识控制参数的一个或多个预定渲染参数，以将时间感知地理围栏变换应用于地图特征的描绘。在实施例中，地图特征的描绘可以是以3D虚拟环境的形式。例如，控制器处理来自在线信息源的当前和过去交通数据以标识交通强度，并基于从以任何输入形式的用户输入接收的感兴趣点来生成多个色彩等级测量，所述用户输入诸如在地图上感兴趣点周围画圆圈、对着声换能器讲话、以文本形式向系统键入请求等。然后控制器将信息传输到显示屏以供作为人类可读格式显示。
[0022] 已经作为举例示出了上文所描述的实施例，并且应当理解，这些实施例可以容许各种修改和替换形式。还应当理解，不意图将权利要求限制于所公开的特定形式，而是覆盖落入本公开的精神和范围内的所有修改、等同物和替换。
[0023] 本公开的范围内的实施例还可以包括用于承载计算机可执行指令或数据结构或其上存储有计算机可执行指令或数据结构的非暂时性计算机可读存储介质或机器可读介质。这类非暂时性计算机可读存储介质或机器可读介质可以是通用或专用计算机可访问的任何可用介质。作为举例而非限制，这类非暂时性计算机可读存储介质或机器可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光学盘存储装置、磁盘存储装置或其他磁存储设备，或者可以用于承载或存储计算机可执行指令或数据结构形式的期望的程序代码构件的任何其他介质。以上的组合也应当包括在非暂时性计算机可读存储介质或机器可读介质的范围内。
[0024] 还可以在分布式计算环境中实践实施例，在所述分布式计算环境中由通过通信网络链接（通过硬连线链路、无线链路或通过其组合）的本地和远程处理设备来执行任务。
[0025] 计算机可执行指令包括例如引起通用计算机、专用计算机或专用处理设备执行某种功能或功能组的指令和数据。计算机可执行指令还包括由独立或网络环境中的计算机执行的程序模块。通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件和数据结构等。计算机可执行指令、相关联的数据结构和程序模块表示用于执行本文公开的方法的步骤的程序代码构件的示例。这类可执行指令或相关联的数据结构的特定序列表示用于实现这类步骤中描述的功能的对应动作的示例。
[0026] 将领会，可以合期望地将上文所公开内容的变型以及其他特征和功能或其替换组合成很多其他不同的系统、应用或方法。本领域技术人员后续可以做出也意图被所附权利要求涵盖的各种目前未预见或未预料到的替换、修改、变型或改进。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于语音的交互方法、装置、介质和电子设备 | 2020-05-12 | 4 |
| 用于在虚拟环境中优化中断处理的系统和方法 | 2021-03-22 | 0 |
| 划分高速缓存的方法及装置 | 2021-02-08 | 6 |
| 一种变阻抗和基于事件的触觉反馈控制方法 | 2020-11-24 | 4 |
| System and method for performance data collection in a virtual environment | 2021-05-12 | 2 |
| INITIATE EVENTS THROUGH HIDDEN INTERACTIONS | 2021-03-06 | 7 |
| Running add-on components in virtual environments | 2021-04-01 | 5 |
| METHOD AND APPARATUS FOR A VIRTUAL IMAGE WORLD | 2021-09-19 | 9 |
| Method of designing a product in a virtual environment | 2022-04-23 | 3 |
| 가상화 환경에서 NUI 및 NUX를 시뮬레이션하는 방법 및 장치 | 2021-03-08 | 2 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
虚拟环境热门专利
QQ群二维码
意见反馈
意见反馈