人机交互界面的多屏互动系统、设备、介质、交互系统
阅读：536发布：2020-05-12
专利汇可以提供人机交互界面的多屏互动系统、设备、介质、交互系统专利检索，专利查询，专利分析的服务。并且本 申请 的 人机交互 界面的多屏互动系统、设备、介质、交互系统，所述系统包括：UI 框架 模 块 ，用于通过多个类以构建应用于各屏幕内的2D/3D混合的UI框架系统；多屏幕应用模块，用于在多个所述屏幕上实现所述UI框架系统的应用；多屏幕互动模块，用于实现应用所述UI框架系统的多个屏幕之间的互动。本申请能够使 人机界面 多屏互动的实现变得简单化，轻量化，并且给产品设计师提供足够的想象空间，这样将有 力 提升 汽车 电子 产品的市场竞争力，为各车厂创造价值，同时满足消费者的审美需要。并且基于这样的框架技术和实施步骤，降低了画面制作的难度，提高了效率，节约了人力成本。，下面是人机交互界面的多屏互动系统、设备、介质、交互系统专利的具体信息内容。
1.一种人机交互界面的多屏互动系统，其特征在于，所述系统包括：
UI框架模块，用于通过多个类以构建应用于各屏幕内的2D/3D混合的UI框架系统；
多屏幕应用模块，用于在多个所述屏幕上实现所述UI框架系统的应用；
多屏幕互动模块，用于实现应用所述UI框架系统的多个屏幕之间的互动。
2.根据权利要求1所述的系统，其特征在于，所述类包括：所有2D/3D UI元素的父类、3D框架系统中摄像机对象的封装类、3D框架系统中光源对象的封装类、3D框架系统中实体节点对象的父类、3D框架系统中虚拟节点对象的父类、3D框架系统中实体节点对象的封装类、
3D框架系统中虚拟节点对象的封装类、3D框架系统中物体表面对象的封装类、3D框架系统中3D场景的封装类、2D框架系统中所有控件的基础父类、2D框架系统中容器类控件的基础父类、2D框架系统中具有滚动特性的容器类控件的基础父类、2D框架系统中具有各种特性的2D控件、及2D框架系统中封装2D场景的基础父类中任意一个或多个组合。
3.根据权利要求1所述的系统，其特征在于，所述屏幕包括：显示器上整块显示区域对应的独立屏幕；和/或，所述显示器上某一块显示区域对应的区块屏幕，不同所述区块屏幕可叠加于一个所述显示器中。
4.根据权利要求3所述的系统，其特征在于，所述多个屏幕之间的互动包含以下任意一种或多种：
一个所述显示器中所包含的多个所述区块屏幕之间的互动；
多个所述显示器所对应的所述独立屏幕之间的互动；
一或多个所述显示器所对应的所述独立屏幕与一或多个所述显示器所包含的所述区块屏幕之间的互动。
5.根据权利要求4所述的系统，其特征在于，所述多个屏幕所对应的多个所述显示器为同一操作系统，或，所述多个屏幕所对应的多个所述显示器分别为不同操作系统。
6.根据权利要求1所述的系统，其特征在于，所述多屏幕应用模块包括：
资源存储管理系统，用于驱动所述UI框架系统；
输入框架系统，用于实现屏幕触摸输入识别和行为细化以及分发控制、手势输入的识别和控制、及语音输入的识别和控制中任意一种或多种；
所述UI框架系统，用于检测其内各UI控件对象的变化，以及驱动各所述UI控件对象；
渲染框架系统，用于将所述UI控件对象树转化为渲染树，并在每个所述屏幕关联的唯一一个渲染窗体上进行绘制；
渲染窗体系统，用于装载所述渲染窗体。
7.根据权利要求1所述的系统，其特征在于，所述多屏幕互动模块包括：用于构建各所述屏幕内各画面间联动迁移的第一框架系统、用于构建UI元素在各所述屏幕间流动的第二框架系统、及用于构建运行在不同操作系统上的各所述屏幕间多屏互动的第三框架系统。
8.根据权利要求1所述的系统，其特征在于，所述第一框架系统通过构建不同定义的迁移触发器以实现各所述屏幕内各画面间联动迁移；其中，所述迁移触发器的定义包括：对应各2D/3D控件的事件、系统硬按键的事件、系统逻辑事件、语音控制命令的事件、及外部手势事件中任意一种或多种组合。
9.根据权利要求1所述的系统，其特征在于，所述第二框架系统通过定义数据属性与不同所述屏幕里所添加的UI元素的位置属性建立绑定关系，针对所述绑定关系定义一段数值动画并设置动画触发器，触发后通过所述绑定关系的同步机制，以实现所述UI元素在各所述屏幕间流动；
其中，所述UI元素包括：图片、文字、控件、局部画面内容、及屏幕画面内容中任意一个或多个组合。
10.根据权利要求1所述的系统，其特征在于，所述多个屏幕所对应的多个所述显示器为同一操作系统，或，所述多个屏幕所对应的多个所述显示器分别为不同操作系统；所述第三框架系统通过基于不同所述操作系统间的通信机制，以用于所述多个屏幕之间传递交互逻辑数据。
11.根据权利要求10所述的系统，其特征在于，所述多屏幕互动模块包括：用于构建各所述屏幕内各画面间联动迁移的第一框架系统、用于构建UI元素在各所述屏幕间流动的第二框架系统、及用于构建运行在不同操作系统上的各所述屏幕间多屏互动的第三框架系统；所述第三框架系统包含多个API接口。
12.一种计算机设备，其特征在于，包括：一或多个存储器、及一或多个处理器；
所述一或多个存储器，用于存储计算机程序；
所述一或多个处理器，用于运行所述计算机程序，以执行如权利要求1至11中任意一项所述系统的功能。
13.一种计算机存储介质，其特征在于，存储有计算机程序，所述计算机程序被运行时执行如权利要求1至11中任意一项所述系统的功能。
14.一种交互系统，其特征在于，包括一或多个应用如权利要求1至11中任意一项所述系统的功能的显示器，所述显示器包括：液晶仪表屏、抬头显示屏、虚拟控制屏、中控娱乐屏、副驾驶娱乐屏、后座娱乐屏、台式电脑、笔记本电脑、智能手机、平板电脑、智能手表、智能手环、及智能眼镜中任意一种或多种组合。
人机交互界面的多屏互动系统、设备、介质、交互系统
技术领域
背景技术
[0002] 在汽车内人机交互界面中，传统的实施方案是中控娱乐系统基于Android、QNX、Linux等操作系统，该操作系统携带一块显示器输出终端，上面运行一个人机交互界面程序；液晶仪表系统基于Linux、QNX等操作系统，该操作系统携带另外一块显示器输出终端，上面运行一个人机交互界面程序。在这两个系统上的人机交互界面程序之间，以汽车内CAN总线为桥梁，实现数据和业务逻辑上的通信。
[0003] 随着时代的发展，近几年汽车智能驾驶舱概念越来越流行。从用户感知层面看，汽车的显示器输出终端越来越多，越来越大。这些屏幕内容，可能是部署在各个独立的显示器设备上，也可能是任意组合到同一个显示器上的不同区域内，比如将液晶仪表屏和中控娱乐屏合并到一个大的显示器里，左边显示仪表内容，右边显示娱乐内容。另外，各个屏幕里的内容，也不再是独立无关的画面呈现，而是相关之间有各种交互关系。比如当显示汽车报警内容时，在仪表屏上显示提醒图像和简要的文书，同时在中控娱乐屏上显示更详细的文书内容；再比如通过用户操作，可以将在中控屏上的局部画面内容拉到仪表屏上显示，在操作过程中，局部画面内容会在两个屏幕上同时出现，呈现出一进一出的过场动画效果。从内部硬件架构层面看，基于hypervisor技术，在一块硬件CPU芯片上，驱动两个以上的操作系统，一般基于Android系统显示中控娱乐屏、副驾娱乐屏上的内容；基于QNX/Linux系统显示液晶仪表屏、抬头显示屏、虚拟控制屏上的内容。从软件实现的层面看，目前行业内流行的做法，或者说因为实现框架技术限制而导致行业内目前仅能采用的做法是，一个显示屏上的内容往往至少需要一个人机交互界面程序(进程)来实现，比如针对液晶仪表屏内容，为了提高显示效率，会采用分层绘制技术，则每一层画面，都需要一个人机交互界面程序来驱动。基于这种现状，一个智能驾驶舱项目，如果需要n块屏幕，则需要大于等于n个人机交互界面程序。这些程序之间，通过进程间通信技术或者跨操作系统通信技术，实现画面间逻辑和功能业务逻辑的交互需要，这样实现难度很大，实现的程序代码过于复杂，并且屏幕间的过场动画也很难做到时间一致性的保证。而且，目前技术现状，也只能通过编写程序代码的方式来实现各个屏幕间的交互逻辑。发明内容
[0004] 鉴于以上所述现有技术的缺点，本申请的目的在于提供人机交互界面的多屏互动系统、设备、介质、交互系统，解决现有技术中至少一问题。
[0005] 为实现上述目标及其他相关目标，本申请提供一种人机交互界面的多屏互动系统，所述系统包括：UI框架模块，用于通过多个类以构建应用于各屏幕内的2D/3D混合的UI框架系统；多屏幕应用模块，用于在多个所述屏幕上实现所述UI框架系统的应用；多屏幕互动模块，用于实现应用所述UI框架系统的多个屏幕之间的互动。
[0006] 于本申请的一或多个实施例中，所述类包括：所有2D/3D UI元素的父类、3D框架系统中摄像机对象的封装类、3D框架系统中光源对象的封装类、3D框架系统中实体节点对象的父类、3D框架系统中虚拟节点对象的父类、3D框架系统中实体节点对象的封装类、3D框架系统中虚拟节点对象的封装类、3D框架系统中物体表面对象的封装类、3D框架系统中3D场景的封装类、2D框架系统中所有控件的基础父类、2D框架系统中容器类控件的基础父类、2D框架系统中具有滚动特性的容器类控件的基础父类、2D框架系统中具有各种特性的2D控件、及2D框架系统中封装2D场景的基础父类中任意一个或多个组合。
[0007] 于本申请的一或多个实施例中，所述屏幕包括：显示器上整块显示区域对应的独立屏幕；和/或，所述显示器上某一块显示区域对应的区块屏幕，不同所述区块屏幕可叠加于一个所述显示器中。
[0008] 于本申请的一或多个实施例中，所述多个屏幕之间的互动包含以下任意一种或多种：一个所述显示器中所包含的多个所述区块屏幕之间的互动；多个所述显示器所对应的所述独立屏幕之间的互动；一或多个所述显示器所对应的所述独立屏幕与一或多个所述显示器所包含的所述区块屏幕之间的互动。
[0009] 于本申请的一或多个实施例中，所述多个屏幕所对应的多个所述显示器为同一操作系统，或，所述多个屏幕所对应的多个所述显示器分别为不同操作系统。
[0010] 于本申请的一或多个实施例中，所述多屏幕应用模块包括：资源存储管理系统，用于驱动所述UI框架系统；输入框架系统，用于实现屏幕触摸输入识别和行为细化以及分发控制、手势输入的识别和控制、及语音输入的识别和控制中任意一种或多种；所述UI框架系统，用于检测其内各UI控件对象的变化，以及驱动各所述UI控件对象；渲染框架系统，用于将所述UI控件对象树转化为渲染树，并在每个所述屏幕关联的唯一一个渲染窗体上进行绘制。
[0011] 于本申请的一或多个实施例中，所述多屏幕互动模块包括：用于构建各所述屏幕内各画面间联动迁移的第一框架系统、用于构建UI元素在各所述屏幕间流动的第二框架系统、及用于构建运行在不同操作系统上的各所述屏幕间多屏互动的第三框架系统。
[0012] 于本申请的一或多个实施例中，所述第一框架系统通过构建不同定义的迁移触发器以实现各所述屏幕内各画面间联动迁移；其中，所述迁移触发器的定义包括：对应各2D/3D控件的事件、系统硬按键的事件、系统逻辑事件、语音控制命令的事件、及外部手势事件中任意一种或多种组合。
[0013] 于本申请的一或多个实施例中，所述第二框架系统通过定义数据属性与不同所述屏幕里所添加的UI元素的位置属性建立绑定关系，针对所述绑定关系定义一段数值动画并设置动画触发器，触发后通过所述绑定关系的同步机制，以实现所述UI元素在各所述屏幕间流动；其中，所述UI元素包括：图片、文字、控件、局部画面内容、及屏幕画面内容中任意一个或多个组合。
[0014] 于本申请的一或多个实施例中，所述多个屏幕所对应的多个所述显示器为同一操作系统，或，所述多个屏幕所对应的多个所述显示器分别为不同操作系统；所述第三框架系统通过基于不同所述操作系统间的通信机制，以用于所述多个屏幕之间传递交互逻辑数据。
[0015] 于本申请的一或多个实施例中，所述多屏幕互动模块包括：用于构建各所述屏幕内各画面间联动迁移的第一框架系统、用于构建UI元素在各所述屏幕间流动的第二框架系统、及用于构建运行在不同操作系统上的各所述屏幕间多屏互动的第三框架系统；所述第三框架系统包含多个APA接口。
[0016] 为实现上述目标及其他相关目标，本申请提供一种计算机设备，包括：一或多个存储器、及一或多个处理器；所述一或多个存储器，用于存储计算机程序；所述一或多个处理器，用于运行所述计算机程序，以执行所述的人机交互界面的多屏互动系统的功能。
[0017] 为实现上述目标及其他相关目标，本申请提供一种计算机存储介质，存储有计算机程序，所述计算机程序被运行时执行所述的人机交互界面的多屏互动系统的功能。
[0018] 为实现上述目标及其他相关目标，本申请提供一种交互系统，包括一或多个应用所述的人机交互界面的多屏互动系统的功能的功能的显示器，所述显示器包括：液晶仪表屏、抬头显示屏、虚拟控制屏、中控娱乐屏、副驾驶娱乐屏、后座娱乐屏、台式电脑、笔记本电脑、智能手机、平板电脑、智能手表、智能手环、及智能眼镜中任意一种或多种组合。
[0019] 如上所述，本申请的人机交互界面的多屏互动系统、设备、介质、交互系统，所述系统包括：UI框架模块，用于通过多个类以构建应用于各屏幕内的2D/3D混合的UI框架系统；多屏幕应用模块，用于在多个所述屏幕上实现所述UI框架系统的应用；多屏幕互动模块，用于实现应用所述UI框架系统的多个屏幕之间的互动。
[0020] 本申请能够使人机界面多屏互动的实现变得简单化，轻量化，并且给产品设计师提供足够的想象空间，这样将有力提升汽车电子产品的市场竞争力，为各车厂创造价值，同时满足消费者的审美需要。并且基于这样的框架技术和实施步骤，降低了画面制作的难度，提高了效率，节约了人力成本。附图说明
[0021] 图1显示为本申请实施例中人机交互界面的多屏互动系统的模块示意图。
[0022] 图2显示为本申请实施例中UI框架系统的模块示意图。
[0023] 图3显示为本申请实施例中画面管理框架系统的结构示意图。
[0024] 图4显示为本申请实施例中多屏幕应用模块的场景示意图。
[0025] 图5显示为本申请实施例中第一框架系统的场景示意图。
[0026] 图6显示为本申请实施例中第二框架系统的场景示意图。
[0027] 图7显示为本申请实施例中第三框架系统的场景示意图。
[0028] 图8显示为本申请实施例中计算机设备的结构示意图。
[0029] 图9显示为本申请实施例中交互系统的结构示意图。
具体实施方式
[0030] 以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用系统，本说明书中的各项细节也可以基于不同观点与应用系统，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0031] 下面以附图为参考，针对本申请的实施例进行详细说明，以便本申请所属技术领域的技术人员能够容易地实施。本申请可以以多种不同形态体现，并不限定于此处说明的实施例。
[0032] 为了明确说明本申请，省略与说明无关的电路部件，对于通篇说明书中相同或类似的构成要素，赋予了相同的参照符号。
[0033] 在通篇说明书中，当说某电路部件与另一电路部件“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种电路部件“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素排除在外，而是意味着可以还包括其它构成要素。
[0034] 当说某电路部件在另一电路部件“之上”时，这可以是直接在另一电路部件之上，但也可以在其之间伴随着其它电路部件。当对照地说某电路部件“直接”在另一电路部件“之上”时，其之间不伴随其它电路部件。
[0035] 虽然在一些实例中术语第一、第二等在本文中用来描述各种元件，但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如，第一接口及第二接口等描述。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
[0036] 此处使用的专业术语只用于言及特定实施例，并非意在限定本申请。此处使用的单数形态，只要语句未明确表示出与之相反的意义，那么还包括复数形态。在说明书中使用的“包括”的意义是把特定特性、区域、整数、步骤、作业、要素及/或成份具体化，并非排除其它特性、区域、整数、步骤、作业、要素及/或成份的存在或附加。
[0037] 表示“下”、“上”等相对空间的术语可以为了更容易地说明在附图中图示的一电路部件相对于另一电路部件的关系而使用。这种术语是指，不仅是在附图中所指的意义，还包括使用中的装置的其它意义或作业。例如，如果翻转附图中的装置，曾说明为在其它电路部件“下”的某电路部件则说明为在其它电路部件“上”。因此，所谓“下”的示例性术语，全部包括上与下方。装置可以旋转90°或其它角度，代表相对空间的术语也据此来解释。
[0038] 针对上述软件实现多屏互动的那些痛点问题，本发明的着眼点是基于一套全新设计的2D/3D人机交互界面的实现框架，用单个人机交互界面程序(进程)来同时驱动多个显示屏内容，并且基于去代码化实现人机交互界面的技术原理，来构建一套系统化的实施方法。
[0039] 需说明的是，本申请所述的人机交互界面的多屏互动系统、设备、介质、交互系统，所适用的场景并非仅限于汽车内的人机交互场景，还可适用包含但不限于如实验室、科研、教学、商场、展览、会展等场所中包含多个人机交互设备且存在人机交互需求或应用的场景。
[0040] 如图1所示，展示本申请实施例中人机交互界面的多屏互动系统的模块示意图。
[0041] 可选的，该方法可以应用于人机交互界面的实现框架(framework)；也可以应用于人机交互界面的制作工具(可以是可视化的)。
[0042] 所述系统100包括：UI框架模块110、驱动框架模块120、及多屏幕互动模块130。
[0043] UI框架模块110
[0044] 于本申请的一或多个实施例中，所述UI框架模块110，用于通过多个类以构建应用于各屏幕内的2D/3D混合的UI框架系统。
[0045] 通常来说，所述类(Class)在面向对象编程中是一种面向对象计算机编程语言的构造，是创建对象的蓝图，描述了所创建的对象共同的属性和方法。
[0046] 类的更严格的定义是由某种特定的元数据所组成的内聚的包。它描述了一些对象的行为规则，而这些对象就被称为该类的实例。类有接口和结构。接口描述了如何通过方法与类及其实例互操作，而结构描述了一个实例中数据如何划分为多个属性。类是与某个层[注1]的对象的最具体的类型。类还可以有运行时表示形式(元对象)，它为操作与类相关的元数据提供了运行时支持。
[0047] 支持类的编程语言在支持与类相关的各种特性方面都多多少少有一些微妙的差异。大多数都支持不同形式的类继承。许多语言还支持提供封装性的特性，比如访问修饰符。类的出现，为面向对象编程的三个最重要的特性(封装性、继承性、多态性)，提供了实现的手段。
[0048] 于本申请的一或多个实施例中，所述类包括但不限于：所有2D/3D UI元素的父类、3D框架系统中摄像机对象的封装类、3D框架系统中光源对象的封装类、3D框架系统中实体节点对象的父类、3D框架系统中虚拟节点对象的父类、3D框架系统中实体节点对象的封装类、3D框架系统中虚拟节点对象的封装类、3D框架系统中物体表面对象的封装类、3D框架系统中3D场景的封装类、2D框架系统中所有控件的基础父类、2D框架系统中容器类控件的基础父类、2D框架系统中具有滚动特性的容器类控件的基础父类、2D框架系统中具有各种特性的2D控件、及2D框架系统中封装2D场景的基础父类中任意一个或多个组合
[0049] 于本实施例中，可参见图2所展示的UI框架系统的模块示意图。需说明的是，各个类的名字，只是命名表现形式，其含义和类间继承关系，是着重阐述内容。同时，为了制图简便，图中采用软件程序中常见的英文缩写替代各类的命名，具体含义及对照如下：
[0050] UIElement：是所有2D/3D UI元素的父类，它定义所有UI元素的共性的属性和方法，并起到UI控件系统和资源存储管理系统之间桥梁的作用。
[0051] C3DCamera：3D框架系统中摄像机对象的封装类。
[0052] C3DLight：3D框架系统中光源对象的封装类。
[0053] C3DNode：3D框架系统中节点(实体或虚拟节点)对象的父类，
[0054] C3DGroup：3D框架系统中虚拟节点对象的封装类，具有容器的特征，可以包含C3DEntity子节点。
[0055] C3DEntity：3D框架系统中实体节点对象的封装类，表示一个个具体的物体模型，它由C3DSubEntity组成。
[0056] C3DSubEntity：3D框架系统中物体表面对象的封装类。
[0057] C3DDocScene：3D框架系统中一个3D场景的封装类，其场景内部静态结构和动态变化数据，都可以序列化到资源存储管理系统中。
[0058] C2DComponent：2D框架系统中所有控件的基础父类。
[0059] C2DContainer：2D框架系统中容器类控件的基础父类，可以包含子控件。
[0060] C2DScrollContainer：2D框架系统中具有滚动特性的容器类控件的基础父类。
[0061] C2DCtrlXxx：表示一个个具体的封装了不同表现样式和行为逻辑功能的2D控件，如果继承至C2DComponent，则是原子控件，如CCtrlImage，CCtrlText等；如果继承至C2DContainer，则是简单的组合控件，如CCtrlButton等；如果继承至C2DScrollContainer，则是具有滚动能力的组合控件，如CCtrlList。
[0062] C2DDocContainer：2D框架系统中封装一个2D场景的基础父类，其场景内部静态结构和动态变化数据，都可以序列化到资源存储管理系统中。其内部结构和表现形式，在该框架关联的可视化界面制作工具中设计制作。
[0063] 另外，C2DDocWidget：表示可以被重用的组件对象，它可以用于其他C2DDocWidget、C2DDocPopup和C2DDocPage内部。
[0064] C2DDocPopup：表示弹出框对象，它浮动在屏幕的某个局部位置上。
[0065] C2DDocPage：表示屏幕内的一个页面对象，其尺寸一般和屏幕尺寸一致。
[0066] CMainFrame：表示一个屏幕窗体对象，是整个屏幕元素的根容器。
[0067] 在本申请中，所述屏幕的含义需要特别说明。所述屏幕包括：显示器上整块显示区域对应的独立屏幕；和/或，所述显示器上某一块显示区域对应的区块屏幕，不同所述区块屏幕可叠加于一个所述显示器中。
[0068] 具体地，即在一个屏幕内，并不是意味着只有一个画面，它也可以容纳多个虚拟画面，各画面间有重叠关系，迁移关系等。
[0069] 在本申请中，为实现所述区块屏幕的管理及运行，于本申请中构建对应的画面管理体系。可参见图3所示的画面管理框架系统。如图所述，所述画面管理框架分别包含有：整个屏幕的背景层(Background)、及多种栈管理层，以用于管理如图2实施例中C2DdocContainer下的各堆栈。
[0070] 例如，页面栈(Page Stack)管理如图2实施例中C2DDocPage堆栈；覆盖栈(Overlay Stack)管理如图2实施例中C2DDocWidget堆栈；弹窗栈(Popup Stack)管理如图2实施例中C2DDocPopup堆栈。
[0071] 多屏幕应用模块120
[0072] 于本申请的一或多个实施例中，所述多屏幕应用模块120，用于驱动应用所述UI框架系统的一或多个屏幕。
[0073] 同样的，这里所述屏幕既包括显示器上整块显示区域对应的独立屏幕，也包括所述显示器上某一块显示区域对应的区块屏幕，不同所述区块屏幕可以叠加于一个所述显示器中。
[0074] 在本申请中，通过UI框架模块110构建出所述UI框架系统后，为实现由主显示器(装载本申请所述人机交互界面的多屏互动系统100的主控终端)分别在不同显示器上运行所述UI框架系统，即实现快速简便的多屏幕应用，在本申请所述系统100中还提供所述多屏幕应用模块120，通过其内搭建的系统架构，以提供所述UI框架系统的运行环境。
[0075] 于本申请的一或多个实施例中，所述多屏幕应用模块120包括：
[0076] 资源存储管理系统121，用于驱动所述UI框架系统；
[0077] 输入框架系统122，用于实现屏幕触摸输入识别和行为细化以及分发控制、手势输入的识别和控制、及语音输入的识别和控制中任意一种或多种；
[0078] 所述UI框架系统123，用于检测其内各UI控件对象的变化，以及驱动各所述UI控件对象；其中，所述UI框架系统123为所述UI框架模块110构建得到。
[0079] 渲染框架系统124，用于将所述UI控件对象树转化为渲染树，并在每个所述屏幕关联的唯一一个渲染窗体上进行绘制。
[0080] 渲染窗体系统125，用于装载所述渲染窗体。
[0081] 如图4所示，展示为所述多屏幕应用模块120的场景示意图。如图所示，所述多屏幕应用模块120所提供的所述输入框架系统122、所述UI框架系统123、所述渲染框架系统124、及所述渲染窗体系统125，可向多个屏幕系统(硬件系统)提供，以使每一套屏幕系统包含独立的所述输入框架系统122、所述UI框架系统123、所述渲染框架系统124、及所述渲染窗体系统125。进一步的，借助于所述资源存储管理系统121，可以对各屏幕系统中所述UI框架系统123中的数据，统一做序列化和反序列化的支持。
[0082] 具体的，所述输入框架系统122，包含基本的屏幕触摸输入识别和行为细化，以及分发控制的逻辑，也包括针对手势输入的识别和控制的逻辑，甚至包括语音输入的识别和控制的逻辑。
[0083] 所述UI框架系统123能够控制各UI控件对象的变化，驱动UI控件对象的逻辑行为。其中，所述UI框架系统123为所述UI框架模块110通过多个类以构建的应用于各屏幕内的
2D/3D混合的UI框架系统。借助于所述资源存储管理系统121，可以对各屏幕系统中所述UI框架系统123中的数据。
2D/3D混合的UI框架系统。借助于所述资源存储管理系统121，可以对各屏幕系统中所述UI框架系统123中的数据。
[0084] 所述渲染框架系统124用来将所述UI控件对象树转化为渲染树，并在每个屏幕系统关联的唯一一个系统窗体上进行绘制。
[0085] 这里的渲染窗体，在Windows OS上是Window系统中的window；在Android OS上是Surface Flinger中的surface；在QNX OS上是Screen系统中的screen；在Linux上是X11系统中的window或者是Wayland系统中的surface。所述渲染窗体系统125，用于装载所述渲染窗体。
[0086] 多屏幕互动模块130
[0087] 于本申请的一或多个实施例中，所述多屏幕互动模块130，用于实现应用所述UI框架系统的多个屏幕之间的互动。
[0088] 需要说明的是，所述多个屏幕之间的互动包含以下任意一种或多种，即包括但不限于以下实施例：
[0089] 第一实施例，一个所述显示器中所包含的多个所述区块屏幕之间的互动。在本实施中，所述显示器中呈现多个显示内容，例如，一个显示器上左边和右边，或者上面和下面分别呈现有显示内容，在各显示内容之间可实现如画面的迁移、内容同步等互动操作。
[0090] 第二实施例，多个所述显示器所对应的所述独立屏幕之间的互动。在本实施例中，各所述显示器中呈现为一个完整的显示内容，在各完整的显示内容(各显示器)之间可实现如画面的迁移、内容同步等互动操作。
[0091] 第三实施例，一或多个所述显示器所对应的所述独立屏幕与一或多个所述显示器所包含的所述区块屏幕之间的互动。在本实施例中，所述显示器中呈现多个显示内容，或呈现为一个完整的显示内容，在不同情况显示内容之间可实现如画面的迁移、内容同步等互动操作。
[0092] 于本申请的一或多个实施例中，所述多屏幕互动模块130包括：用于构建各所述屏幕内各画面间联动迁移的第一框架系统131、用于构建UI元素在各所述屏幕间流动的第二框架系统132、及用于构建运行在不同操作系统上的各所述屏幕间多屏互动的第三框架系统133。
[0093] 于本申请的一或多个实施例中，所述第一框架系统131通过构建不同定义的迁移触发器以实现各所述屏幕内各画面间联动迁移；其中，所述迁移触发器的定义包括：对应各2D/3D控件的事件、系统硬按键的事件、系统逻辑事件、语音控制命令的事件、及外部手势事件中任意一种或多种组合。
[0094] 在上述实施例中，画面迁移可以在一个屏幕内部发生，也可以在多个屏幕间发生。如图5示例中，在屏幕1内，通过迁移触发器1，画面从page1变化到page2；通过迁移触发器2，引导屏幕2内显示page 3；如果迁移触发器1和迁移触发器2一样的话，则同样的触发机制将引起屏幕1和屏幕2同时发生页面的变化。类似的，在屏幕2内，通过触发器3的触发，屏幕1内显示popup 1；通过触发器4的触发，屏幕2内显示popup 2，如果触发器3和触发器4一样的话，则同样的触发机制，将在屏幕1和屏幕2内同时显示不同的popup。
[0095] 这里的触发器，包括各类2D/3D控件的各种事件、系统硬按键的事件、系统逻辑事件、外部手势事件等几大类，其中语音控制命令可以转义为系统逻辑事件。跨越各屏幕的page跟page之间，page跟popup之间的各种迁移触发器的定义，在该框架关联的可视化界面制作工具中设计制作，并通过如图4中的资源存储管理系统121来支持序列化和反序列化。第一框架系统131负责监控整个系统的运行状态，当产生某类触发器时，根据在资源存储管理系统中的迁移配置信息，通过如图2的实施例中CMainFrame的堆栈管理机制，来驱动各屏幕内的画面变化。
[0096] 于本申请的一或多个实施例中，所述第二框架系统132通过定义数据属性与不同所述屏幕里所添加的UI元素的位置属性建立绑定关系，针对所述绑定关系定义一段数值动画并设置动画触发器，触发后通过所述绑定关系的同步机制，以实现所述UI元素在各所述屏幕间流动；其中，所述UI元素包括：图片、文字、控件、局部画面内容、及屏幕画面内容中任意一个或多个组合。
[0097] 在本实施例中，多屏互动形式，也包括一个UI元素在各个屏幕间流动的形式。这个UI元素，可以是一张图片、一段文字、一个控件、一个局部画面、甚至整个屏幕画面内容。如图6所示示例中，屏幕1上的UI元素A，当从屏幕1移动到屏幕2的过程中，它的一部分内容显示在屏幕1上，它的另外一部分内容显示在屏幕2上。
[0098] 在上述实施例中，在2D/3D混合框架体系中的第二框架系统132里，定义数据属性position_x,在屏幕1里添加UI元素A，它的位置属性x跟数据属性position_x建立绑定关系：x＝position_x；在屏幕2里同样添加UI元素A，它的位置属性x跟数据属性position_x建立绑定关系：x＝position_x-屏幕宽度。在动画驱动系统里，可以为position_x定义一段数值动画，并设置动画触发器。在运行时状态，当触发器发生从而驱动动画运行后，position_x的值会不断的改变，再通过第二框架系统132的同步机制，将变化后的值同步到屏幕1和屏幕2内各自的UI元素A上，这样在画面上呈现的效果就是UI元素A从屏幕1流动到屏幕2。基于类似的实现原理，以便于设计师可以设计其他更多样性的UI元素在各屏幕间的流动样式。UI元素跟数据属性的绑定关系的建立，为数据属性设计的驱动动画，都可以在该框架关联的可视化界面制作工具中设计制。
[0099] 于本申请的一或多个实施例中，所述第三框架系统133通过基于不同所述操作系统间的通信机制，以用于所述多个屏幕之间传递交互逻辑数据。
[0100] 需说明的是，所述多个屏幕所对应的多个所述显示器为同一操作系统，或，所述多个屏幕所对应的多个所述显示器分别为不同操作系统。
[0101] 具体的，所述第三框架系统133包含多个APA接口。于一或多个实施例中，所述API接口包括：BYTE*pbtData、UINT uiDataSize、LLONG llTimeStamp BYTE*pbtData、UINT uiDataSize、及LLONG llTimeStamp中任意一种或多种；其中所述LLONG llTimeStamp，用于设置时间同步机制，以使各所述屏幕内各画面间联动迁移过程和所述UI元素在各所述屏幕间流动过程无缝衔接。
[0102] 在本实施例中，多屏幕间画面迁移的变化以及UI元素在多个屏幕间的流动，也可以发生在运行在不同操作系统上的人机界面程序之间。在图7所示示例中，操作系统1上运行人机界面程序1，它驱动两个屏幕；操作系统2上运行人机界面程序2，它驱动一个屏幕。
[0103] 在上述应用场景中，需要在2D/3D人机交互界面的多屏互动系统110，构建一个第三框架系统133，如Data Transfer模块，用它作为桥梁在两个人机界面程序间传递交互逻辑数据。它的内部实现可以基于操作系统间的通信机制，比如常见的基于socket的通信原理。这个模块，最核心的两个接口API是sendData(BYTE*pbtData,UINT uiDataSize,LLONG llTimeStamp)和onDataAvailable(BYTE*pbtData,UINT uiDataSize,LLONG llTimeStamp),其中llTimeStamp参数，用来做时间同步机制，使画面迁移过程和UI元素的流动过程看起来在两个屏幕间无缝衔接。
[0104] 按照上述构建的设计思想和实施步骤，最终在汽车智能驾驶舱领域，人机界面多屏互动的实现，将会变得简单化，轻量化，并且给产品设计师提供足够的想象空间，这样将有力提升汽车电子产品的市场竞争力，为各车厂创造价值，同时满足消费者的审美需要。并且基于这样的框架技术和实施步骤，降低了画面制作的难度，提高了效率，节约了人力成本[0105] 需要说明的是，应理解以上图1系统实施例中的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，UI框架模块110可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上图片管理模块101的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
[0106] 例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
[0107] 当然，所述系统也可以通过软件结合硬件电路实现，例如通过装载在计算机设备中的计算机程序实现，如液晶仪表屏、抬头显示屏、虚拟控制屏、中控娱乐屏、副驾驶娱乐屏、后座娱乐屏、台式电脑、笔记本电脑、智能手机、平板电脑、智能手表、智能手环、及智能眼镜等，通过硬件电路运行软件程序实现。
[0108] 如图8所示，展示本申请实施例中的计算机设备的结构示意图。
[0109] 在本实施例中，所述计算机设备800包括：一或多个存储器801、及一或多个处理器808。
[0110] 所述一或多个存储器801，存储有计算机程序；
[0111] 所述一或多个处理器808，用于运行所述计算机程序，以实现例如图1所示的人机交互界面的多屏互动系统的功能。
[0112] 在可能的实现方式中，所述一或多个存储器801可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)和/或高速缓存存储器，还可以包括一个或多个非暂时的计算机可读存储介质诸如ROM、EEPROM、EPROM、闪存设备、磁盘等，和/或其组合。
[0114] 另外需说明的是，上述实施例中的人机交互界面的图片处理系统、计算机设备等的实现，所涉及的计算机程序皆可以装载在计算机可读存储介质，所计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是、但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
[0115] 如图9所示，展示本申请实施例中的交互系统的结构示意图。如图所示，包括一或多个应用如图1所述系统的功能的显示器901，所述显示器901包括：液晶仪表屏、抬头显示屏、虚拟控制屏、中控娱乐屏、副驾驶娱乐屏、后座娱乐屏、台式电脑、笔记本电脑、智能手机、平板电脑、智能手表、智能手环、及智能眼镜中任意一种或多种组合。
[0116] 于本实施例中，各所述显示器901之间可通过无线网络、有线网络实现通信连接，如互联网、CAN、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字用户线(DSL)网络、帧中继网络、异步传输模式(ATM)网络、虚拟专用网络(VPN)和/或任何其它合适的通信网络中的任何一个或多个。例如：WIFI、蓝牙、NFC、GPRS、GSM、及以太网中任意一种及多种组合。
[0117] 综上所述，本申请的人机交互界面的多屏互动系统、设备、介质、交互系统，所述系统包括：UI框架模块，用于通过多个类以构建应用于各屏幕内的2D/3D混合的UI框架系统；多屏幕应用模块，用于在多个所述屏幕上实现所述UI框架系统的应用；多屏幕互动模块，用于实现应用所述UI框架系统的多个屏幕之间的互动。
[0118] 按照上述构建的设计思想和实施步骤，最终用户即可以按照正常的思维逻辑习惯来使用各个小图片，为各类UI控件设置图片相关的属性，同时UI框架内部机制又可以做到高效渲染图片的目的。这一过程对用户是无感知的，这样降低了画面制作的难度，提高了效率，节约了人力成本。
[0119] 上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 坐席消息提示方法、装置、计算机设备及存储介质 | 2020-05-15 | 193 |
| 终端及其操作方法 | 2020-05-18 | 693 |
| 响应于共同存在确定的调用动作 | 2020-05-11 | 133 |
| 基于模拟后座力的无实弹瞄靶训练系统及训练方法 | 2020-05-14 | 111 |
| 用于在硬件人工神经网络中神经元值无同步传输的系统，方法和制品 | 2020-05-16 | 210 |
| 一种基于IMS行政交换网的财务数据集中管理系统 | 2020-05-11 | 394 |
| 一种多时态全景数据显示交互系统 | 2020-05-17 | 754 |
| 一种带有战损处理显示模组的智能格斗小车 | 2020-05-14 | 417 |
| 一种新型太阳能电子装饰展板 | 2020-05-18 | 716 |
| 语音开关电路和语音设备 | 2020-05-08 | 815 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈