技术领域
[0001] 本
发明涉及地理空间信息系统技术领域，具体地，涉及一种基于多层关联网络的时空数据沉浸式可视分析方法。
背景技术
[0002] 随着传感网、
物联网和互联网等信息通信技术的飞速发展，使得描述与记录人类社会(人)、信息空间(机)、物理世界(物)三元空间的时空数据迅猛增长，现有的可视分析方法仅针对单一空间，如针对物理世界中地理现象的空间分析方法，针对人类社会社交关系和群体行为现象等的社会计算分析方法，针对信息空间
计算机网络数据的挖掘分析方法，依赖分析模型构建，难以有效处理人机物深度融合的多模态时空数据，挖掘多粒度时空对象间隐含的、复杂的、动态关联关系。智慧城市各种复杂问题的解决急需有机融合多层次多类型的分析模型、并充分发挥人机协同的作用，发现已有方法难以发现的新模式、新知识与新规律。
[0003] 现有融合物理空间和信息空间数据的分析方法过于强调几何表达，如时空路径、时空可达性，尽管能对时间地理
框架基本元素进行计算与分析，但对人机物三元空间融合的多模态时空
大数据存在的潜在复杂关联关系分析能
力很弱。网络是用于理解物理、信息和社会科学领域中的复杂系统的
基础工具，时空数据之间的相互联系形成复杂的关系网络。提出能表达对象空间拓扑关系、语义关联关系、多模态特征关联关系的网络模型是目前亟待解决的问题。
[0004] 另一方面，可视分析综合了人脑更善于发现聚集异常等模式和联想推理的优势与计算机高效、精准计算的能力，将“信息过载”的问题变为机遇，采用可视分析方法进行
数据挖掘已成为当下时空数据分析的研究热点。目前现有的网络可视分析方法侧重于构建能够保持高维数据拓扑结构的低维展现，以辅助用户在可视界面中分析多维属性间的相互关系，但对其高阶关联特性揭示不直观、容易引起视觉交叠造成认知困难、且难以挖掘对象多维属性间关联关系在空间上呈现的趋势和规律。沉浸式可视分析能更好地发挥空间思维、计算思维和数学思维的人机协同作用，以符合人类认知的自然交互方式、多用户协同方式对数据背后的关联关系(即知识规律)进行探索分析。因此，研究网络与场景联动的交互式可视分析成为有效处理人机物深度融合的多模态时空数据的可能途径之一。
发明内容
[0005] 针对前述
现有技术难以有效分析人机物三元空间融合的多模态时空大数据所存在的潜在且复杂的关联关系的问题，本发明提供了一种基于多层关联网络的时空数据沉浸式可视分析方法。
[0006] 本发明采用的技术方案,提供了一种基于多层关联网络的时空数据沉浸式可视分析方法，包括如下步骤：
[0007] S101.针对待分析的多粒度时空对象，获取相关的多粒度时空对象、多维属性和多模态特征，并生成
节点集，其中，所述待分析的多粒度时空对象为用户在对分析任务的理解后抽象而得的产物，所述多模态特征用于描述多粒度时空对象的属性；
[0008] S102.针对所述节点集，分析计算节点间的空间拓扑关系、语义关联关系和多模态特征关联关系，并按照空间拓扑关系层、语义关联关系层和多模态特征关联关系层，构建生成多层关联网络；
[0009] S103.分别构建所述多层关联网络和场景对象的视觉参数编码信息表，然后利用
渲染引擎解析场景视觉参数，最后依据符合沉浸式界面的特点对所述多层关联网络和场景对象进行绘制及显示；
[0010] S104.导入用户对视点、所述场景对象和/或所述多层关联网络进行的交互操作指令，实现所述多层关联网络的动态变换及演化，直到显示出目标关联关系。
[0011] 优化的，在所述步骤S101中，包括如下步骤：
[0012] S201.通过设置查询条件的方式，从多粒度时空对象
数据库中查询获取与待分析的多粒度时空对象相关的多粒度时空对象、多维属性和多模态特征，其中，所述多粒度时空对象数据库是一种以图模型为基础，存储有在两多粒度时空对象之间具有的空间关联关系、时间关联关系和语义关联关系的数据库；
[0013] S202.在查询结束后，生成所述节点集O＝{Oo∪Oa∪Of}，其中，Oo表示包含所有相关的多粒度时空对象的对象节点子集，Oa表示包含所有相关的多维属性的属性节点子集，Of表示包含所有相关的多模态特征的特征节点子集。
[0014] 进一步优化的，在所述步骤S102中，所述分析计算节点间的空间拓扑关系、语义关联关系和多模态特征关联关系的步骤包括如下：
[0015] S301.根据在所述多粒度时空对象数据库中构建的多粒度时空对象与空间
位置属性信息的索引，生成与所述对象节点子集Oo对应的空间位置属性节点集Oas：
[0016]
[0017] 式中， 表示在所述多粒度时空对象数据库中构建的多粒度时空对象与空间位置属性信息的索引，Ooi表示在所述对象节点子集Oo中第i(i＝1,2,…,M)个与待分析的多粒度时空对象相关的多粒度时空对象节点，Oasi表示在所述空间位置属性节点集Oas中与第i(i＝1,2,…,M)个相关多粒度时空对象对应的空间位置属性节点，M表示在所述对象节点子集Oo中相关多粒度时空对象的总数；
[0018] S302.根据所述空间位置属性节点集Oas，分析计算两相关多粒度时空对象之间的空间拓扑关系，生成空间拓扑关系集Rt；
[0019] S303.根据在所述节点集O中两相关多粒度时空对象之间的既知关联关系，分析计算两相关多粒度时空对象在多维属性之间的待知关联关系，并生成语义关联关系集Rs；
[0020] S304.根据在所述多粒度时空对象数据库中构建的多粒度时空对象与多模态特征的索引，生成与所述属性节点子集Oa对应的多模态特征节点集 {Of1,Of2,…,Ofj,…,OfN}，然后分析计算两多模态特征之间的关联关系，生成多模态特征关联关系集Rf，其中，Ofj表示与第j(j＝1,2,…,N)个相关多维属性对应的多模态特征节点，N表示在所述属性节点子集Oa中相关多维属性的总数。
[0021] 具体的，在所述步骤S303中，包括如下步骤：
[0022] S303A.从所述多粒度时空对象数据库中提取存储的两多粒度时空对象之间的既知关联关系，生成既知关联关系集Rs1；
[0023] S303B.根据在所述多粒度时空对象数据库中构建的多粒度时空对象与多维属性信息的索引，生成与所述对象节点子集Oo对应的多维属性节点集 {Oa1,Oa2,…,Oai,…,OaM}，然后分析计算两多维属性之间的关联关系，生成多维属性关联关系集Rs2，其中，Oai表示与第i(i＝1,2,…,M)个相关多粒度时空对象对应的多维属性节点；
[0024] S303C.将所述既知关联关系集Rs1和所述多维属性关联关系集Rs2作为所述语义关联关系集Rs。
[0025] 优化的，在所述步骤S103中，所述分别构建所述多层关联网络和场景对象的视觉参数编码信息表的步骤包括如下：
[0026] S401.根据网络元素的类型与状态的不同组合，分别构建对应的网络视觉参数编码信息表，然后将所述多层关联网络中的网络元素按照类型与对应的且初始状态为“正常”的网络视觉参数编码信息表关联，其中，所述网络元素的类型包括网络节点和网络关系边，所述网络元素的状态包括“正常”、“强调”和“弱化”；
[0027] S402.根据场景对象的类型与状态的不同组合，分别构建对应的场景视觉参数编码信息表，然后将所述场景对象按照类型与对应的且初始状态为“正常”的场景视觉参数编码信息表关联，其中，所述场景对象的类型包括地形模型、
建筑物室内外模型和建筑物附属设施模型，所述场景对象的状态包括“正常”、“关联”、“强调”和“弱化”；
[0028] S403.根据在所述多层关联网络的网络节点中保存的场景对象索引，在场景中查找被索引的场景对象，并
修改该场景对象的场景视觉参数编码信息表的状态为“关联”状态。
[0029] 进一步优化的，在所述步骤S103中，所述利用渲染引擎解析场景视觉参数，最后依据符合沉浸式界面的特点对所述多层关联网络和场景对象进行绘制及显示的步骤包括如下：
[0030] S501.将所述多层关联网络的数据、场景数据、所述网络视觉参数编码信息表和所述场景视觉参数编码信息表传送至渲染引擎，然后由该渲染引擎将它们转换为渲染引擎状态控制参数、图元渲染参数和图元几何参数，最后应用这些参数对所述多层关联网络和所述场景对象进行绘制及显示。
[0031] 详细优化的，在所述步骤S104中，所述实现所述多层关联网络的动态变换及演化的步骤包括如下：
[0032] S601.针对不同交互操作指令所造成的场景对象、多层关联网络和/或视点在位置和/或
角度上的改变，更新所述网络视觉参数编码信息表和所述场景视觉参数编码信息表，并将需要突出显示的场景对象关联至具有强调效果的第一
可视化参数编码表中，同时将其他场景对象关联至具有弱化效果的第二可视化参数编码表中；
[0034] 进一步优化的，在所述步骤S401中，还针对所述网络节点
指定初始的第一可视化参数，针对所述网络关系边指定初始的第二可视化参数，其中，所述第一可视化参数包括尺寸、
颜色和特效类型，所述第二可视化参数包括尺寸和颜色；
[0035] 在所述步骤S402中，还针对场景对象指定第三可视化参数，其中，所述第三可视化参数包括颜色、缩放值、纹理
开关、特效类型。
[0036] 具体的，在所述步骤S104中，所述交互操作指令由用户通过沉浸式界面或输入设备导入。
[0037] 具体的，所述交互操作指令包括如下：
[0038] (a).选取网络节点、网络关系边或场景对象的操作指令；
[0039] (b).移动网络节点、场景对象或视点的操作指令；
[0040] (c).旋转视角或场景对象的操作指令；
[0041] (d).缩放场景对象的指令。
[0042] 综上，采用本发明所提供的基于多层关联网络的时空数据沉浸式可视分析方法，具有如下有益效果：(1)本发明创造的构思是，首先从场景中抽象和提取任务相关的对象节点，然后分析计算节点间关联关系，并对多粒度时空对象间存在的关联关系进行层次划分，按照空间拓扑关系层、语义关联关系层和多模态特征关联关系层构建生成多层关联网络，再然后将构建的多层关联网络与场景进行协同可视化处理，最后通过
人机交互操作，实现结合人脑的联想推理和发现能力，帮助发现潜在且复杂的关联关系的最终目的，从而可大大利于人们快速发现新的知识规律，促进人类科学知识的进步和发展。
附图说明
[0043] 为了更清楚地说明本发明
实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0044] 图1是本发明提供的时空数据沉浸式可视分析方法的流程示意图。
[0045] 图2是本发明提供的多层关联网络与场景对象联动的沉浸式布局示意图。
[0046] 上述附图中：1、场景对象2、对应多粒度时空对象的网络节点3、对应多模态特征的网络节点4、网络关系边。
具体实施方式
[0047] 以下将参照附图，通过实施例方式详细地描述本发明提供的基于多层关联网络的时空数据沉浸式可视分析方法。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
[0048] 本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在 A和B三种情况，本文中术语“/和”是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况，另外，本文中字符“/”，一般表示前后关联对象是一种“或”关系。
[0049] 实施例一
[0050] 图1示出了本发明提供的时空数据沉浸式可视分析方法的流程示意图，图 2示出了本发明提供的多层关联网络与场景对象联动的沉浸式布局示意图。
[0051] 如图1和2所示，本实施例提供的所述基于多层关联网络的时空数据沉浸式可视分析方法，包括如下步骤。
[0052] S101.针对待分析的多粒度时空对象，获取相关的多粒度时空对象、多维属性和多模态特征，并生成节点集，其中，所述待分析的多粒度时空对象为用户在对分析任务的理解后抽象而得的产物，所述多模态特征用于描述多粒度时空对象的属性。
[0053] 在所述步骤S101中，优化的，可以但不限于包括如下步骤：S201.通过设置查询条件的方式，从多粒度时空对象数据库中查询获取与待分析的多粒度时空对象相关的多粒度时空对象、多维属性和多模态特征，其中，所述多粒度时空对象数据库是一种以图模型为基础，存储有在两多粒度时空对象之间具有的空间关联关系、时间关联关系和语义关联关系的数据库；S202.在查询结束后，生成所述节点集O＝{Oo∪Oa∪Of}，其中，Oo表示包含所有相关的多粒度时空对象的对象节点子集，Oa表示包含所有相关的多维属性的属性节点子集，Of表示包含所有相关的多模态特征的特征节点子集。在所述步骤S201中，具体的，在查询与待分析的多粒度时空对象相关的多粒度时空对象时，对应的查询条件可设置为“对象既知关系关联的其他对象”，然后根据查询结果，提取与待分析的多粒度时空对象相关的多粒度时空对象；而在查询与待分析的多粒度时空对象相关的多维属性时，对应的查询条件可设置为“对象相关的属性”，然后根据查询结果，提取与待分析的多粒度时空对象相关的多维属性；而在查询与待分析的多粒度时空对象相关的多模态特征时，对应的查询条件可设置为“描述对象属性的相关多模态特征”，然后根据查询结果，提取与待分析的多粒度时空对象相关的多模态特征。
[0054] S102.针对所述节点集，分析计算节点间的空间拓扑关系、语义关联关系和多模态特征关联关系，并按照空间拓扑关系层、语义关联关系层和多模态特征关联关系层，构建生成多层关联网络。
[0055] 在所述步骤S102中，优化的，所述分析计算节点间的空间拓扑关系、语义关联关系和多模态特征关联关系的步骤包括如下。
[0056] S301.根据在所述多粒度时空对象数据库中构建的多粒度时空对象与空间位置属性信息的索引，生成与所述对象节点子集Oo对应的空间位置属性节点集 Oas：
[0057]
[0058] 式中，表示在所述多粒度时空对象数据库中构建的多粒度时空对象与空间位置属性信息的索引，Ooi表示在所述对象节点子集Oo中第i(i＝1,2,…,M)个与待分析的多粒度时空对象相关的多粒度时空对象节点，Oasi表示在所述空间位置属性节点集Oas中与第i(i＝1,2,…,M)个相关多粒度时空对象对应的空间位置属性节点，M表示在所述对象节点子集Oo中相关多粒度时空对象的总数。
[0059] S302.根据所述空间位置属性节点集Oas，分析计算两相关多粒度时空对象之间的空间拓扑关系，生成空间拓扑关系集Rt。
[0060] S303.根据在所述节点集O中两相关多粒度时空对象之间的既知关联关系，分析计算两相关多粒度时空对象在多维属性之间的待知关联关系，并生成语义关联关系集Rs。在所述步骤S303中，进一步优化的，包括如下步骤：S303A.从所述多粒度时空对象数据库中提取存储的两多粒度时空对象之间的既知关联关系(例如组成关系、概念从属关系等)，生成既知关联关系集Rs1；S303B.根据在所述多粒度时空对象数据库中构建的多粒度时空对象与多维属性信息的索引，生成与所述对象节点子集Oo对应的多维属性节点集{Oa1,Oa2,…,Oai,…,OaM}，然后分析计算两多维属性之间的关联关系，生成多维属性关联关系集Rs2，其中，Oai表示与第i(i＝1,2,…,M)个相关多粒度时空对象对应的多维属性节点；S303C.将所述既知关联关系集Rs1和所述多维属性关联关系集Rs2作为所述语义关联关系集 Rs。
[0061] S304.根据在所述多粒度时空对象数据库中构建的多粒度时空对象与多模态特征的索引，生成与所述属性节点子集Oa对应的多模态特征节点集 {Of1,Of2,…,Ofj,…,OfN}，然后分析计算两多模态特征之间的关联关系，生成多模态特征关联关系集Rf，其中，Ofj表示与第j(j＝1,2,…,N)个相关多维属性对应的多模态特征节点，N表示在所述属性节点子集Oa中相关多维属性的总数。
[0062] S103.分别构建所述多层关联网络和场景对象的视觉参数编码信息表，然后利用渲染引擎解析场景视觉参数，最后依据符合沉浸式界面的特点对所述多层关联网络和场景对象进行绘制及显示。
[0063] 在所述步骤S103中，优化的，所述分别构建所述多层关联网络和场景对象的视觉参数编码信息表的步骤包括如下。
[0064] S401.根据网络元素的类型与状态的不同组合，分别构建对应的网络视觉参数编码信息表，然后将所述多层关联网络中的网络元素按照类型与对应的且初始状态为“正常”的网络视觉参数编码信息表关联，其中，所述网络元素的类型包括网络节点(如图2中，对应多粒度时空对象的网络节点2和对应多模态特征的网络节点3)和网络关系边(如图2中，网络关系边3)，所述网络元素的状态包括“正常”、“强调”和“弱化”。所述网络元素在其生命周期中可能处于不同的状态，即在不同的时刻，其状态会发生转化。此外，进一步优化的在所述步骤 S401中，还针对所述网络节点指定初始的第一可视化参数，针对所述网络关系边指定初始的第二可视化参数，其中，所述第一可视化参数包括尺寸、颜色和特效类型，即{Size:radius,Color:(r,g,b,a),Effect:enumeration}，其中，尺寸可用一个浮点数表示，颜色可用取值为[0,1]的浮点数四元组表示，特效类型可以但不限于包括：无、描边、外发光、闪烁；所述第二可视化参数包括尺寸和颜色，即{Size:thickness,Color:(r,g,b,a)}，其中，尺寸表示线的宽度，由一个浮点数表示，颜色也可用取值为[0,1]的浮点数四元组表示。
[0065] S402.根据场景对象的类型与状态的不同组合，分别构建对应的场景视觉参数编码信息表，然后将所述场景对象按照类型与对应的且初始状态为“正常”的场景视觉参数编码信息表关联，其中，所述场景对象(如图2中，场景对象1) 的类型包括地形模型、建筑物室内外模型和建筑物附属设施模型，所述场景对象的状态包括“正常”、“关联”、“强调”和“弱化”。同样进一步优化的，在所述步骤S402中，还针对场景对象指定第三可视化参数，其中，所述第三可视化参数包括颜色、缩放值、纹理开关、特效类型，即{Color:(r,g,b,a),Scale: (x,y,z),TexOn:bool,Effect:enumeration}，其中颜色也可用取值为[0,1] 的浮点数四元组表示，缩放值用一组浮点数的三元组表示，纹理开关为布尔值，特效可以但不限于包括：无、描边、高亮、透明度、渲染模式(线框模式或实
体模式)。
[0066] S403.根据在所述多层关联网络的网络节点中保存的场景对象索引，在场景中查找被索引的场景对象，并修改该场景对象的场景视觉参数编码信息表的状态为“关联”状态。
[0067] 在所述步骤S103中，优化的，所述利用渲染引擎解析场景视觉参数，最后依据符合沉浸式界面的特点对所述多层关联网络和场景对象进行绘制及显示的步骤包括如下：S501.将所述多层关联网络的数据、场景数据、所述网络视觉参数编码信息表和所述场景视觉参数编码信息表传送至渲染引擎，然后由该渲染引擎将它们转换为渲染引擎状态控制参数、图元渲染参数和图元几何参数，最后应用这些参数对所述多层关联网络和所述场景对象进行绘制及显示。
[0068] S104.导入用户对视点、所述场景对象和/或所述多层关联网络进行的交互操作指令，实现所述多层关联网络的动态变换及演化，直到显示出目标关联关系。
[0069] 在所述步骤S104中，优化的，所述实现所述多层关联网络的动态变换及演化的步骤包括如下：S601.针对不同交互操作指令所造成的场景对象、多层关联网络和/或视点在位置和/或角度上的改变，更新所述网络视觉参数编码信息表和所述场景视觉参数编码信息表，并将需要突出显示的场景对象关联至具有强调效果的第一可视化参数编码表中，同时将其他场景对象关联至具有弱化效果的第二可视化参数编码表中；S602.返回执行步骤S501。此外，所述交互操作指令由用户通过沉浸式界面或输入设备导入。具体的，所述交互操作指令可以但不限于包括如下：(a).选取网络节点、网络关系边或场景对象的操作指令；(b).移动网络节点、场景对象或视点的操作指令；(c).旋转视角或场景对象的操作指令； (d).缩放场景对象的指令。其中，通过(b)可以方便用户观察感兴趣的场景对象或细节，或消除场景对象间的相互遮挡；通过(c)可以方便用户观察感兴趣的区域或场景对象；通过(d)可以方便用户观察场景对象的细节。
[0070] 本实施例提供的所述基于多层关联网络的时空数据沉浸式可视分析方法，具有如下有益效果：(1)本发明创造的构思是，首先从场景中抽象和提取任务相关的对象节点，然后分析计算节点间关联关系，并对多粒度时空对象间存在的关联关系进行层次划分，按照空间拓扑关系层、语义关联关系层和多模态特征关联关系层构建生成多层关联网络，再然后将构建的多层关联网络与场景进行协同可视化处理，最后通过人机交互操作，实现结合人脑的联想推理和发现能力，帮助发现潜在且复杂的关联关系的最终目的，从而可大大利于人们快速发现新的知识规律，促进人类科学知识的进步和发展。
[0071] 如上所述，可较好地实现本发明。对于本领域的技术人员而言，根据本发明的教导，设计出不同形式的基于多层关联网络的时空数据沉浸式可视分析方法并不需要创造性的劳动。在不脱离本发明的原理和精神的情况下对这些实施例进行变化、修改、替换、整合和变型仍落入本发明的保护范围内。
