技术领域
[0001] 本
发明是关于一种声控建筑信息模型三维显示系统和方法，属于建筑信息技术领域。
背景技术
[0002] 建筑信息模型(Building Information Model，BIM)是以三维数字技术为
基础，集成了建筑工程项目各种相关信息的工程数据模型，是对工程项目设施实体与功能特性的数字化表达。一个完善的建筑信息模型，能够连接建筑项目生命期不同阶段的数据、过程和工程资源，是对工程对象的完整描述，可被建设项目业主、设计方、施工方与使用方等普遍使用。BIM是建设工程各阶段的统一工程数据源，完整集成工程设计、建造及运营各阶段设计的文本、图片、监测等各类数据，并支持各参与方在工作过程中查询、利用、更新和存储信息，辅助工程管理及决策。
[0003] 由于建设工程具有体量庞大、周期长、专业众多等特点，设计、施工及运营各阶段均使用和产生了大量数据，同时也涉及进度、成本、
质量等各个专业领域，各阶段、领域往往采用不同的
软件、数据格式并相互依赖，因此，建设工程数据具有典型的
大数据特征。另外，建设工程各专业业务均依赖其他专业数据，工程管理及运营阶段更涉及多个专业数据的综合分析利用，相应的，也要求有关工程人员掌握多专业知识，对工程数据的产生、管理及使用提出了很高的要求。
[0004] BIM包括建筑、结构、机电管线等各专业完整的设计数据，其中既有建筑各组成部分的三维形体，也包括相应形体的特征与参数。为实现项目业主、设计方、施工方及使用方之间直观、快捷的交互，BIM的三维显示或
可视化至关重要。有关BIM软件均依赖三维显示引擎进行三维模型显示与交互，为提升BIM的真实感程度，往往还需要利用模型
渲染、
烘焙等技术提升效果。与此同时，结合不同场景需求，往往需要利用桌面电脑、
虚拟现实头盔、
增强现实及
混合现实眼镜等不同
硬件终端进行BIM的三维显示和可视化。因此，如何高效、快捷的控制BIM的三维显示与可视化效果至关重要。
[0005] 当前，在桌面电脑、头戴显示器、
平板电脑、增强现实及混合现实眼镜等设备采用的BIM三维显示与可视化控制与交互方式主要由以下四种：
[0006] (1)基于
鼠标、
键盘的三维显示交互控制方式
[0007] 该方式主要用于桌面电脑设备上运行的有关BIM软件。有关BIM软件的三维显示引擎往往通过鼠标点击、拖动与滚轮等操作实现BIM三维显示的旋转、缩放及平移等交互操作。同时，也可通过键盘命令的方式实现第一人称视
角的三维场景漫游。此外，BIM中各专业不同构件的选择、显示与隐藏可通过鼠标点选、框选相应构件，并基于点击菜单命令或键盘快捷键命令的形式实现相应功能。该方式要求使用人员对BIM软件具有较好了解，并知道采用何种交互方式实现模型的三维显示控制。
[0008] (2)基于
触摸屏的三维显示交互控制方式
[0009] 该方式与方式(1)类似，主要用于具有触摸屏的桌面电脑、平板电脑或手机等设备。此类设备可通过
手指单击、双指开合、拖动等交互方式模拟鼠标单击、滚轮等操作，实现BIM三维显示的选择、缩放、平移等过程。与此同时，也可通过触摸屏点击菜单命令的形式实现模型的显示、隐藏以及三维场景漫游交互。
[0010] (3)基于
手柄或专用输入设备的三维显示交互控制方式
[0011] 该方式主要用于虚拟现实头盔等头戴显示设备。用户可利用虚拟现实手柄等方式与BIM三维显示场景进行交互。如通过移动手柄实现虚拟场景
光标的移动、通过点击手柄按键实现光标点击等功能。从而，可将相应操作等价为方式(1)鼠标移动、点击等操作，从而实现模型的选择、菜单命令的点击等功能，也相应的可以实现模型的选择、显示、隐藏等交互控制。
[0012] (4)基于手势和身体
姿态的三维显示交互控制方式
[0013] 该方式主要用于增强现实、混合现实眼睛以及虚拟现实头盔等现实设备。首先，用户可以通过在空中虚点等操作模拟类似方式(1)中的鼠标点击操作，实现模型选择或菜单命令点击，从而可唤起虚拟菜单并点击相应命令，实现模型的显示、隐藏等交互；其次，用户可以通过挥动手掌、手臂实现模型平移或旋转等操作，还可通过双手开合或手掌捏合实现模型的缩放交互；最后，用户还可利用身体姿态的变化实现BIM三维显示的交互，如通过转身、前后移动等实现虚拟场景中第一人称视角的漫游功能。
[0014] 随着BIM技术的不断普及与应用，基于BIM的建设工程数据规模将日益庞大，BIM的用户也将迅猛增长，如何为用户提供直观、便捷的三维显示交互控制对用户高效利用BIM数据，基于BIM实现多参与方协作非常重要。然而，已有技术方法仍存在交互方式不友好、命令或操作复杂、菜单选项繁多等问题，具体分析如下：
[0015] (1)模型显示、隐藏操作繁琐：如需要显示或隐藏BIM中的部分构件，首先，需要通过鼠标点击/框选、手指点击等方式选中构件，接着还需要通过点击菜单切换命令并最终点击显示、或隐藏命令实现模型显示、隐藏控制的功能。如果选择的模型构件较多，以及软件菜单命令较多，那么这个过程往往需要多次点击和菜单命令切换才能完成。然而，BIM往往包含多个专业数据，而典型用户场景通常只需要查看单个专业或区域的模型，这就意味着常常需要选择很多构件，对其进行显示、隐藏控制。同时，既有BIM软件主要以设计及施工管理软件为主，其界面与功能均涉及多个专业，功能多、界面布局复杂，有关工程人员需要较长时间才能找到或点击有关菜单命令。因此，对BIM软件用户来说，其模型显示、隐藏控制操作往往比较繁琐，而这个功能有时频繁使用的，因此会占用大量用户时间，严重影响BIM数据的查看与使用效率，制约各参与方协同工作。手势或身体姿态的交互方式往往并不适用于模型的显示、隐藏控制。
[0016] (2)视图及视点切换操作复杂：在BIM三维漫游及模型查看的过程中，用户往往会创建或记录不同的模型查看视角和视点，也会创建东立面、南立面、某层平面等不同的视图。但在进行视图切换时，用户往往需要通过点击菜单命令打开相应的视图、视点列表，然后再选择并切换到相应的视图或视点。当视点或视图很多时，用户将耗费大量时间进行数据的查找和搜索。因此，综合考虑菜单命令寻找、点击以及视图、视点查找的过程，也会占用用户较多时间，影响用户的工作与协同效率。采用手势交互的方式则与前述点击方式类似，而身体姿态则基本不适用于视图、视点切换。
[0017] (3)高度依赖手掌及手臂运动：由以上两条可知，当前有关BIM软件和设备提供的交互方式高度依赖鼠标点击、键盘命令或手势等交互方式，这些交互方式既需要反复运动手掌或手臂，用户非常容易疲劳。因此，既有三维显示交互控
制模式难以适应长时间BIM数据查看、使用等工作场景，或者会给用户身体健康带来较大的不利影响。
发明内容
[0018] 针对上述问题，本发明的目的是提供一种声控建筑信息模型三维显示系统和方法，其实现了用户语音输入的自动处理转换以及三维显示命令生成、执行与三维显示效果自动更新，有效提高了设计师、管理人员、业主等用户交互式控制BIM数据三维显示的效率，降低了学习成本，并提升了BIM软件使用友好度。
[0019] 本发明公开了一种声控建筑信息模型三维显示系统，包括：语音输入模
块、
语音识别及处理模块、命令处理模块和三维显示模块；语音输入模块用于采集用户语音，并将用户语音以标准语音数据格式传输给语音识别及处理模块；语音识别及处理模块将语音输入模块采集的用户语音转换成建筑信息模型能够识别的命令，并将命令传输至命令处理模块；命令处理模块对接收的命令进行解析和执行，并将命令的执行结果传输至三维显示模块；
三维显示模块根据接收的命令的执行结果，对建筑信息模型的三维显示效果进行更新与实时输出。
[0020] 进一步，语音识别及处理模块通用
机器学习或
深度学习的语音识别模型，实现用户语音输入向文字的转换，并结合建筑信息模型元数据及三维显示命令数据对语音输入生成的文本进行处理；将处理后的文本进行语法分析，并对生成的语法树进行初步检核，确保用户语音输入生成有效的三维显示控制及交互命令。
[0021] 进一步，语音识别及处理模块包括三维显示命令
数据库，三维显示命令数据库存储有关建筑信息模型的三维显示命令及命令相应的操作对象。
[0022] 进一步，语音识别及处理模块包括建筑信息模型元数据库，建筑信息模型元数据库存储建筑信息模型数据的元数据模型，元数据模型包括建筑信息模型中包含的数据实体及其类型、属性，以及建筑信息模型元数据与三维显示命令数据库中三维显示命令的对应关系。
[0023] 进一步，命令处理模块包括命令解析模块和命令执行模块，命令解析模块以语音识别及处理模块的输出命令为基础，根据三维显示命令及其操作对象的相互关系，生成建筑信息模型数据或视图、视点的过滤命令序列，同时生成三维显示命令调用序列，并将过滤命令序列和三维显示命令调用序列构建为建筑信息模型的
数据处理及命令调用命令流，并将命令流传输至命令执行模块。
[0024] 进一步，命令执行模块将执行命令解析模块输出的命令流，获取和查询与命令流相关数据，并将命令流作用于相关数据，将命令执行结果发送至三维显示模块。
[0025] 本发明还提供了一种声控建筑信息模型三维显示方法，通过上述任一种声控建筑信息模型三维显示系统实现，包括如下步骤：S1实时获取语音输入，并将语音输入转换为标准语音数据格式传输到下一步；S2将语音输入模块采集的用户语音转换成建筑信息模型能够识别的命令，并将命令传输至命令处理模块；S3命令处理模块对接收的命令进行解析和执行，生成建筑信息模型数据或视图、视点的过滤命令序列以及三维显示命令调用序列，构建建筑信息模型的数据处理及命令调用命令流；执行数据处理及命令调用命令流，自动获取和查询与命令流相关数据，并将命令流作用于相关数据，将命令执行结果发送至三维显示模块；S4基于命令执行结果，自动更新三维显示模块的显示结果，实现与用户的动态交互与显示结果呈现。
[0026] 进一步，其中S2具体包括以下步骤：S2.1采用机器学习或深度学习等
算法模块实现用户语音输入向文本的自动转换，生成语音输入相对应的文本输入；S2.2采用统计模型、机器学习模型或深度学习模型对文本进行分词；S2.3采用自然语音处理模型和算法对分词结果进行
词性标注；S2.4文本消歧：对停用词进行清理，并将同义词统一为一个标准词；S2.5基于步骤S2.3中词性标注与步骤S2.4中文本消歧结果，采用自然语音处理算法构建用户输入文本的语法树。
[0027] 进一步，其中S2还包括：S2.6导入三维显示命令数据库和建筑信息模型元数据库中数据，根据数据库中数据调整步骤S2.2中分词结果，将分词结果及语法树构建结果与读入的数据库中数据进行对比分析，核对并确认语法树各部分均可转换为三维显示控制命令及其操作对象信息；如不能转换为三维显示控制命令则终止语音控制流程，等待下一次用户语音输入。
[0028] 进一步，其中步骤S3具体包括以下步骤：S3.1接收语音输入模块中产生的命令，并导入三维显示命令数据库和建筑信息模型元数据库中数据；S3.2识别并确定需要提取哪些建筑信息模型数据或视图、视点；S3.3根据步骤S3.2中识别结果，生成用户语音命令对应的数据对象过滤命令序列；S3.4识别并确定需要执行的三维显示命令信息；S3.5根据步骤S3.4中三维显示命令识别结果，生成用户语音命令对应的三维显示命令调用序列；S3.6对生成的数据对象过滤命令序列和三维显示命令序列进行排序，确保相关命令和执行顺序，形成数据处理及命令调用命令流。
[0029] 本发明由于采取以上技术方案，其具有以下优点：本文中的系统和方法实现了用户语音输入的自动处理转换以及三维显示命令生成、执行与三维显示效果自动更新，有效提高了设计师、管理人员、业主等用户交互式控制BIM数据三维显示的效率，降低了学习成本，并提升了BIM软件使用友好度。本文中的系统和方法能够支持多种基于语音识别的BIM三维显示交互式控制，可采用不同语音输入终端、不同语音识别算法模块、不同BIM元数据及三维显示命令存储方式，并支持不同BIM软件和三维显示模块以及虚拟现实、增强现实、混合现实环境，为业主、设计师、管理人员等高效、交互式的控制BIM三维显示效果提供了系统和方法。
附图说明
[0030] 图1为本发明一
实施例中声控建筑信息模型三维显示系统的结构示意图；
[0031] 图2为本发明一实施例中声控建筑信息模型三维显示方法的
流程图；
[0032] 图3为本发明一实施例中语音识别及处理模块的工作方法流程图；
[0033] 图4为本发明一实施例中命令解析模块的工作方法流程图；
[0034] 图5为本发明一实施例中命令执行模块和三维显示模块的工作方法流程图。
具体实施方式
[0035] 以下结合附图来对本发明进行详细的描绘。然而应当理解，附图的提供仅为了更好地理解本发明，它们不应该理解成对本发明的限制。在本发明的描述中，需要理解的是，术语仅仅是用于描述的目的，而不能理解为指示或暗示相对重要性。
[0036] 实施例一
[0037] 本实施例公开了一种声控建筑信息模型三维显示系统，如图1所示，其包括：
[0038] (1)语音输入模块：该模块主要是桌面电脑、平板电脑、头戴显示器等计算机设备的麦克
风等语音输入设备，但也可以是除了麦克风以外的语音输入设备。该语音输入模块可以在不同环境下对用户语音输入进行实时采集，将采集掉的语音输入转换为标准语音数据格式，并以标准语音数据格式将语音输入传输给语音识别及处理模块。
[0039] (2)语音识别及处理模块：该模块基于通用机器学习或深度学习的语音识别模型，将用户语音输入转换为文本形式，并结合BIM元数据及三维显示命令数据对语音输入生成的文本进行处理。本模块将对处理后的文本进行语法分析，并对生成的语法树进行初步检核，确保用户语音输入生成有效的三维显示控制及交互命令。该模块还可以通过不断学习用户语音习惯进一步优化文本处理和语法分析的结果，使用户无需使用专业术语可以实现BIM操作。
[0040] (3)命令处理模块：该模块合BIM元数据及三维显示命令数据对接收到的语音识别及处理模块的命令进行解析和执行，生成建筑信息模型数据或视图、视点的过滤命令序列以及三维显示命令调用序列，构建建筑信息模型的数据处理及命令调用命令流；执行数据处理及命令调用命令流，自动获取和查询与命令流相关数据，并将命令流作用于相关数据，将命令执行结果发送至三维显示模块。
[0041] (4)三维显示模块：该模块主要是不同计算机设备的显示屏、虚拟现实头盔显示器以及其他投影、显示设备等，该模块将基于命令处理模块的命令执行结果以及显示更新或变换操作对模型的三维显示效果进行更新与实时输出，从而实现与用户的动态交互式三维显示控制。
[0042] 其中，语音识别及处理模块包括三维显示命令数据库和BIM元数据库：三维显示命令数据库采用图数据库或本体库存储有关BIM软件的三维显示命令及命令相应的操作对象，操作对象包括命令对应的视图名称、视点名称或构件类别等。三维显示命令数据库一方面为语音识别及处理模块提供支持，确保用户语音输入能够转换为相应的三维显示命令或命令的操作对象，另一方面也为后续命令解析和转换为BIM软件的三维显示命令序列提供支持。三维显示命令数据库也可采用关系型数据库、文档数据库、列数据库等其他数据库形式。BIM元数据库主要采用图数据库或本体库的形式存储BIM软件相应BIM数据的元数据模型，也就是BIM中包含的数据实体及其类型、属性等信息，以及BIM元数据与三维显示命令数据库中三维显示命令的对应关系。BIM元数据库一方面为语音识别及处理模块提供支持，确保用户语音输入正确转换BIM数据对象及其对应的三维显示命令，另一方面也为后续命令解析和转换为BIM软件的三维显示命令序列奠定基础。BIM元数据库也可采用关系型数据库、文档数据库、列数据库等其他数据库形式。
[0043] 本实施例中，命令处理模块包括命令解析模块和命令执行模块，命令解析模块以语音识别及处理模块的输出命令为基础，结合三维显示命令数据库和BIM元数据库，根据三维显示命令及其操作对象的相互关系，生成建筑信息模型数据或视图、视点的过滤命令序列，同时生成三维显示命令调用序列，并将过滤命令序列和三维显示命令调用序列构建为建筑信息模型的数据处理及命令调用命令流，并将命令流传输至命令执行模块。命令执行模块将执行命令解析模块输出的命令流，获取和查询与命令流相关数据，并将命令流作用于相关数据，将命令执行结果发送至三维显示模块。
[0044] 实施例二
[0045] 本实施例公开了一种声控建筑信息模型三维显示方法，如图2-5所示，包括如下步骤：
[0046] S1利用语音输入模块，实时获取语音输入，并将语音输入转换为标准语音数据格式传输到下一步；
[0047] S2将语音输入模块采集的用户语音转换成建筑信息模型能够识别的命令，并将命令传输至命令处理模块；利用三维显示命令数据库和BIM元数据库存储的三维显示命令及BIM元数据将语音输入模块输出的标准语音格式数据转换为文本，并进行文本分词、停用词清晰以及同义词消歧等处理，然后构建相应语法树，并对语法树进行校验，以确定是否可以生成有效的命令序列。如果不能生成有效的用户命令序列，则输出给用户的提示，并等待下一次用户语音输入。如果可以生成有效的用户命令序列，则进入用户命令解析步骤。
[0048] S3命令处理模块对接收的命令进行解析和执行，生成建筑信息模型数据或视图、视点的过滤命令序列以及三维显示命令调用序列，构建建筑信息模型的数据处理及命令调用命令流；执行数据处理及命令调用命令流，自动获取和查询与命令流相关数据，并将命令流作用于相关数据，将命令执行结果发送至三维显示模块；
[0049] S4基于命令执行结果，自动更新三维显示模块的显示结果，实现与用户的动态交互与显示结果呈现；
[0050] S5命令结束，并等待下一次用户语音输入。
[0051] 数据输入处理与转换过程的目的是将用户语音输入转换为文本并进行后续处理，确保用户输入能够生成有效的三维显示控制命令序列。如图3所示，该步骤主要实现方法如下：
[0052] S2.1语音转文本：采用机器学习或深度学习等算法模块实现用户语音输入向文本的自动转换，生成语音输入相对应的文本输入；
[0053] S2.2文本分词：采用统计模型、机器学习模型或深度学习模型对文本进行分词；
[0054] S2.3词性标注：采用自然语音处理模型和算法对分词结果进行词性标注，具体包括动词、名词、数量词等；
[0055] S2.4文本消歧：基于停用词词典、同义词词典以及其他自然语音处理方法对停用词进行清理，并将同义词统一为标准形式，为后续分析奠定基础；
[0056] S2.5语法树构建：基于步骤S2.3中词性标注与步骤S2.4中文本消歧结果，采用自然语音处理算法构建用户输入文本的语法树；
[0057] S2.6导入三维显示命令数据库和建筑信息模型元数据库中数据，根据数据库中数据调整步骤S2.2中分词结果，将分词结果及语法树构建结果与读入的数据库中数据进行对比分析，核对并确认语法树各部分均可转换为三维显示控制命令及其操作对象信息；如不能转换为三维显示控制命令则终止语音控制流程，等待下一次用户语音输入。
[0058] 用户命令解析环节的作用是将步骤S2中输出的文本分词、词性标注及语法树结果，结合BIM软件特点生成相应的数据对象提取命令及三维显示控制命令序列。如图4所示，该步骤主要实现方法如下：
[0059] S3.1.1
支撑数据读入：读入三维显示命令数据库及BIM元数据库的数据，作为后续用户命令解析过程的支撑数据；
[0060] S3.1.2命令操作对象识别：根据文本分词与词性标注结果，结合读入的BIM元数据及三维显示命令数据，识别并确定需要提取哪些BIM数据或视图、视点数据对象；
[0061] S3.1.3生成对象过滤命令序列：根据命令操作对象识别结果，结合BIM软件相应数据对象的数据提取方式，生成用户语音命令对应的数据对象过滤命令序列；
[0062] S3.1.4显示命令识别：根据文本分词与词性标注结果，结合三维显示命令数据，识别并确定需要执行的三维显示命令信息；
[0063] S3.1.5生成显示命令序列：根据三维显示命令识别结果，结合BIM软件相应命令的实现方式和信息，生成用户语音命令对应的三维显示命令序列；
[0064] S3.1.6命令序列排序：根据构建的语法树，结合语法树各
节点依赖关系，对生成的数据对象过滤命令序列和三维显示命令序列进行排序，确保相应的命令和顺序执行。
[0065] 用户命令执行与三维显示更新的主要功能是实时更新三维显示模块的显示结果。如图5所示，该步骤的主要实现方法如下：
[0066] S3.2.1执行对象过滤命令：在BIM软件中执行步骤S3.1.3中生成的数据对象过滤命令，并输出过滤的数据对象列表；
[0067] S3.2.2提取命令操作对象：将过滤后的数据对象进行分组、分类处理，形成提取后的命令操作对象；
[0068] S3.2.3执行三维显示命令：针对命令操作对象执行相应的三维显示命令；
[0069] S3.2.4向三维显示模块发送三维显示更新命令，以触发三维显示模块的效果更新；
[0070] S3.2.5更新设备三维显示效果：三维显示模块根据步骤S3.2.4中发送的三维显示更新命令，对显示内容进行刷新，并完成用户语音命令的执行。
[0071] 实施例三
[0072] 下面结合本发明在BIM软件AutodeskRevit以及桌面端电脑上的实际操作方法对实施例一、二中的系统和方法进行进一步说明。
[0073] (1)语音输入模块：该模块采用桌面端电脑的麦克风作为语音输入模块，并直接实时读入用户输入的语音命令；
[0074] (2)语音识别及处理模块：该模块及方法首先采用Windows系统内置的语音识别模块实现语音转文本功能，也可采用TensorFlow或pytorch实现的深度学习语音转文本功能；后续文本分词采用python模块jieba实现，停用词、同义词处理采用自编算法实现，语法树分析则采用斯坦福大学的stanford NLP parser实现；
[0075] (3)三维显示命令数据库：该模块采用图数据库neo 4j进行三维显示命令存储，主要存储内容包括Revit显示、隐藏构件以及打开、切换视图等命令，同时也包括相应命令对应的数据对象类型、属性等信息；该模块也可采用关系型数据库、列数据库、文档数据库等进行实现；
[0076] (4)BIM元数据库：该同样采用图数据库neo 4j进行Revit内BIM数据相关数据类型、属性及其继承、关联关系等内容，为构建BIM数据对象与用户语音输入生成的文本之间的对应关系提供支撑；该数据库也可采用关系型数据库、列数据库、文档数据库等进行实现；
[0077] (5)用户命令解析模块：该模块及方法采用C#语音进行Revit二次开发实现，并通过相应API与语音输入模块、语音识别及处理模块、三维显示命令数据库、BIM元数据库进行相互调用和数据交换，最终生成Revit视图、视点元素及构件元素的过滤命令和三维显示控制命令序列；
[0078] (6)命令执行模块：该模块及方法同样采用C#语音在Revit上二次开发实现，从而实现相应Revit数据的过滤和命令执行，并调用Revit三维显示更新的命令；
[0079] (7)三维显示模块：该模块直接由桌面端电脑的显示器与Revit的三维显示界面组成，当用户调用Revit三维显示更新命令后，可自动刷新显示器三维显示效果，从而实现基于用户语音控制的三维显示交互控制与更新。
[0080] 上述各实施例仅用于说明本发明，其中各部件的结构、连接方式和制作工艺等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。
