虚实融合系统及其方法
阅读：588发布：2020-05-08
专利汇可以提供虚实融合系统及其方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种虚实融合系统及其方法。该虚实融合系统包括：一环境采集单元，用于采集现实环境的信息，以获得数字化的环境数据；一输入单元，用于输入数字化的虚拟物体数据；一处理单元，用于处理该虚拟物体数据和该环境数据，以获得一虚实融合数据；以及一输出单元，用于基于该虚实融合数据，实时输出虚实融合物体，以获得实时反馈。，下面是虚实融合系统及其方法专利的具体信息内容。
1.一虚实融合系统，其特征在于，包括：
一环境采集单元，用于采集现实环境的信息，以获得数字化的环境数据；
一输入单元，用于输入数字化的虚拟物体数据；
一处理单元，用于处理所述虚拟物体数据和所述环境数据，以获得一虚实融合数据；以及
一输出单元，用于基于所述虚实融合数据，实时输出虚实融合物体，以获得实时反馈。
2.如权利要求1所述的虚实融合系统，其中，所述输入单元包括一位置记录模块和一绘制模块，其中所述位置记录模块用于记录一绘画工具在该现实环境中的运动轨迹，以获得该绘画工具的运动轨迹数据，其中所述绘制模块用于基于所述运动轨迹数据，绘制虚拟物体，以获得实时绘制的所述虚拟物体数据。
3.如权利要求2所述的虚实融合系统，其中，所述位置记录模块选自由惯性测量单元、视觉里程计和视觉惯性里程计所组成的群组中的任一种或几种的组合。
4.如权利要求1所述的虚实融合系统，其中，所述输入单元还用于输入预制的虚拟物体数据，使得所述处理单元能够将所述预制的虚拟物体数据与所述环境数据相融合。
5.如权利要求2所述的虚实融合系统，其中，所述输入单元还用于输入预制的虚拟物体数据，使得所述处理单元能够将所述预制的虚拟物体数据与所述环境数据相融合。
6.如权利要求1至5中任一所述的虚实融合系统，其中，所述处理单元包括一通信模块和一融合模块，其中所述通信模块用于将来自所述环境采集单元的所述环境数据和来自所述输入单元的所述虚拟物体数据传输给所述融合模块，其中所述融合模块用于将所述虚拟物体数据与所述环境数据相融合，以获得所述虚实融合数据。
7.如权利要求6所述的虚实融合系统，其中，所述处理单元还包括一赋值模块，用于将真实物理属性赋予所述虚实融合数据，使得该虚实融合物体具备真实物体的物理属性。
8.如权利要求7所述的虚实融合系统，其中，所述真实物理属性选自由体积属性、重力属性、颜色属性以及材质属性所组成的群组中的任一种或几种的组合。
9.如权利要求6所述的虚实融合系统，其中，所述输入单元还包括一指令生成模块，其中所述指令生成模块用于产生控制指令，并将所述控制指令发送至所述处理单元，其中所述处理单元还包括一控制模块，其中所述控制模块用于响应于所述控制指令，调节所述虚拟物体数据与所述环境数据之间的融合关系，以改变虚实物体在所述现实环境中的位置和/或角度。
10.如权利要求1至5中任一所述的虚实融合系统，其中，所述输出单元包括一显示模块，用于基于所述虚实融合数据，视觉地输出该虚实融合物体。
11.如权利要求10所述的虚实融合系统，其中，所述输出单元还包括一声音模块，用于基于所述虚实融合数据，听觉地输出该虚实融合物体。
12.如权利要求1至5中任一所述的虚实融合系统，其中，所述环境采集单元包括一摄像头传感器，用于获取该现实环境的图像信息，以获得所述环境数据中的图像数据。
13.如权利要求12所述的虚实融合系统，其中，所述环境采集单元还包括一距离传感器，用于探测该现实环境的深度信息，以获得所述环境数据中的深度数据。
14.如权利要求12所述的虚实融合系统，其中，所述环境采集单元还包括一温度传感器，用于采集该现实环境的温度信息，以获得所述环境数据中的温度数据。
15.一虚实融合方法，其特征在于，包括步骤：
采集现实环境的信息，以获得数字化的环境数据；
输入数字化的虚拟物体数据；
处理所述环境数据和所述虚拟物体数据，以获得虚实融合数据；以及
基于所述虚实融合数据，实时输出虚实融合物体，以获得实时反馈。
16.如权利要求15所述的虚实融合方法，其中，所述采集现实环境的信息，以获得数字化的环境数据的步骤，包括步骤：
获取该现实环境的图像信息，以获得所述环境数据中的图像数据；
探测该现实环境的深度信息，以获得所述环境数据中的深度数据；以及采集该现实环境的温度信息，以获得所述环境数据中的温度数据。
17.如权利要求15所述的虚实融合方法，其中，所述输入数字化的虚拟物体数据的步骤，包括步骤：
记录一绘画工具在该现实环境中的运动轨迹，以获得运动轨迹数据；和基于所述运动轨迹数据，绘制与该绘画工具的运动轨迹相对应的虚拟物体，以获得并输入实时绘制的所述虚拟物体数据。
18.如权利要求15至17中任一所述的虚实融合方法，其中，所述输入数字化的虚拟物体数据的步骤，包括步骤：
输入预制的虚拟物体数据，使得所述预制的虚拟物体数据能够与所述环境数据直接融合。
19.如权利要求18所述的虚实融合方法，其中，所述处理所述环境数据和所述虚拟物体数据，以获得虚实融合数据的步骤，包括步骤：
融合所述虚拟物体数据和所述环境数据，以获得所述虚实融合数据；和将真实物理属性赋予所述虚实融合数据，使得所述虚实融合物体具备真实物体的物理属性。
20.如权利要求15至17中任一所述的虚实融合方法，其中，所述基于所述虚实融合数据，实时输出虚实融合物体，以获得实时反馈的步骤，包括步骤：
基于所述虚实融合数据，视觉地输出所述虚实融合物体。
21.如权利要求20所述的虚实融合方法，其中，所述基于所述虚实融合数据，实时输出虚实融合物体，以获得实时反馈的步骤，还包括步骤：
基于所述虚实融合数据，听觉地输出所述虚实融合物体。
虚实融合系统及其方法
技术领域
[0001] 本发明涉及绘画技术领域，特别是涉及一虚实融合系统及其方法，用于将虚拟物体实时地融合于现实环境，便于为人们提供实时反馈。
背景技术
[0002] 1949年，摄影师Gjon Mili造访了68岁的毕加索，两人脑洞大开，玩起了光绘摄影。这种光绘摄影用手持发光体在暗室中创作，通过长曝光方法可以获取闪亮的线条与稍暗的背景，这样就可以将发光体在现实环境中的运动轨迹记录下来，达到在现实环境中实时创作的目的。
[0003] 这种创作形式很新颖，但是难度却是很高的。对于摄影师而言，需要极高的摄影技巧；对于创作者而言，由于没有实时预览画面参考，需要完全凭借自己的想象去创作、衔接，难度可想而知。然而，几十年间，这种有趣的现实环境创作形式虽然是艺术家们一直追求的，但却没有一种合适的系统或方法得到应用和普及。
发明内容
[0004] 本发明的一优势在于提供一虚实融合系统及其方法，其能够将虚拟物体叠加至现实环境，以实现虚实融合，便于为人们提供反馈。
[0005] 本发明的另一优势在于提供一虚实融合系统及其方法，其能够将虚拟物体与现实环境实时融合，有助于为人们提供实时反馈。
[0006] 本发明的另一优势在于提供一虚实融合系统及其方法，其能够将整个绘画过程实时反馈给创作者，有助于激发创作者的创造灵感和创作热情。
[0007] 本发明的另一优势在于提供一虚实融合系统及其方法，其中，在本发明的一实施例中，所述虚实融合系统能够将实时绘制出的虚拟物体叠加至现实环境中，以便为人们提供绘画反馈。
[0008] 本发明的另一优势在于提供一虚实融合系统及其方法，其中，在本发明的一实施例中，所述虚实融合系统能够将预制好的虚拟物体叠加至现实环境中，有助于丰富绘画内容，并简化绘画难度。
[0010] 本发明的另一优势在于提供一虚实融合系统及其方法，其中，在本发明的一实施例中，所述虚实融合系统能够控制地调整虚拟物体在现实环境中的位置或/和角度，以便更好地进行虚实融合。
[0011] 本发明的另一优势在于提供一虚实融合系统及其方法，其中，在本发明的一实施例中，所述虚实融合系统能够为虚拟物体赋予真实的物理属性，有助于优化所述虚实融合系统的虚实融合效果。
[0012] 本发明的另一优势在于提供一虚实融合系统及其方法，其中，在本发明的一实施例中，所述虚实融合系统能够获得现实环境的真实物理属性，以便进一步提高所述虚实融合系统的虚实融合效果。
[0013] 为了实现上述至少一发明优势或其他目的和优点，本发明提供了一虚实融合系统，包括：
[0014] 一环境采集单元，用于采集现实环境的信息，以获得数字化的环境数据；
[0015] 一输入单元，用于输入数字化的虚拟物体数据；
[0016] 一处理单元，用于处理所述虚拟物体数据和所述环境数据，以获得一虚实融合数据；以及
[0017] 一输出单元，用于基于所述虚实融合数据，实时输出虚实融合物体，以获得实时反馈。
[0018] 在本发明的一实施例中，所述输入单元包括一位置记录模块和一绘制模块，其中所述位置记录模块用于记录一绘画工具在该现实环境中的运动轨迹，以获得该绘画工具的运动轨迹数据，其中所述绘制模块用于基于所述运动轨迹数据，绘制虚拟物体，以获得实时绘制的所述虚拟物体数据。
[0019] 在本发明的一实施例中，所述位置记录模块选自由惯性测量单元、视觉里程计和视觉惯性里程计所组成的群组中的任一种或几种的组合。
[0020] 在本发明的一实施例中，所述输入单元还用于输入预制的虚拟物体数据，使得所述处理单元能够将所述预制的虚拟物体数据与所述环境数据相融合。
[0021] 在本发明的一实施例中，所述输入单元还用于输入预制的虚拟物体数据，使得所述处理单元能够将所述预制的虚拟物体数据与所述环境数据相融合。
[0022] 在本发明的一实施例中，所述处理单元包括一通信模块和一融合模块，其中所述通信模块用于将来自所述环境采集单元的所述环境数据和来自所述输入单元的所述虚拟物体数据传输给所述融合模块，其中所述融合模块用于将所述虚拟物体数据与所述环境数据相融合，以获得所述虚实融合数据。
[0023] 在本发明的一实施例中，所述处理单元还包括一赋值模块，用于将真实物理属性赋予所述虚实融合数据，使得该虚实融合物体具备真实物体的物理属性。
[0025] 在本发明的一实施例中，所述输入单元还包括一指令生成模块，其中所述指令生成模块用于产生控制指令，并将所述控制指令发送至所述处理单元，其中所述处理单元还包括一控制模块，其中所述控制模块用于响应于所述控制指令，调节所述虚拟物体数据与所述环境数据之间的融合关系，以改变虚实物体在所述现实环境中的位置和/或角度。
[0026] 在本发明的一实施例中，所述输出单元包括一显示模块，用于基于所述虚实融合数据，视觉地输出该虚实融合物体。
[0027] 在本发明的一实施例中，所述输出单元还包括一声音模块，用于基于所述虚实融合数据，听觉地输出该虚实融合物体。
[0029] 在本发明的一实施例中，所述环境采集单元还包括一距离传感器，用于探测该现实环境的深度信息，以获得所述环境数据中的深度数据。
[0030] 在本发明的一实施例中，所述环境采集单元还包括一温度传感器，用于采集该现实环境的温度信息，以获得所述环境数据中的温度数据。
[0031] 根据本发明的另一方面，本发明的进一步提供了一虚实融合方法，包括步骤：
[0032] 采集现实环境的信息，以获得数字化的环境数据；
[0033] 输入数字化的虚拟物体数据；
[0034] 处理所述环境数据和所述虚拟物体数据，以获得虚实融合数据；以及
[0035] 基于所述虚实融合数据，实时输出虚实融合物体，以获得实时反馈。
[0036] 在本发明的一实施例中，所述采集现实环境的信息，以获得数字化的环境数据的步骤，包括步骤：
[0037] 获取该现实环境的图像信息，以获得所述环境数据中的图像数据；
[0038] 探测该现实环境的深度信息，以获得所述环境数据中的深度数据；以及
[0039] 采集该现实环境的温度信息，以获得所述环境数据中的温度数据。
[0040] 在本发明的一实施例中，所述输入数字化的虚拟物体数据的步骤，包括步骤：
[0041] 记录一绘画工具在该现实环境中的运动轨迹，以获得运动轨迹数据；和
[0042] 基于所述运动轨迹数据，绘制与该绘画工具的运动轨迹相对应的虚拟物体，以获得并输入实时绘制的所述虚拟物体数据。
[0043] 在本发明的一实施例中，所述输入数字化的虚拟物体数据的步骤，包括步骤：
[0044] 输入预制的虚拟物体数据，使得所述预制的虚拟物体数据能够与所述环境数据直接融合。
[0045] 在本发明的一实施例中，所述处理所述环境数据和所述虚拟物体数据，以获得虚实融合数据的步骤，包括步骤：
[0046] 融合所述虚拟物体数据和所述环境数据，以获得所述虚实融合数据；和
[0047] 将真实物理属性赋予所述虚实融合数据，使得所述虚实融合物体具备真实物体的物理属性。
[0048] 在本发明的一实施例中，所述基于所述虚实融合数据，实时输出虚实融合物体，以获得实时反馈的步骤，包括步骤：
[0049] 基于所述虚实融合数据，视觉地输出所述虚实融合物体。
[0050] 在本发明的一实施例中，所述基于所述虚实融合数据，实时输出虚实融合物体，以获得实时反馈的步骤，还包括步骤：
[0051] 基于所述虚实融合数据，听觉地输出所述虚实融合物体。
附图说明
[0054] 图1是根据本发明的一实施例的一虚实融合系统的框图示意图。
[0055] 图2是根据本发明的上述实施例的所述虚实融合系统的一环境采集单元的框图示意图。
[0056] 图3是根据本发明的上述实施例的所述虚实融合系统的一输入单元的框图示意图。
[0057] 图4是根据本发明的上述实施例的所述虚实融合系统的一处理单元的框图示意图。
[0058] 图5是根据本发明的上述实施例的所述虚实融合系统的一输出单元的框图示意图。
[0059] 图6是根据本发明的一实施例的虚实融合方法的流程示意图。
[0060] 图7是根据本发明的一实施例的虚实融合方法的输入步骤的流程示意图。
[0061] 图8是根据本发明的一实施例的虚实融合方法的处理步骤的流程示意图。
[0062] 图9是根据本发明的一实施例的虚实融合方法的输出步骤的流程示意图。
具体实施方式
[0063] 以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
[0064] 在本发明中，权利要求和说明书中术语“一”应理解为“一个或多个”，即在一个实施例，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个。除非在本发明的揭露中明确示意该元件的数量只有一个，否则术语“一”并不能理解为唯一或单一，术语“一”不能理解为对数量的限制。
[0065] 在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0066] 在绘画领域，现有的传统绘画方法主要是二维平面绘画，这就大大限制了画作的空间表达；现有的空间雕塑是对传统平面绘画的拓展，但是也存在雕塑周期长，代价高的缺点。在环境融合领域，利用照相机拍照的方法，可以将真实物体与环境融合到一起，同时利用修图技术可以将虚拟物体叠加到照片中。但是这种方法仅局限于二维信息的存储，同时，由于需要离线操作，无法满足实时绘制虚拟物体的需求。
[0067] 然而，艺术家们或其他用户都希望能够在现实环境中叠加上自己设计的作品，这样的作品由于跟现实环境同步了环境坐标系，可以跟现实环境有机融合，且由于其设计的实时性与自然的操作方法，可以大大提高创作的热情，激发创作灵感与冲动。
[0068] 示意性系统
[0069] 参考附图1至图5所示，根据本发明的一实施例的一虚实融合系统被阐明。如图1所示，所述虚实融合系统1包括一环境采集单元10、一输入单元20、一处理单元30以及一输出单元40。所述环境采集单元10用于采集现实环境信息，以获得数字化的环境数据；所述输入单元20用于输入数字化的虚拟物体数据；所述处理单元30用于处理所述虚拟物体数据和所述环境数据，以获得一虚实融合数据；以及所述输出单元40用于基于所述虚实融合数据，实时输出虚实融合物体，以获得实时反馈。
[0070] 具体地，如图3所示，所述输入单元20包括一位置记录模块21和一绘制模块22，其中所述位置记录模块21用于记录一绘画工具在现实环境中的运动轨迹，以获得运动轨迹数据；其中所述绘制模块22用于基于所述运动轨迹数据，绘制虚拟物体(如虚拟线条等等)，以获得实时绘制的所述虚拟物体数据。这样，用户在进行绘画时，就可以摆脱具象化载体(例如纸、木板、墙壁等等)的限制，将绘画空间拓展到整个现实环境中去，以实现三维创作。
[0071] 示例性地，所述位置记录模块21可以但不限于被实施为惯性测量单元(英文：Inertial Measurement Unit，简称IMU)，其中所述惯性测量单元被固设于所述绘画工具，以使所述惯性测量单元与所述绘画工具同步运动，从而通过所述惯性测量单元测量所述绘画工具在现实环境中的惯性数据，进而求解以获得所述运动轨迹数据。
[0072] 当然，在本发明的其他示例中，所述位置记录模块21还可以被实施为视觉里程计(英文：Visual Odometry，简称VO)，其中所述视觉里程计包括相机和处理器，其中所述相机用于拍摄的所述绘画工具在现实环境中运动的图像信息，所述处理器用于根据所拍摄的图像信息来估计出所述绘画工具在现实环境中的运动轨迹，以获得所述运动轨迹数据。
[0073] 在本发明的一些其他示例中，所述位置记录模块21也可以被实施为视觉惯性里程计(英文：Visual Inertial Odometry，简称VIO)，其中所述视觉惯性里程计包括相机、惯性测量单元以及处理器，以通过所述视觉惯性里程计获得更加准确的所述运动轨迹数据。可以理解的是，所述输入单元20的所述位置记录模块21的呈现形式是多样化的，可选的形式有IMU、VO、VIO以及具有空间位姿属性的触摸屏等形式，也就是说，所述位置记录模块21包括但不限于以上这几种位置记录装置的单一或者多种形式的随机组合。
[0074] 值得一提的是，在本发明的所述实施例中，所述输入单元20还用于输入预先绘制的所述虚拟物体数据，以便通过所述处理单元30的所述融合模块32将所述预制的虚拟物体数据融合于所述环境数据，从而将预制的虚拟物体叠加至所述现实环境。这样，不仅有助于丰富绘画内容，而且还能够简化绘画难度，提高用户的创作热情。可以理解的是，所述预制的虚拟物体数据可以但不限于被实施为诸如虚拟家具、虚拟壁纸、虚拟花草、虚拟动物等等任一预先绘制好的虚拟物体，以便将这些预制好的虚拟物体直接叠加至现实环境中，丰富绘画内容，本发明对此不作进一步限制。
[0075] 值得注意的是，所述输入单元20还可以包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实施例中，所述输入单元20可以包括所选择的自然用户输入(NUI)部件或与其对接。这种元件部分可以是集成的或外围的，并且输入动作的转导和/或处理可以在板上或板外被处理。示例NUI部件可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动和/或身体运动的电场感测部件；和/或任何其他合适的传感器。
[0076] 根据本发明的所述实施例，如图2所示，所述虚实融合系统1的所述环境采集单元10包括一摄像头传感器11，其中所述摄像头传感器11用于获取所述现实环境的图像信息，以获得所述环境数据中的图像数据，便于对所述现实环境进行建模。可以理解的是，通过所述环境数据中的图像数据可以获得所述现实环境的深度信息、颜色信息和/或材质信息，有助于获得更加形象、逼真的虚实融合物体。
[0077] 示例性地，所述摄像头传感器11可以但不限于被实施为诸如CMOS或CCD摄像头，用于提取所述现实环境的彩色图像，以获得所述环境数据中的图像数据，从而通过所述图像数据获得所述现实环境的颜色信息。此外，所述摄像头可以在空间中实现6个自由度的运动(平移和/或旋转)，以便通过移动所述摄像头来获得不同位置或角度的图像数据，进而获得所述现实环境的深度信息。可以理解的是，所述摄像头的这种运动可以通过6自由度机械臂来实现，也可以通过手持移动来实现，本发明对此不作进一步限制。当然，在本发明的其他示例中，所述摄像头传感器11还可以被实施为一双目摄像机或深度摄像机，以便在不移动所述摄像头传感器11的情况下也能够获得所述现实环境的深度信息。
[0078] 在本发明的所述实施例中，如图2所示，所述环境采集单元10还包括一距离传感器12，其中所述距离传感器12用于探测所述现实环境的深度信息，以获得所述环境数据中的深度数据，有助于对所述现实环境进行精确建模。
[0079] 示例性地，所述距离传感器12可以但不限于被实施为激光雷达，以通过向现实环境发射激光光束来探测所述现实环境的深度信息，有助于获得精确的所述深度数据。当然，在本发明的其他示例中，所述距离传感器12也可以被实施为毫米波雷达或其他类型的雷达，只需能够探测出所述现实环境的深度信息即可，本发明对此不作进一步限制。
[0080] 值得注意的是，所述距离传感器12优选地与所述摄像头传感器11同步运动，以便达到现实环境的位置与所拍摄的画面相匹配的效果，进一步增强所述虚实融合系统1的融合效果。
[0081] 在本发明的所述实施例中，所述环境采集单元10还可以包括其他类型的传感器，以便满足不同的创作要求。
[0082] 示例性地，如图2所示，所述环境采集单元10还包括一温度传感器13，其中所述温度传感器13用于采集所述现实环境的温度信息，以获得所述环境数据中的温度数据，便于根据所述现实环境的温度分布来辅助所述虚拟物体数据与所述环境数据的融合。例如，对于高温锅炉附近工作的工人，通过所述温度传感器13来实时监测锅炉工人所处的高温工作环境，以获得锅炉附近的温度数据，接着就能够根据所述温度数据中的温度分布，将所述虚拟警示物体叠加至所述现实环境的安全分割线处，以便提醒工人所处位置是否安全，有助于保障工人的生命安全。
[0083] 值得注意的是，所述环境采集单元10可以按照实际需要增加或减少各种传感器的配置，也就是说，所述环境采集单元10可以包括单一或多个传感器的组合，只要满足实际需要即可。
[0084] 根据本发明的所述实施例，如图4所示，所述虚实融合系统1的所述处理单元30包括一通信模块31和一融合模块32，其中所述通信模块31用于将来自所述环境采集单元10的所述环境数据和来自所述输入单元20的所述虚拟物体数据传输给所述融合模块32，其中所述融合模块32用于将所述虚拟物体数据和所述环境数据相融合，以获得所述虚实融合数据。
[0085] 示例性地，所述通信模块31可以但不限于被实施为无线信号传输装置，以通过WIFI、蓝牙、红外或4G等等无线信号传输的方式将所述环境数据和/或所述虚拟物体数据实时传输给所述融合模块32，以便所述融合模块32实时地融合所述环境数据和所述虚拟物体数据。当然，在本发明的其他示例中，所述通信模块31也可以被实施为有线传输装置，以通过数据线或光纤等等有线信号传输的方式将所述环境数据和/或所述虚拟物体数据实时传输给所述融合模块32，同样实现实时融合所述环境数据和所述虚拟物体数据的目的。
[0086] 值得注意的是，所述通信模块31可被配置成将所述处理单元30与一个或多个其他设备通信地耦合。所述通信模块31可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，所述通信单元可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，所述通信模块31可允许所述处理单元30经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其它设备接收消息。
[0087] 值得一提的是，如图4所示，所述处理单元30还包括一赋值模块33，其中所述赋值模块33用于将真实物理属性赋予所述虚实融合数据，使得所述虚实融合物体具备真实物理属性，有助于符合用户的感知习惯。
[0088] 具体地，所述真实物理属性可以但不限于包括体积属性、重力属性、颜色属性和/或材质属性等等，使得所述虚实融合物体具备真实物体的各种物理性质，以便所述虚实融合物体更加逼近真实物体，增强用户的沉浸感。换句话说，所述真实物体属性可以但不限于选自体积属性、重力属性、颜色属性和材质属性所组成的群组中的任一种或几种的组合。
[0089] 示例性地，当所述赋值模块33将体积属性赋予所述虚实融合数据，则所述虚实融合物体将具备真实物体的体积，也就是说，所述虚实融合物体将摆脱二维物体的限制，以形成三维物体，例如悬浮在现实环境中的立体字或立体线条。
[0090] 示例性地，当所述赋值模块33将重力属性赋予所述虚实融合数据，则所述虚实融合物体将具备真实物体的重量，也就是说，所述虚实融合物体因重力的作用而不能悬浮在现实空间中，将会在重力的作用下下落，直至被其他物体支持以满足受力平衡，例如在空中绘制的虚拟球体在重力作用下自由下落，直至触碰到地面才停止，使得所述虚实融合物体与所述现实环境之间的融合更加逼真。
[0091] 示例性地，当所述赋值模块33将材质属性赋予所述虚实融合数据，则所述虚实融合物体将具备真实物体的材质，也就是说，所述虚实融合物体将因材质不同而具备不同的物理性质，例如当所绘制的虚拟球体的材质具有弹性时，所述虚拟球体在自身重力或其他外力的作用下将发生弹性形变，使得所述虚拟球体的形状由球体变成类球体，以获得更加逼真的所述虚实融合物体。
[0092] 在本发明的所述实施例中，如图4所示，所述处理单元30还包括一存储模块34，其中所述存储模块34用于储存所述虚实融合数据，以便将融合后的虚实融合物体以数字形式记录下来，进而达到保存画作与快速传播的目的。当然，所述存储模块34也可以用于储存所述环境数据和/或所述虚拟物体数据，以便保存和丰富绘画素材，例如将本次所绘制的虚拟物体数据作为下次绘画时预制的虚拟物体数据使用，便于减少重复劳动。
[0093] 此外，如图3所示，所述输入单元20还可以包括一指令生成模块23，其中所述指令生成模块23用于产生各种控制指令，并将所述控制指令发送至所述处理单元30.如图4所示，所述处理单元30还可以包括一控制模块35，其中所述控制模块35用于响应于所述控制指令，控制地调节所述虚拟物体数据与所述环境数据之间的融合关系，以获得调节后的虚实融合数据，使得所述虚实物体在所述现实环境中的位置和/或角度发生改变。
[0094] 示例性地，所述控制模块35与所述指令生成模块23可通信地连接，其中当所述指令生成模块23产生平移控制指令时，所述控制模块35响应于所述平移控制指令，调节所述虚拟物体数据与所述环境数据之间的融合位置关系，以在所述现实环境中平移所述虚拟物体，从而改变所述虚拟物体在所述现实环境中的位置。
[0095] 示例性地，当所述指令生成模块23产生旋转控制指令时，所述控制模块35响应于所述旋转控制指令，调节所述虚拟物体数据与所述环境数据之间的融合角度关系，以在所述现实环境中旋转所述虚拟物体，从而改变所述虚拟物体相对于所述现实环境的角度。
[0096] 在本发明的一些其他实施例中，所述处理单元30可以包括一逻辑机和一存储机。所述处理单元30可任选地包括一通信子系统和/或其他组件。
[0097] 所述逻辑机包括被配置成执行指令的一个或多个物理设备。例如，所述逻辑机可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个部件的状态、实现技术效果、或以其他方式得到期望结果。
[0098] 所述逻辑机可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换，所述逻辑机可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。所述逻辑机的处理器可以是单核或多核，且在其上执行的指令可被配置为串行、并行和/或分布式处理。所述逻辑机的各个组件可任选地分布在两个或更多单独设备上，这些设备可以位于远程和/或被配置成进行协同处理。所述逻辑机的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
[0099] 所述存储机包括被配置成保存可由所述逻辑机执行以实现此处所述的方法和过程的机器可读指令的一个或多个物理设备。在实现这些方法和过程时，可以变换所述存储机的状态(例如，保存不同的数据)。
[0100] 所述存储机可以包括可移动和/或内置设备。所述存储机可包括光学存储器(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。所述存储机可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。
[0101] 可以理解，所述存储机包括一个或多个物理设备。然而，本文描述的指令的各方面可另选地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。
[0102] 所述逻辑机和所述存储机的各方面可被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。
[0103] 根据本发明的所述实施例，如图5所示，所述虚实融合系统1的所述输出单元40包括一显示模块41，其中所述显示模块41用于基于所述虚实融合数据，视觉地输出所述虚实融合物体。这样，用户就可以直接观看到所述虚实融合物体，从而让用户能够直观地得到反馈。
[0104] 值得注意的是，所述虚实融合物体可以被实施为携带虚拟环境的虚拟物体，以便在通过显示屏来显示所述虚实融合物体时，用户能够直接观看到在所述虚拟环境中的所述虚拟物体，从而获得绘画反馈。当然，所述虚实融合物体也可以被实施为不携带虚拟环境的虚拟物体，以便在通过投影装置将虚拟物体直接投影至所述现实环境中，使得用户能够直接观看到在所述现实环境中的所述虚拟物体，从而实时获得绘画反馈。
[0105] 示例性地，所述显示模块41可以但不限于被实施为一电子显示屏(例如OLED屏，LED屏、LCD屏或者VR眼镜等等)，用于实时显示所述虚实融合物体(即所述虚拟物体和所述虚拟环境)，使得用户能够在所述虚拟环境中看到所述虚拟物体，从而让用户能够实时地得到绘画反馈，有助于降低绘画难度，并提高用户的创作兴趣。可以理解的是，所述虚拟物体数据和所述环境数据均对应于所述现实环境的环境坐标系，这样在通过所述融合模块32融合而成的所述虚实融合数据中，所述虚拟物体相对固定于所述虚拟环境，使得所述虚拟物体在所述虚拟环境中看起来是固定不动的。
[0106] 当然，在本发明的其他示例中，所述显示模块41也可以被实施为投影装置(如投影仪或AR眼镜等等)，用于将所述虚实融合物体(即所述虚拟物体)投影至所述现实环境中，也就是以投影方式来呈现所述虚实融合物体(即所述虚拟物体)，使得用户能够在现实环境中看到所述虚拟物体，从而让用户得到实时绘画反馈。可以理解的是，所述虚拟物体数据和所述环境数据均对应于所述现实环境的环境坐标系，这样在通过所述融合模块32融合而成的所述虚实融合数据中，所述虚拟物体相对固定于所述现实环境，使得所述虚拟物体在所述现实环境中看起来是固定不动的。
[0107] 值得注意的是，所述显示模块41可用于呈现所述虚实融合数据的视觉表示。该视觉表示可采用图形用户界面(GUI)的形式。由于此处所描述的方法和过程改变了由存储机保持的数据，并由此变换了所述存储机的状态，因此同样可以转变所述显示模块41的状态以视觉地表示底层数据的改变。所述显示模块41可包括利用实际上任何类型的技术的一个或多个显示设备。可将这样的显示设备与所述逻辑机和/所述或所述存储机组合在共享封装中，或者这样的显示设备可以是外围显示设备。
[0108] 根据本发明的所述实施例，如图5所示，所述输出单元40还可以包括一声音模块42，用于基于所述虚实融合数据，听觉地输出所述虚实融合物体，用于供用户通过听觉来判断所述虚实融合物体的各种信息，以获得绘画反馈。
[0109] 示例性地，所述输出单元40的所述声音模块42可以但不限于被实施为一扬声器，用于将所述虚实融合物体以声音的方式输出，使得用户能够依靠声音来辨别所述虚实融合物体的各种信息。例如，当绘制的所述虚拟物体为瀑布时，通过所述声音模块42输出瀑布的水流声音，则盲人用户就可以通过水流声音的大小、方向来感知所述虚实融合物体，以获得绘画反馈。
[0110] 示意性方法
[0111] 参考附图6所示，根据本发明的一实施例的虚实融合方法被阐明。具体地，所述虚实融合方法包括步骤：
[0112] S510：采集现实环境的信息，以获得数字化的环境数据；
[0113] S520：输入数字化的虚拟物体数据；
[0114] S530：处理所述环境数据和所述虚拟物体数据，以获得虚实融合数据；以及[0115] S540：基于所述虚实融合数据，实时输出虚实融合物体，以获得实时反馈。
[0116] 在本发明的一示例中，所述步骤S510包括步骤：获取所述现实环境的图像信息，以获得所述环境数据中的图像数据。
[0117] 在本发明的一示例中，所述步骤S510包括步骤：探测所述现实环境的深度信息，以获得所述环境数据中的深度数据。
[0118] 在本发明的一示例中，所述步骤S510包括步骤：采集所述现实环境的温度信息，以获得所述环境数据中的温度数据。
[0119] 在本发明的一示例中，如图7所示，所述步骤S520包括步骤：
[0120] S521：记录绘画工具在所述现实环境中的运动轨迹，以获得运动轨迹数据；和[0121] S522：基于所述运动轨迹数据，绘制与所述绘画工具的运动轨迹相对应的虚拟物体，以获得并输入实时绘制的所述虚拟物体数据。
[0122] 在本发明的这个示例中，如图7所示，所述步骤S520还包括步骤：
[0123] S523：输入预制的虚拟物体数据，使得所述预制的虚拟物体数据能够与所述环境数据直接融合。可以理解的是，所述步骤S520可以仅包括所述步骤S521和所述步骤S522，也可以仅包括所述步骤S523，还可以同时包括所述步骤S521、所述步骤S522以及所述步骤S523。
[0124] 在本发明的一示例中，如图8所示，所述步骤S530包括步骤：
[0125] S531：融合所述虚拟物体数据和所述环境数据，以获得所述虚实融合数据；和[0126] S532：将真实物理属性赋予所述虚实融合数据，使得所述虚实融合物体具备真实物体的物理属性。
[0127] 值得注意的是，所述真实物理属性选自由体积属性、重力属性、颜色属性以及材质属性所组成的群组中的任一种或几种的组合。
[0128] 在本发明的一示例中，如图9所示，所述步骤S540包括步骤：
[0129] S541：基于所述虚实融合数据，视觉地输出所述虚实融合物体。
[0130] 在本发明的一示例中，所述步骤S540还可以包括步骤：
[0131] S542：基于所述虚实融合数据，听觉地输出所述虚实融合物体。
[0132] 在本发明的一示例中，所述虚实融合方法还包括步骤：
[0133] 调节所述虚拟物体数据与所述环境数据之间的融合关系，以改变所述虚拟物体在所述现实环境中的位置或/和角度。
[0134] 以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，在本发明中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。
[0135] 本发明中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0136] 还需要指出的是，在本发明的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。
[0137] 提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0138] 本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种机载发动机健康管理系统及方法 | 2020-05-11 | 428 |
| 车辆环境中的多因子认证和访问控制 | 2020-05-08 | 460 |
| 低耗能导航装置 | 2020-05-08 | 829 |
| 双模态仿生视觉传感器 | 2020-05-08 | 983 |
| 一种硅片圆片切刀修正工艺 | 2020-05-11 | 17 |
| 厨房秤 | 2020-05-08 | 234 |
| 创建观察数据、求取车道数量的方法及相关的系统、服务器单元和控制器 | 2020-05-11 | 752 |
| 中频炉温度控制系统 | 2020-05-08 | 690 |
| 一种数字信号传感器 | 2020-05-08 | 27 |
| 数字生理音采集器 | 2020-05-08 | 747 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈