一种基于生成对抗网络的目标及轨迹增强现实方法和系统专利检索-颜色传感器传感器传感器变压器和转换设备专利检索查询-专利查询网

一种基于生成对抗网络的目标及轨迹 增强现实方法和系统

阅读：1026发布：2020-05-19

专利汇可以提供一种基于生成对抗网络的目标及轨迹增强现实方法和系统专利检索，专利查询，专利分析的服务。并且本发明提供一种基于生成对抗网络的目标及轨迹增强现实方法，包括：采集包括目标和场景信息的真实场景，检测回环帧，先获取目标完整三维点云，输入到生成对抗网络的第一生成器网络，输出虚拟目标点云，将虚拟目标点云与预先构建的目标骨架模型构建生成目标模型；再输入到生成对抗网络的第二生成器网络，输出虚拟目标；虚拟目标及点云与真实目标及点云经过映射叠加处理，生成叠加场景，输出增强现实的目标及轨迹；所述装置包括采集模块、定位追踪模块、虚实融合模块和显示模块。本发明基于回环帧和生成对抗网络实现目标和轨迹增强现实，提高了确定目标识别及运动轨迹的灵活性，为目标探测与识别、可行区域检测、路径规划等提供精准信息。，下面是一种基于生成对抗网络的目标及轨迹增强现实方法和系统专利的具体信息内容。

权利要求

1.一种基于生成对抗网络的目标及轨迹增强现实方法，其特征在于，主要包括：
(一)利用数据采集装置获取真实世界，即真实世界的目标信息和场景信息；
(二)基于回环帧，提取目标信息；
(三)构建生成对抗网络，生成虚拟目标及虚拟目标点云信息，其流程如下：
步骤1，由原始点云数据、RGB信息和深度信息，经过处理生成完整三维点云；
步骤2，将所述目标的完整三维点云输入到生成对抗网络的第一生成器网络，输出虚拟目标点云；
步骤3，将所述虚拟目标点云与预先构建的目标骨架模型，在建模软件中生成目标模型；所述建模软件包括MAYA、3Dmax等三维建模和动画软件中的一种或几种；
步骤4，将所述目标模型输入到生成对抗网络的第二生成器网络，输出虚拟目标。
2.一种基于生成对抗网络的目标及轨迹增强现实方法，其特征在于，将数据采集装置得到的真实目标及真实点云信息与虚拟目标及虚拟点云信息经过映射叠加处理，生成叠加场景，输出增强现实的目标及轨迹。
3.基于权利要求1所述的基于增强现实技术的目标及轨迹处理方法，其特征在于，所述经过处理生成完整三维点云，其步骤如下：
步骤1，点云数据预处理，基于双边滤波对原始点云进行降噪处理，同时对场景中的目标进行提取，将待配准目标从全局场景中分离；
步骤2，获取目标完整点云轮廓：通过基于点云的深度信息，利用NARF关键点提取算法对点云进行边缘检测，获得表面稳定而邻域变化大的边缘点，得到点云外轮廓，外接长方体、圆柱体、球体，以外轮廓为基础，包容95％总点云数的同类型轮廓，确定点云内轮廓；
步骤3，关键点提取：基于RGB信息对完整点云轮廓中的点进行描述，通过点云RGB描述算子检测RGB关键点，对所述点云数据建立kd-tree以检测目标关键点，首先将点云的所有候选点按照方差进行排序，然后取方差最大的前10％的点构成候选关键点集合，对候选关键点集合中的点，在以阈值R为半径的区域进行搜索，保留区域中方差最大的点为关键点，直至提取出目标所有关键点；
步骤4，对目标点云进行粗配准和精配准，直至获取完整目标点云信息；用标签对同一目标进行标记，添加时间戳，以获取时间同步的被标记的多个目标的数据序列。
4.基于权利要求1所述的基于生成对抗网络的目标及轨迹增强现实方法，其特征在于，所述(一)利用数据采集装置获取真实世界，具体包括：
获取基于连续帧的视频信息：利用激光雷达传感器生成原始点云数据、位置数据和姿态数据，由RGB-D相机获取深度信息和颜色信息；
所述场景，包括以下任意一种：山川、峡谷、河流、平原、湖泊、沙漠、盆地和草地；
所述目标，包括以下任意一种或多种：指定的静止的或/和运动的物体；
基于所述连续帧的视频信息，获取所述目标的运动轨迹。
5.基于权利要求1所述的基于生成对抗网络的目标及轨迹增强现实方法，其特征在于，所述(二)基于回环帧，提取目标信息，具体包括：所述目标在连续帧时刻可能会出现不连续情况，如A目标在第1帧出现、在第2帧消失、在第3帧出现的情况，因此检测回环帧，在连续帧序列中计算帧与帧之间的相似性，保留相似度大于阈值的帧，移除相似度小于阈值的帧，其步骤如下：
步骤1，以连续帧中的当前帧为基础，在第1帧至当前帧时刻获取完整视频信息，包括原始三维点云、颜色特征以及态姿位置，对于同一目标，保留其所有帧，组成关键帧参考集合；
步骤2，选择关键帧参考集合的第一帧设为关键帧，计算关键帧参考集合除第一帧以外的其余帧包含目标的周围环境特征信息的相似性，若相似性大于预设值，则该帧构成关键帧集合，否则不放入候选关键帧集合；
然后从候选关键帧集合中选择：当目标短时间旋转角度超过20°时，或当目标静止时每
10秒产生一个关键帧，将生成一个关键帧；同一目标的位移和旋转角度满足预设值，则将当前帧作为关键帧，存入关键帧集合，运动预设值为0.1-0.15之间；
步骤3，从候选关键帧集合中选择任意一帧与当前帧进行比较，当特征重复率大于50％且跟踪到20个点以上时，为回环帧。
6.基于权利要求1所述的基于生成对抗网络的目标及轨迹增强现实方法，其特征在于，所述(三)构建生成对抗网络，生成虚拟目标及虚拟目标点云信息，具体包括：所述生成对抗网络中包含生成器和鉴别器，交替优化，使目标函数达到最优，在鉴别器网络、生成器网络中均使用Adam作为优化器，选择循环次数20000，批处理大小为32；
生成器网络由两个生成器组成，分别为第一生成器网络和第二生成器网络；鉴别器包括全局鉴别器和局部鉴别器；所述全局鉴别器，采用5层卷积大小为5x5，步长为2的卷积层，输出通道数分别为64，128，256，512，512；所述局部鉴别器，采用6层卷积大小为5x5，步长为
2的卷积层，输出通道数分别为64，128，256，512，512，512；
通过全连接层将局部鉴别器和全局鉴别器的输出结果进行融合，作为最终的输出结果；在鉴别器的最后一层卷积层中，使用Sigmoid函数作为卷积层的激活函数，其余卷积层使用LRelu作为激活函数，卷积层后接BN操作，使用批量规范处理。
7.基于权利要求6所述的基于生成对抗网络的目标及轨迹增强现实方法，其特征在于，第一生成器网络，输入所述目标的完整三维点云，经过3层卷积层、4层扩张卷积层、3层反卷积层以及最后卷积层，输出虚拟目标点云；
其中，所述3层卷积层的卷积核大小分别为7×7、5×5、3×3，步长为2，特征图数量分别为64、128、256；所述4层扩张卷积的卷积核大小分别为3×3、膨胀因子分别为2、4、8、16，步长为1，特征图数量分别为256、256、256、256；所述3层反卷积层的卷积核3×3，步长为2，特征图数量分别为128、64、32，经过3层反卷积层进行填充；所述最后卷积层的卷积核大小为3×3、卷积步长为1，特征图数量为3；在每层卷积层输出加入BN层和lReLu层，最后一层卷积的输出采用Tanh函数激活。
8.基于权利要求6所述的基于生成对抗网络的目标及轨迹增强现实方法，其特征在于，所述第二生成器网络，输入所述目标模型，经过3层卷积层、6层残差层、3层反卷积层和最后卷积层，输出虚拟目标模型；
其中，所述3层卷积层的卷积核大小分别为7×7、5×5、3×3，特征图数量分别为64、
128、256；所述6层残差层中的每个残差层包括两个卷积层和残差连接，卷积核大小均为3×
3，特征图数量均为256；所述3层反卷积层的卷积核大小均为3×3，特征图数量分别为256、
128、64；所述最后卷积层的卷积核大小为3×3，步长为2，特征图数量为3；第二生成器网络的每个卷积层随后也包含一个BN层和lReLu激活层，最后一层为Tanh函数激活函数。
9.基于权利要求2所述的基于生成对抗网络的目标及轨迹增强现实方法，其特征在于，所述在得到叠加场景之后，还包括标记目标物体的运动轨迹，或者，在叠加场景中，标记目标的未完成轨迹，目标的未完成轨迹是根据目标物体的事先规划的运动轨迹或目标的实际已经修正过的运动轨迹确定。
10.一种基于生成对抗网络的目标及轨迹增强现实系统，其特征在于，主要包括：
目标采集模块：通过激光雷达传感器和RGB-D相机采集真实世界的图像和视频信息以及通过扫描获取原始点云数据；
点云处理模块：提取目标的完整三维点云；
定位追踪模块：完整三维点云通过定位追踪模块，获取被标记目标的轨迹，获取具体世界坐标，检测回环帧，将世界坐标转换到屏幕坐标后获得点云的输入信息；
生成对抗网络识别模块：包括第一生成器网络和第二生成器网络，基于回环帧的目标的完整三维点云输入第一生成器网络，输出目标虚拟三维点云，作为建模软件的输入，与骨架关节配准，输出与第二生成器网络相连，输出目标虚拟模型；
虚实融合模块：将生成对抗网络得到的目标虚拟信息与目标真实信息进行计算，并将融合后的目标信息及轨迹，返回显示模块的显示界面。

说明书全文

一种基于生成对抗网络的目标及轨迹增强现实方法和系统

技术领域

[0001] 本发明涉及人工智能、目标探测与识别和增强现实等领域，尤其是涉及了一种基于生成对抗网络的目标及轨迹增强现实方法和系统。

背景技术

[0002] 增强现实技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，可以运用到装备的装配、保障等智能制造活动的各个环节中，在采集的现实图景中实时叠加进去虚拟的成分(模型、知识、数据等)，以实现知识和信息的增强。

[0003] 目前大多方法是通过设备，如头盔、眼镜、摄像头等将用户视角的真实世界图景采集、输入到增强现实系统中与增强现实系统产生的虚拟景象等进行合成，现有增强现实技术主要通过服务器与客户端之间的信息交互来实现增强现实应用，其还存在如下三个问题：一是服务器的AR虚拟信息由开发者/服务商利用第三方工具或者原生代码预先配置而得，技术难度高，对普通用户而言具有较高的应用门槛；二是服务器/客户端对现实信息的识别处理能力有限，其处理算法存在识别精度和稳定性的问题，识别效果有待进一步提高；三是将现实场景与虚拟物体进行融合显示，需要准确地对场景建立三维模型，以便在此基础上准确地显示虚拟物体。

发明内容

[0004] 为解决现实技术的不足，本发明提供一种基于生成对抗网络的目标及轨迹增强现实方法和系统，以生成叠加场景，输出增强现实的目标及轨迹。

[0005] 本发明通过采集包括目标和场景信息的真实场景，检测回环帧，获取目标完整三维点云，输入到生成对抗网络的第一生成器网络，输出虚拟目标点云，将虚拟目标点云与预先构建的目标骨架模型构建生成目标模型；再输入到生成对抗网络的第二生成器网络，输出虚拟目标；虚拟目标及点云与真实目标及点云经过映射叠加处理，生成叠加场景，输出增强现实的目标及轨迹。本发明基于回环帧和生成对抗网络实现目标和轨迹增强现实，提高了确定目标识别及运动轨迹的灵活性，为目标探测与识别、可行区域检测、路径规划等提供精准信息。

[0006] 实现本发明目的的技术方案为：

[0007] (一)利用数据采集装置获取真实世界信息，即真实世界的目标信息和场景信息；

[0008] (二)基于回环帧，提取目标信息；

[0009] (三)构建生成对抗网络，生成虚拟目标及虚拟目标点云信息，流程如下：

[0010] 步骤1，由原始点云数据、RGB信息和深度信息，经过处理生成完整三维点云；

[0011] 步骤2，将所述目标的完整三维点云输入到生成对抗网络的第一生成器网络，经过3层卷积层、4层扩张卷积层、3层反卷积层以及最后卷积层，输出虚拟目标点云；

[0012] 步骤3，将所述虚拟目标点云与预先构建的目标骨架模型，在建模软件中生成目标模型；所述建模软件包括MAYA、3Dmax等三维建模和动画软件中的一种或几种；

[0013] 步骤4，将所述目标模型输入到生成对抗网络的第二生成器网络，输出虚拟目标。

[0014] (四)将数据采集装置得到的真实目标及真实目标点云与虚拟目标及虚拟目标点云经过映射叠加处理，生成叠加场景，输出增强现实的目标及轨迹。

[0015] 进一步的，在得到所述叠加场景之后，还包括标记目标物体的运动轨迹，或者，在叠加场景中，标记目标的未完成轨迹，目标的未完成轨迹是根据目标物体的事先规划的运动轨迹或目标的实际已经修正过的运动轨迹确定。

[0016] 其中，所述(一)利用数据采集装置获取真实世界信息，具体包括：

[0017] 所述数据采集装置包括激光雷达传感器和BGB-D相机，获取连续帧的视频信息，利用激光雷达传感器生成原始点云数据、位置数据和姿态数据，由RGB-D相机获取深度信息和颜色信息；所述场景，包括以下任意一种：山川、峡谷、河流、平原、湖泊沙漠、盆地和草地；所述目标，包括以下任意一种或多种：指定的静止的或/和运动的人、动物、车辆、船舰、飞机；基于连续帧的视频信息，获取所述目标的运动轨迹。

[0018] 其中，所述(二)基于回环帧，提取目标信息，具体包括：

[0019] 所述目标在连续帧时刻可能会出现不连续情况，如A目标在第1帧出现、在第2帧消失、在第3帧出现的情况，因此检测回环帧，在连续帧序列中计算帧与帧之间的相似性，保留相似度大于阈值的帧，移除相似度小于阈值的帧，其步骤如下：

[0020] 步骤1，以连续帧中的当前帧为基础，在第1帧至当前帧时刻获取完整视频信息，包括原始三维点云、颜色特征以及态姿位置，对于同一目标，保留其所有帧，组成关键帧参考集合；

[0021] 步骤2，选择关键帧参考集合的第一帧为设为关键帧，计算关键帧参考集合除第一帧以外的其余帧包含目标的周围环境特征信息的相似性，若相似性大于预设值，则该帧构成关键帧集合，否则不放入候选关键帧集合；

[0022] 然后从候选关键帧集合中选择：当目标短时间旋转角度超过20°时，或当目标静止时每10秒产生一个关键帧，将生成一个关键帧；同一目标的位移和旋转角度满足预设值，则将当前帧作为关键帧，存入关键帧集合，运动预设值为0.1-0.15之间；

[0023] 步骤3，从候选关键帧集合中选择任意一帧与当前帧进行比较，当特征重复率大于50％且跟踪到20个点以上时，为回环帧。

[0024] 其中，所述(三)构建生成对抗网络，生成虚拟目标及虚拟目标点云信息，具体包括：所述生成对抗网络中包含生成器和鉴别器，交替优化，使目标函数达到最优，在鉴别器网络、生成器网络中均使用Adam作为优化器，选择循环次数20000，批处理大小为32；

[0025] 生成器网络由两个生成器组成，分别为第一生成器网络和第二生成器网络；鉴别器包括全局鉴别器和局部鉴别器；所述全局鉴别器，采用5层卷积大小为5x5，步长为2的卷积层，输出通道数分别为64，128，256，512，512；所述局部鉴别器，采用6层卷积大小为5x5，步长为2的卷积层，输出通道数分别为64，128，256，512，512，512；

[0026] 通过全连接层将局部鉴别器和全局鉴别器的输出结果进行融合，作为最终的输出结果；在鉴别器的最后一层卷积层中，使用Sigmoid函数作为卷积层的激活函数，其余卷积层使用LRelu作为激活函数，卷积层后接BN操作，使用批量规范处理。

[0027] 在鉴别器网络的每个卷积层后增加dropout，dropout层将dropout率设为梯度更新的学习率，当生成器输出值损失大于预设阈值时，为保证模型在稳定的情况下保留原始信息的传递，丰富图像细节，设置梯度更新的学习率，公式如下：

[0028]

[0029] 其中，f(x)表示dropout的比例，n表示循环次数，更表示调节参数，当n＝设时更＝设，其余情况自行设定。

[0030] 进一步的，第一生成器网络，输入所述目标的完整三维点云，经过3层卷积层、4层扩张卷积层、3层反卷积层以及最后卷积层，输出虚拟目标点云；

[0031] 其中，所述3层卷积层的卷积核大小分别为7×7、5×5、3×3，步长为2，特征图数量分别为64、128、256；所述4层扩张卷积的卷积核大小分别为3×3、膨胀因子分别为2、4、8、16，步长为1，特征图数量分别为256、256、256、256；所述3层反卷积层的卷积核3×3，步长为
2，特征图数量分别为128、64、32，经过3层反卷积层进行填充；所述最后卷积层的卷积核大小为3×3、卷积步长为1，特征图数量为3；在每层卷积层输出加入BN层和lReLu层，最后一层卷积的输出采用Tanh函数激活。

[0032] 进一步的，所述第二生成器网络，输入所述目标模型，经过3层卷积层、6层残差层、3层反卷积层和最后卷积层，输出虚拟目标模型；

[0033] 其中，所述3层卷积层的卷积核大小分别为7×7、5×5、3×3，特征图数量分别为64、128、256；所述6层残差层中的每个残差层包括两个卷积层和残差连接，卷积核大小均为
3×3，特征图数量均为256；所述3层反卷积层的卷积核大小均为3×3，特征图数量分别为
256、128、64；所述最后卷积层的卷积核大小为3×3，步长为2，特征图数量为3；第二生成器网络的每个卷积层随后也包含一个BN层和lReLu激活层，最后一层为Tanh函数激活函数。

[0034] 进一步的，所述经过处理生成完整三维点云，其步骤如下：

[0035] 步骤1，点云数据预处理，基于双边滤波对原始点云进行降噪处理，同时对场景中的目标进行提取，将待配准目标从全局场景中分离；

[0036] 步骤2，获取目标完整点云轮廓：通过基于点云的深度信息，利用NARF关键点提取算法对点云进行边缘检测，获得表面稳定而邻域变化大的边缘点，得到点云外轮廓，外接长方体、圆柱体、球体，以外轮廓为基础，包容95％总点云数的同类型轮廓，确定点云内轮廓；

[0037] 步骤3，关键点提取：基于RGB信息对完整点云轮廓中的点进行描述，通过点云RGB描述算子检测RGB关键点，对所述点云数据建立kd-tree以检测目标关键点，首先将点云的所有候选点按照方差进行排序，然后取方差最大的前10％的点构成候选关键点集合，对候选关键点集合中的点，在以阈值R为半径的区域进行搜索，保留区域中方差最大的点为关键点，直至提取出目标所有关键点；

[0038] 步骤4，对目标点云进行粗配准和精配准，直至获取完整目标点云信息；用标签对同一目标进行标记，添加时间戳，以获取时间同步的被标记的多个目标的数据序列。

[0039] 本发明还提供一种基于生成对抗网络的目标及轨迹增强现实系统，主要包括：

[0040] 目标采集模块：通过激光雷达传感器和RGB-D相机采集真实世界的图像和视频信息以及通过扫描获取原始点云数据；

[0041] 点云处理模块：提取目标的完整三维点云；

[0042] 定位追踪模块：完整三维点云通过定位追踪模块，获取被标记目标的轨迹，获取具体世界坐标，检测回环帧，将世界坐标转换到屏幕坐标后获得点云的输入信息；

[0043] 生成对抗网络识别模块：包括第一生成器网络和第二生成器网络，基于回环帧的目标的完整三维点云输入第一生成器网络，输出目标虚拟三维点云，作为建模软件的输入，与骨架关节配准，输出与第二生成器网络相连，输出目标虚拟模型；

[0044] 虚实融合模块：将生成对抗网络得到的目标虚拟信息与目标真实信息进行计算，并将融合后的目标信息及轨迹，返回显示模块的显示界面。

[0045] 本发明与现有技术相比，其显著优点为：

[0046] (1)改进生成对抗网络，包括第一生成器、第二生成器网络，对目标点云数据和目标模型进行了学习，生成目标虚拟模型和目标虚拟点云，比通过传统深度学习网络在进行增强现实时获取虚拟目标的效果更好，且生成网络和判别网络之间相互竞争，加速网络参数调整趋向更优结果。

[0047] (2)目标及轨迹的增强现实方法是基于回环帧，回环帧已事先判定了帧与帧之间的相似度，在叠加场景处理时减少计算量，同时使得虚拟目标及点云在真实目标及点云进行叠加表征目标物体的运动轨迹，实现基于增强现实的目标确定，提高了确定运动轨迹的灵活性。附图说明

[0048] 图1是本发明一种基于生成对抗网络的目标及轨迹增强现实方法的实现流程图。

[0049] 图2是本发明一种基于生成对抗网络的目标及轨迹增强现实方法的生成虚拟目标及虚拟点云信息流程图。

[0050] 图3是本发明一种基于生成对抗网络的目标及轨迹增强现实系统的装置架构图。

[0051] 图4是本发明一种基于生成对抗网络的目标及轨迹增强现实方法的效果图。

具体实施方式

[0052] 需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

[0053] 图1是本发明一种基于生成对抗网络的目标及轨迹增强现实系统的实现流程图，主要包括：输入真实世界的信息，检测目标关键帧，基于关键帧检测回环帧，提取目标信息；构建生成对抗网络，输出虚拟的目标及虚拟的目标点云信息；真实世界中的真实目标及点云信息与虚拟的目标及虚拟的点云信息进行叠加映射，输出叠加目标及轨迹。本发明的方法包括以下步骤：

[0054] 利用数据采集装置获取真实世界，即真实世界的目标信息和场景信息；

[0055] 基于回环帧，提取目标信息；

[0056] 构建生成对抗网络，生成虚拟目标及虚拟点云信息；

[0057] 将数据采集装置得到的真实目标及真实点云信息与虚拟目标及虚拟点云信息经过映射叠加处理，生成叠加场景，输出增强现实的目标及轨迹。

[0058] 进一步的，在得到叠加场景之后，还包括标记目标物体的运动轨迹，或者，在叠加场景中，标记目标的未完成轨迹，目标的未完成轨迹是根据目标物体的事先规划的运动轨迹或目标的实际已经修正过的运动轨迹确定。

[0059] 图2是本发明一种基于生成对抗网络的目标及轨迹增强现实系统的生成虚拟目标及虚拟点云信息流程图，主要显示了由原始点云数据、RGB信息和深度信息，经过处理生成完整三维点云；将所述目标的完整三维点云输入到生成对抗网络的第一生成器网络，输出虚拟目标点云；将所述虚拟目标点云与预先构建的目标骨架模型，在建模软件中生成目标模型；所述建模软件包括MAYA、3Dmax等三维建模和动画软件中的一种或几种；将所述目标模型输入到生成对抗网络的第二生成器网络，输出虚拟目标。

[0060] 其中，所述经过处理生成完整三维点云，包括如下步骤：

[0061] 步骤1，点云数据预处理，基于双边滤波对原始点云进行降噪处理，同时对场景中的目标进行提取，将待配准目标从全局场景中分离；使用深度图像分割算法、基于阈值的点云数据分割算法、采样一致性点云分割算法实现分离；

[0062] 步骤2，获取目标完整点云轮廓：通过基于点云的深度信息，利用NARF关键点提取算法对点云进行边缘检测，获得表面稳定而邻域变化大的边缘点，得到点云外轮廓，外接长方体、圆柱体、球体，以外轮廓为基础，包容95％总点云数的同类型轮廓，确定点云内轮廓；

[0063] 步骤3，关键点提取：基于RGB信息对完整点云轮廓中的点进行描述，通过点云RGB描述算子检测RGB关键点，对所述点云数据建立kd-tree以检测目标关键点，首先将点云的所有候选点按照方差进行排序，然后取方差最大的前10％的点构成候选关键点集合，对候选关键点集合中的点，在以阈值R为半径的区域进行搜索，保留区域中方差最大的点为关键点，直至提取出目标所有关键点；

[0064] 步骤4，对目标点云进行粗配准和精配准，直至获取完整目标点云信息；用标签对同一目标进行标记，添加时间戳，以获取时间同步的被标记的多个目标的数据序列。

[0065] 进一步的，完整目标点云信息还包括XYZ型点云，反映物体表面的坐标信息，将其视为将物体表面离散化后得到的点集，XYZRGB型点云，相较XYZ型点云多出一个维度用于描述点的颜色信息，XYZRGB点云数据通过RGB-D数据进行转换。

[0066] 其中，利用数据采集装置获取真实世界，具体包括：

[0067] 利用激光雷达传感器生成原始点云数据、位置数据和姿态数据，由RGB-D相机获取深度信息和颜色信息，获取基于连续帧的视频信息；

[0068] 所述场景，包括以下任意一种：山川、峡谷、河流、平原、湖泊、沙漠、盆地和草地；

[0069] 所述目标，包括以下任意一种或多种：指定的静止的或/和运动的物体；

[0070] 基于所述连续帧的视频信息，获取所述目标的运动轨迹。

[0071] 在训练过程，为防止对色调等信息产生过拟合，通过随机改变图像的色调，饱和度和曝光度，实现数据增强，数据增强的强度最多可以达到原图像的3倍；为防止对尺度产生过拟合，随机缩放和平移图像，最多可达图像尺寸的30％；为防止对背景产生过拟合，通过训练数据中的遮罩，分割出图像中属于背景的模块，并在数据集随机获得图片替换背景[0072] 其中，检测回环帧，提取目标信息，具体包括：在连续帧序列中计算帧与帧之间的相似性，保留相似度大于阈值的帧，移除相似度小于阈值的帧，其步骤如下：

[0073] 步骤1，以连续帧中的当前帧为基础，在第1帧至当前帧时刻获取完整视频信息，包括原始三维点云、颜色特征以及态姿位置，对于同一目标，保留其所有帧，组成关键帧参考集合；

[0074] 步骤2，选择关键帧参考集合的第一帧设为关键帧，计算关键帧参考集合除第一帧以外的其余帧包含目标的周围环境特征信息的相似性，若相似性大于预设值，则该帧构成关键帧集合，否则不放入候选关键帧集合；

[0075] 然后从候选关键帧集合中选择：当目标短时间旋转角度超过20°时，或当目标静止时每10秒产生一个关键帧，将生成一个关键帧；同一目标的位移和旋转角度满足预设值，则将当前帧作为关键帧，存入关键帧集合，运动预设值为0.1-0.15之间；

[0076] 步骤3，从候选关键帧集合中选择任意一帧与当前帧进行比较，当特征重复率大于50％且跟踪到20个点以上时，为回环帧。

[0077] 检测回环帧避免所述目标在连续帧时刻出现不连续情况，如A目标在第1帧出现、在第2帧消失、在第3帧出现的情况，因此检测回环帧，为后续步骤减少计算量，且有效修正轨迹。

[0078] 其中，构建生成对抗网络，生成对抗网络中包含生成器和鉴别器，交替优化，使目标函数达到最优，在鉴别器网络、生成器网络中均使用Adam作为优化器，选择循环次数20000，批处理大小为32；

[0079] 生成器网络由两个生成器组成，分别为第一生成器网络和第二生成器网络；鉴别器包括全局鉴别器和局部鉴别器；所述全局鉴别器，采用5层卷积大小为5x5，步长为2的卷积层，输出通道数分别为64，128，256，512，512；所述局部鉴别器，采用6层卷积大小为5x5，步长为2的卷积层，输出通道数分别为64，128，256，512，512，512；

[0080] 通过全连接层将局部鉴别器和全局鉴别器的输出结果进行融合，作为最终的输出结果；在鉴别器的最后一层卷积层中，使用Sigmoid函数作为卷积层的激活函数，其余卷积层使用LRelu作为激活函数，卷积层后接BN操作，使用批量规范处理。

[0081] 在鉴别器网络的每个卷积层后增加dropout，dropout层将dropout率设为梯度更新的学习率，当生成器输出值损失大于预设阈值时，为保证模型在稳定的情况下保留原始信息的传递，丰富图像细节，设置梯度更新的学习率，公式如下：

[0082]

[0083] 其中，f(x)表示dropout的比例，n表示循环次数，更表示调节参数，当n＝设时更＝设，其余情况自行设定。

[0084] 进一步的，第一生成器网络，输入所述目标的完整三维点云，经过3层卷积层、4层扩张卷积层、3层反卷积层以及最后卷积层，输出虚拟目标点云；

[0085] 所述第一生成器网络结构所述3层卷积层的卷积核大小分别为7×7、5×5、3×3，步长为2，特征图数量分别为64、128、256；所述4层扩张卷积的卷积核大小分别为3×3、膨胀因子分别为2、4、8、16，步长为1，特征图数量分别为256、256、256、256；所述3层反卷积层的卷积核3×3，步长为2，特征图数量分别为128、64、32，经过3层反卷积层进行填充；所述最后卷积层的卷积核大小为3×3、卷积步长为1，特征图数量为3；在每层卷积层输出加入BN层和lReLu层，最后一层卷积的输出采用Tanh函数激活。

[0086] 进一步的，第二生成器网络，输入所述目标模型，经过3层卷积层、6层残差层、3层反卷积层和最后卷积层，输出虚拟目标模型；

[0087] 其中，所述3层卷积层的卷积核大小分别为7×7、5×5、3×3，特征图数量分别为64、128、256；所述6层残差层中的每个残差层包括两个卷积层和残差连接，卷积核大小均为
3×3，特征图数量均为256；所述3层反卷积层的卷积核大小均为3×3，特征图数量分别为
256、128、64；所述最后卷积层的卷积核大小为3×3，步长为2，特征图数量为3；第二生成器网络的每个卷积层随后也包含一个BN层和lReLu激活层，最后一层为Tanh函数激活函数。

[0088] 图3是本发明一种基于生成对抗网络的目标及轨迹增强现实系统的装置架构图，主要显示了目标采集模块、定位追踪模块、生成对抗网络识别模块以及虚实融合模块；具体为：

[0089] 目标采集模块：通过激光雷达传感器和RGB-D相机采集真实世界的图像和视频信息以及通过扫描获取原始点云数据；

[0090] 点云处理模块：提取目标的完整三维点云；

[0091] 定位追踪模块：完整三维点云通过定位追踪模块，获取被标记目标的轨迹，获取具体世界坐标，检测回环帧，将世界坐标转换到屏幕坐标后获得点云的输入信息；

[0092] 生成对抗网络识别模块：包括第一生成器网络和第二生成器网络，基于回环帧的目标的完整三维点云输入第一生成器网络，输出目标虚拟三维点云，作为建模软件的输入，与骨架关节配准，输出与第二生成器网络相连，输出目标虚拟模型；

[0093] 虚实融合模块：将生成对抗网络得到的目标虚拟信息与目标真实信息进行计算，并将融合后的目标信息及轨迹，返回显示模块的显示界面。

[0094] 图4是本发明一种基于生成对抗网络的目标及轨迹增强现实方法的效果图，主要显示了由上至下分别为摄像机改变偏航角、俯仰角、横滚角、光照条件以及运动物体干扰的系统跟踪效果图，在不同的视角、光照条件以及运动物体干扰等条件下，用户位置和姿态发生变化的过程中，能够看到叠加在真实场景上的虚拟物体与真实场景同步变化，虚实融合的效果良好，跟踪性能良好，鲁棒性强。

[0095] 对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

标题	发布/更新时间	阅读量
电池管理系统	2020-05-08	897
一种衣服搭配评分系统	2020-05-08	249
一种基于NB-IOT的教室光照自供能控制系统及方法	2020-05-08	768
一种辨别指南针精度的控制系统及其方法与终端	2020-05-08	698
模具间隙均匀度检测系统	2020-05-08	583
一种基于比色法构建光电致变色可视化传感器检测化学需氧量的方法	2020-05-08	239
具有设计为触摸屏的操作装置的改善的可操作性的家用器具	2020-05-11	849
环境光对家禽识别红色物体影响的检测系统及方法	2020-05-08	236
虚实融合系统及其方法	2020-05-08	204
一种基于计算机视觉和神经网络的大便智能分析方法	2020-05-08	676

一种基于生成对抗网络的目标及轨迹增强现实方法和系统

一种基于生成对抗网络的目标及轨迹增强现实方法和系统

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：