一种智能化行为建模方法专利检索-运动估计视听技术与设备专利检索查询-专利查询网

一种智能化行为建模方法

阅读：1002发布：2020-05-08

专利汇可以提供一种智能化行为建模方法专利检索，专利查询，专利分析的服务。并且本发明提供一种智能化行为建模方法，包括以下步骤：S1：从视频序列中获取光流向量，使用该光流向量，获取关于多个视频帧的一个特征向量的概率分布，使用该特征向量的概率分布，进行状态建模以及基于状态变换，联合构建起来训练数据；S2：对获取的数据进行操作处理，以模拟不同场景；S3：构建卷积神经网络，将经过处理后的数据进行训练；S4：将训练完成后的卷积神经网络的网络结构和权值保存，完成状态特征提取，导入训练数据，完成整体行为建模表达。本发明提高了建立行为模型的泛化能力，适用场景更广。，下面是一种智能化行为建模方法专利的具体信息内容。

权利要求

1.一种智能化行为建模方法，其特征在于，包括以下步骤：
S1：从视频序列中获取光流向量，使用该光流向量，获取关于多个视频帧的一个特征向量的概率分布，使用该特征向量的概率分布，进行状态建模以及基于状态变换，联合构建起来训练数据；
S2：对获取的数据进行操作处理，以模拟不同场景；
S3：构建卷积神经网络，将经过处理后的数据进行训练；
S4：将训练完成后的卷积神经网络的网络结构和权值保存，完成状态特征提取，导入训练数据，完成整体行为建模表达。
2.根据权利要求1所述的一种智能化行为建模方法，其特征在于，获取流光向量的对象识别通过运动估计获取视频帧的特征向量，使用获取的特征向量确定每一帧所属的状态，确定的状态的变换矩阵，确定使行为模型和从给定的行为模型字典中提供的视频帧之间的概率最大的行为模型，作为所识别的行为。
3.根据权利要求1所述的一种智能化行为建模方法，其特征在于，在行为过程中，利用摄像机对行为视频进行采样，获得N组不同行为环境情况的图片；同时对应行为操作数据，即该环境下的操作角度情况，联合构建起来训练数据，对收集来的图片进行平移、裁剪、变更亮度操作，以模拟不同光照和天气的场景。
4.根据权利要求1所述的一种智能化行为建模方法，其特征在于，构建卷积神经网络，将经过处理后的图片作为输入，对应图片的操作数据作为标签值，进行训练，采用基于Nadam优化器的优化方法对均方误差损失求最优解来优化神经网络的权重参数；新的卷积神经网络包括1个输入层、3个卷积层、3个池化层、4个全连接层；输入层依次连接第一个卷积层、第一个池化层，然后连接第二个卷积层、第二个池化层，再连接第三个卷积层、第三个池化层，最后依次连接第一个全连接层、第二个全连接层、第三个全连接层、第四个全连接层。

说明书全文

一种智能化行为建模方法

技术领域

[0001] 本发明属于行为建模技术领域，具体涉及一种智能化行为建模方法。

背景技术

[0002] 包括坐、走、起立或转圈的人类行为能够使用摄像机捕获并存储为数字视频。在获取该数字视频之后，可以分析该数字视频的内容。例如，使用基于训练数据的随机模型能够刻画数字视频的行为的时间和空间特征。这些模型能够用于匹配提供的用于模式识别的视频序列和数据库视频。在模式分析之后，即能够使用这些模式从语义上索引视频。同样，在该处理中，能够获得视频内容的语义归纳。

[0003] 现有方法中，基于概率模型的逆向强化学习主要从现有的示范数据出发，把示范数据作为已有数据，进而寻求对应当前数据的分布情况，基于此才能求取对应状态下的动作选取。但已知数据的分布并不能表示全部数据的分布，正确获取分布，需要获取全部状态对应动作的情况。

发明内容

[0004] 本发明的目的是提供一种智能化行为建模方法，提高了建立行为模型的泛化能力，适用场景更广。

[0005] 本发明提供了如下的技术方案：

[0006] 一种智能化行为建模方法，包括以下步骤：

[0007] S1：从视频序列中获取光流向量，使用该光流向量，获取关于多个视频帧的一个特征向量的概率分布，使用该特征向量的概率分布，进行状态建模以及基于状态变换，联合构建起来训练数据；

[0008] S2：对获取的数据进行操作处理，以模拟不同场景；

[0009] S3：构建卷积神经网络，将经过处理后的数据进行训练；

[0010] S4：将训练完成后的卷积神经网络的网络结构和权值保存，完成状态特征提取，导入训练数据，完成整体行为建模表达。

[0011] 优选的，获取流光向量的对象识别通过运动估计获取视频帧的特征向量，使用获取的特征向量确定每一帧所属的状态，确定的状态的变换矩阵，确定使行为模型和从给定的行为模型字典中提供的视频帧之间的概率最大的行为模型，作为所识别的行为。

[0012] 优选的，在行为过程中，利用摄像机对行为视频进行采样，获得N组不同行为环境情况的图片；同时对应行为操作数据，即该环境下的操作角度情况，联合构建起来训练数据，对收集来的图片进行平移、裁剪、变更亮度操作，以模拟不同光照和天气的场景。

[0013] 优选的，构建卷积神经网络，将经过处理后的图片作为输入，对应图片的操作数据作为标签值，进行训练，采用基于Nadam优化器的优化方法对均方误差损失求最优解来优化神经网络的权重参数；新的卷积神经网络包括1个输入层、3个卷积层、3个池化层、4个全连接层；输入层依次连接第一个卷积层、第一个池化层，然后连接第二个卷积层、第二个池化层，再连接第三个卷积层、第三个池化层，最后依次连接第一个全连接层、第二个全连接层、第三个全连接层、第四个全连接层。

[0014] 本发明的有益效果是：本方法可以有效地识别视频序列中比如人类活动的复杂对象行为；根据该对象行为识别方法，能够有效地识别比如人类行为的复杂行为，本发明可以对于新的状态场景进行适用，来获得其对应动作，提高了建立行为模型的泛化能力，适用场景更广。附图说明

[0015] 附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

[0016] 图1是本发明构建流程示意图。

具体实施方式

[0017] 如图1所示，一种智能化行为建模方法，包括以下步骤：

[0018] S1：从视频序列中获取光流向量，使用该光流向量，获取关于多个视频帧的一个特征向量的概率分布，使用该特征向量的概率分布，进行状态建模以及基于状态变换，联合构建起来训练数据；

[0019] S2：对获取的数据进行操作处理，以模拟不同场景；

[0020] S3：构建卷积神经网络，将经过处理后的数据进行训练；

[0021] S4：将训练完成后的卷积神经网络的网络结构和权值保存，完成状态特征提取，导入训练数据，完成整体行为建模表达。

[0022] 进一步的，获取流光向量的对象识别通过运动估计获取视频帧的特征向量，使用获取的特征向量确定每一帧所属的状态，确定的状态的变换矩阵，确定使行为模型和从给定的行为模型字典中提供的视频帧之间的概率最大的行为模型，作为所识别的行为。

[0023] 进一步的，在行为过程中，利用摄像机对行为视频进行采样，获得N组不同行为环境情况的图片；同时对应行为操作数据，即该环境下的操作角度情况，联合构建起来训练数据，对收集来的图片进行平移、裁剪、变更亮度操作，以模拟不同光照和天气的场景。

[0024] 进一步的，构建卷积神经网络，将经过处理后的图片作为输入，对应图片的操作数据作为标签值，进行训练，采用基于Nadam优化器的优化方法对均方误差损失求最优解来优化神经网络的权重参数；新的卷积神经网络包括1个输入层、3个卷积层、3个池化层、4个全连接层；输入层依次连接第一个卷积层、第一个池化层，然后连接第二个卷积层、第二个池化层，再连接第三个卷积层、第三个池化层，最后依次连接第一个全连接层、第二个全连接层、第三个全连接层、第四个全连接层。

[0025] 如图1所示，在马尔科夫决策过程中，一种策略需要连接状态到其对应的动作。但对于一个有着大范围的状态空间的时候，对于未遍历的区域，很难描述出来一个确定的策略表示，传统方法之中也忽略了对这部分的描述，仅仅是基于示范轨迹，来说明整个轨迹分布的概率模型，对于新的状态并没有给出具体的策略表示，即对于新状态采取确定动作的可能性并未给出具体的方法。本发明中借助神经网络对于策略进行描述，神经网络因其能够在任何精确度上近似表示任意函数的特性，同时有着优秀的泛化能力。借助状态特征的表示，一方面可以表示出那些不包含在示范轨迹中的状态，另外，借助将对应的状态特征输入神经网络。可以求取对应的动作值，从而依策略求取应得的动作，因而，传统方法无法泛化行为示范数据到未遍历各个场景状态问题得以解决。

[0026] 以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

标题	发布/更新时间	阅读量
预测图像产生方法及设备和图像视频编/解码方法及设备	2021-03-16	3
一种视频监控系统及其视频数据认证方法	2021-07-02	1
Motion Compensated De-interlacing and Noise Reduction	2020-09-15	6
PARALLEL THREE-DIMENSIONAL RECURSIVE SEARCH (3DRS) MEANDERING ALGORITHM	2021-04-14	1
METHOD AND APPARATUS FOR PREDICTIVE REFERENCE DATA TRANSFER SCHEME FOR MOTION ESTIMATION	2021-03-23	1
Bidirectional motion estimation in a motion video compression system	2022-11-01	0
Moving image coder and control method thereof, and program	2022-01-19	3
Method of multi-resolution based motion estimation and recording medium storing program to implement the method	2021-12-23	4
Method for non exhaustive motion estimation which times out	2023-02-09	3
GRADIENT BASED MOTION ESTIMATION	2022-11-05	2

一种智能化行为建模方法

一种智能化行为建模方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：