基于注意力机制的视频哈希检索方法
专利汇可以提供基于注意力机制的视频哈希检索方法专利检索，专利查询，专利分析的服务。并且本 发明 提供了一种注意 力 机制的视频哈希检索方法，包括以下步骤：（1）视频预处理：对 视频 帧 进行 采样 ，并构建视频对；（2）视频帧特征提取：利用 卷积神经网络 对每一帧进行特征提取；（3）视频特征学习：利用孪生网络、长短期记忆神经网络（LSTM）和注意力机制对视频进行学习；（4） 降维 和训练：利用全连接层对视频特征进行降维，得到想要的长度的哈希码，并使用梯度下降 算法 学习网络参数。（5）检索：利用孪生网络的一路网络得到每个视频的哈希码，计算与其他视频的海明距离并进行排序，得到距离最近的视频。与 现有技术 相比，本发明实现了同时学习视频的空间信息和时间信息，而且通 过采样 等技术大大降低了计算代价，也提高了视频检索的准确率。，下面是基于注意力机制的视频哈希检索方法专利的具体信息内容。
1.一种基于注意力机制的视频哈希检索方法，其特征在于该方法包括以下步骤：
(1)视频预处理：对视频帧进行采样，并构建视频对，视频对包括同一类的视频对即正样本对和不同类的视频对即负样本对，同一类的视频对的标签为1，不同类的视频对标签为
0；
(2)视频帧特征提取：将视频采样后的每一帧输入卷积神经网络VGG19，取倒数第二层全连接输出的特征作为每一帧的特征；
(3)利用孪生网络、长短期记忆神经网络LSTM和注意力机制对视频进行学习：将视频对中的两个视频分别输入孪生网络的两路神经网络，分别得到两个视频对应的视频特征表示，其中，孪生网络的两路神经网络是参数共享的，且每一路神经网络都是LSTM和注意力机制构成的网络，利用注意力机制，可以区别不同帧的重要性，不同帧被赋予不同的权重；
(4)降维和训练：利用全连接层对视频特征进行降维，得到想要长度的哈希码，并使用梯度下降算法学习网络参数；
(5)检索：当网络训练完成后进行检索时，只利用孪生网络中的一路网络，将一个视频输入到一路网络中，输出该视频对应的值为-1到+1的近似哈希码，然后通过量化得到该视频的哈希码，并通过计算该视频的哈希码与其他视频哈希码之间的海明距离对候选视频进行排序，得到最相近的视频。
2.如权利要求1所述的一种基于注意力机制的视频哈希检索方法，其特征在于：所述步骤(1)的具体实现步骤是：
①对视频帧进行均匀采样，每个视频都均匀地抽取特定数量的视频帧；
②将每一帧都调整为相同大小的帧；
③构建视频对，包括同类的样本对和不同类的样本对，同类视频对和不同类视频对的比例是1:1，构造视频对时，随机选择一个视频，然后从余下的视频中随机选取一个同类的视频，随机选取一个不同类的视频，这样可以构造一个正样本视频对和一个负样本视频对。
3.如权利要求1所述的一种基于注意力机制的视频哈希检索方法，其特征在于：所述步骤(2)的具体实现步骤是：
①对每一帧利用卷积神经网络进行特征提取，得到每一帧的特征；
②每一个视频用一个矩阵表示。
4.如权利要求1所述的一种基于注意力机制的视频哈希检索方法，其特征在于：所述步骤(3)的具体实现步骤是：
①构建孪生网络；
②将每个视频输入到长短期记忆神经网络LSTM中，得到每一个时间步的输出；
③利用注意力机制计算每一个时间步输出的向量的权重，并对每一个时间步得到的输出进行加权求和，得到视频的整体特征表示，具体实现方法为：LSTM每个时间步都会接收一个视频帧作为输入，并产生一个输出，将每个时间步产生的输出作为注意力机制的输入，通过计算得到每个时间步的权重，再对每个时间步的输出进行加权计算，得到最后的视频表示，计算过程如下：
h＝[h1；h2；...；ht]，
r＝tanh(WTh+u)，
α＝softmax(r)，
H＝[h1，h2，...，ht]，
s＝Hα，
其中，h为所有LSTM时间步输出的向量拼接成的向量，W为权重矩阵，tanh为双曲正切激活函数，α为r经过softmax函数得到的权重，H为所有LSTM时间步输出的向量组成的矩阵，s为LSTM所有时间步输出对α的加权和，也就是经过注意力机制后的视频表示。
5.如权利要求1所述的一种基于注意力机制的视频哈希检索方法，其特征在于：所述步骤(4)的具体实现步骤是：
①设置三个全连接层，逐步对视频特征进行降维；
②利用梯度下降算法对网络的参数进行优化。
6.如权利要求1所述的一种基于注意力机制的视频哈希检索方法，其特征在于：所述步骤(5)的具体实现步骤是：
①将一个视频输入到孪生网络的一路网络中，然后得到该视频对应的值为-1到+1的近似哈希码；
②然后通过量化将小于0的值量化为-1，其他值量化为+1，这样就得到该视频的哈希码；
③通过计算和其他视频哈希码之间的距离来对候选视频进行排序，得到最相近的视频。
基于注意力机制的视频哈希检索方法
技术领域
背景技术
发明内容
（1）视频预处理：对视频帧进行采样，并构建视频对，视频对包括同一类的视频对即正样本对和不同类的视频对即负样本对，同一类的视频对的标签为1，不同类的视频对标签为
0；
（2）视频帧特征提取：将视频采样后的每一帧输入卷积神经网络提取特征；
（3）利用孪生网络、长短期记忆神经网络LSTM和注意力机制对视频进行学习：将视频对中的两个视频分别输入孪生网络的两路神经网络，分别得到两个视频对应的视频特征表示，其中，孪生网络的两路神经网络是参数共享的，且每一路神经网络都是LSTM和注意力机制构成的网络，利用注意力机制，可以区别不同帧的重要性，不同帧被赋予不同的权重；
（4）降维和训练：利用全连接层对视频特征进行降维，得到想要长度的哈希码，并使用梯度下降算法学习网络参数；
（5）检索：当网络训练完成后进行检索时，只利用孪生网络中的一路网络，将一个视频输入到一路网络中，输出该视频对应的值为-1到+1的近似哈希码，然后通过量化得到该视频的哈希码，并通过计算该视频的哈希码与其他视频哈希码之间的海明距离对候选视频进行排序，得到最相近的视频。
②将每一帧都调整为相同大小的帧；
③构建视频对，包括同类的样本对和不同类的样本对，同类视频对和不同类视频对的比例是1:1，构造视频对时，随机选择一个视频，然后从余下的视频中随机选取一个同类的视频，随机选取一个不同类的视频，这样可以构造一个正样本视频对和一个负样本视频对。
②每一个视频用一个矩阵表示。
②将每个视频输入到长短期记忆神经网络LSTM中，得到每一个时间步的输出；
③利用注意力机制计算每一个时间步输出的向量的权重，并对每一个时间步得到的输出进行加权求和，得到视频的整体特征表示，具体实现方法为：LSTM每个时间步都会接收一个视频帧作为输入，并产生一个输出，将每个时间步产生的输出作为注意力机制的输入，通过计算得到每个时间步的权重，再对每个时间步的输出进行加权计算，得到最后的视频表示，计算过程如下：
其中，为所有LSTM时间步输出的向量拼接成的向量， 为权重矩阵，tanh为双曲正切激活函数， 为r经过softmax函数得到的权重，为所有LSTM时间步输出的向量组成的矩阵，s为LSTM所有时间步输出对 的加权和，也就是经过注意力机制后的视频表示。
②利用梯度下降算法对网络的参数进行优化。
②然后通过量化将小于0的值量化为-1，其他值量化为+1，这样就得到该视频的哈希码；
③通过计算和其他视频哈希码之间的距离来对候选视频进行排序，得到最相近的视频。
具体实施方式
④对视频帧进行均匀采样，每个视频都均匀地抽取特定数量的视频帧；
⑤将每一帧都调整为相同大小的帧，例如将每一帧都调整为224*224大小；
⑥构建视频对，包括同类的样本对和不同类的样本对，同类视频对和不同类视频对的比例是1:1。构造视频对时，随机选择一个视频，然后从余下的视频中随机选取一个同类的视频，随机选取一个不同类的视频，这样可以构造一个正样本视频对和一个负样本视频对。
其中，为所有LSTM时间步输出的向量拼接成的向量， 为权重矩阵，tanh为双曲正切激活函数， 为r经过softmax函数得到的权重，为所有LSTM时间步输出的向量组成的矩阵，s为LSTM所有时间步输出对 的加权和，也就是经过注意力机制后的视频表示，如图2所示。
为间隔分类损失， 为位平衡损失， 为位不相关损失。其中， 为间隔，控制 的大小；为训练样本经过神经网络得到的输出组成的矩阵；为训练样本总数；β和γ为超参数， 控制 的大小，具体如下：
为第 对视频对之间的损失，具体如下：
，
和 为第i个视频和第j个视频经过网络得到的输出（第i个视频和第j个视频构成一个视频对），为哈希码的长度， 为视频对的标签，若两个视频属于同一类，则 ；否则， 。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 车载环视图像的特征点标定方法、装置和可读存储介质 | 2020-10-02 | 0 |
| 一种新式延缓磨损延长固态硬盘使用寿命的方法 | 2022-05-13 | 0 |
| 3D模型到测试对象的自动对准 | 2023-03-06 | 1 |
| 一种无线传感器网络数据预测方法 | 2020-11-05 | 1 |
| 基于Fourier-Hermite正交多项式扩展椭球集员滤波方法 | 2022-06-05 | 0 |
| 六相逆变器供电的无轴承磁通切换电机驱动方法及系统 | 2020-10-03 | 0 |
| 一种基于数据驱动的仿真模块 | 2021-06-26 | 0 |
| 一种肿瘤患者精准剂量验证方法、装置及设备 | 2021-12-08 | 1 |
| 数据拆分方法、装置、电子设备、及存储介质 | 2020-09-01 | 2 |
| 针对分页获取云平台终端数据的查询方法和系统 | 2021-02-07 | 2 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
