一种视频图像超分辨率重建方法及装置
阅读：422发布：2020-05-11
专利汇可以提供一种视频图像超分辨率重建方法及装置专利检索，专利查询，专利分析的服务。并且本 发明 是关于一种视频图像超 分辨率 重建方法及装置，包括：获取运动摄像头在同一场景拍摄的连续多 帧 低分辨率图像；从连续多帧低分辨率图像中获得连续多帧低分辨率目标物体图像；衡量连续多帧低分辨率目标物体图像的图像 质量 ，获取图像质量最优的低分辨率目标物体图像；将图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，得到高分辨率待处理帧，高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，得到多张高分辨率参考帧；对高分辨率待处理帧和多张高分辨率参考帧进行多帧超分辨率重建，得到超分辨率目标物体图像。该方法利用单帧超分辨率重建和多帧超分辨率重建相结合，大幅度提高双动态视频图像中目标物体的图像质量。，下面是一种视频图像超分辨率重建方法及装置专利的具体信息内容。
1.一种视频图像超分辨率重建方法，其特征在于，包括：
获取运动摄像头在同一场景拍摄的连续多帧低分辨率图像；
从所述连续多帧低分辨率图像中获得连续多帧低分辨率目标物体图像；
衡量所述连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像；
将所述图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，得到高分辨率待处理帧，所述高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，得到多张高分辨率参考帧；
将所述高分辨率待处理帧划分成若干图像块；
利用运动估计方法对所述高分辨率待处理帧和多张高分辨率参考帧进行图像配准，得到所述多张高分辨率参考帧中与所述高分辨率待处理帧的图像块对应的匹配块；
计算所述匹配块的平均梯度，获取最佳匹配块，其中，所述最佳匹配块包括平均梯度大于预设图像块梯度阈值与运动系数乘积的所有匹配块；
利用所述最佳匹配块分别对所述高分辨率待处理帧对应的图像块进行修正，得到所述超分辨率目标物体图像。
2.根据权利要求1所述的视频图像超分辨率重建方法，其特征在于，所述衡量所述连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像，包括：
计算所述连续多帧低分辨率目标物体图像的平均梯度；
对比所述连续多帧低分辨率目标物体图像的平均梯度，得到平均梯度最大的低分辨率目标物体图像；
将所述平均梯度最大的低分辨率目标物体图像作为图像质量最优的低分辨率目标物体图像。
3.根据权利要求1所述的视频图像超分辨率重建方法，其特征在于，所述将所述图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，包括：
获取训练样本，其中，所述训练样本包括训练样本库中若干相匹配的高分辨率图像块和低分辨率图像块的特征向量组成的特征向量对，所述特征向量为相对应图像块的若干区域梯度组成的梯度向量；
将所述训练样本在预设的稀疏字典编码超分辨率模型进行稀疏编码，建立所述高分辨率图像块和低分辨率图像块的稀疏关联关系；
将所述图像质量最优的低分辨率目标物体图像划分为若干图像块；
计算所述图像质量最优的低分辨率目标物体图像的所有图像块的特征向量；
将所述图像质量最优的低分辨率目标物体图像的图像块的特征向量分别输入所述稀疏字典编码超分辨率模型，根据所述稀疏关联关系，得到所述高分辨率待处理帧。
4.根据权利要求1所述的视频图像超分辨率重建方法，其特征在于，所述高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，包括：
采用8阶对称插值滤波器对所述其他分辨率目标物体图像进行半像素插值，采用7阶非对称插值滤波器对所述其他分辨率目标物体图像进行四分之一像素插值。
5.一种视频图像超分辨率重建装置，其特征在于，包括：
低分辨率场景图像获取模块，用于获取运动摄像头在同一场景拍摄的连续多帧低分辨率图像；
目标物体图像获取模块，用于从所述连续多帧低分辨率图像中获得连续多帧低分辨率目标物体图像；
图像质量衡量模块，用于衡量所述连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像；
高分辨率目标图像获取模块，用于将所述图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，得到高分辨率待处理帧，所述高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，得到多张高分辨率参考帧；
超分辨率目标图像获取模块，所述超分辨率目标图像获取模块包括：
第二图像块划分单元，用于将所述高分辨率待处理帧划分成若干图像块；
运动估计单元，用于利用运动估计方法对所述高分辨率待处理帧和多张高分辨率参考帧进行图像配准，得到所述多张高分辨率参考帧中与所述高分辨率待处理帧的图像块对应的匹配块；
最佳匹配块获取单元，用于计算所述匹配块的平均梯度，获取最佳匹配块，其中，所述最佳匹配块包括平均梯度大于预设图像块梯度阈值与运动系数乘积的所有匹配块；
高分辨率待处理帧修正单元，用于利用所述最佳匹配块分别对所述高分辨率待处理帧对应的图像块进行修正，得到所述超分辨率目标物体图像。
6.根据权利要求5所述的视频图像超分辨率重建装置，其特征在于，所述图像质量衡量模块包括：
计算单元，用于计算所述连续多帧低分辨率目标物体图像的平均梯度；
对比单元，用于对比所述连续多帧低分辨率目标物体图像的平均梯度，得到平均梯度最大的低分辨率目标物体图像；
最优低分辨率目标图像确定单元，用于将所述平均梯度最大的低分辨率目标物体图像作为图像质量最优的低分辨率目标物体图像。
7.根据权利要求5所述的视频图像超分辨率重建装置，其特征在于，所述高分辨率目标图像获取模块包括：
训练样本获取单元，用于获取训练样本，其中，所述训练样本包括训练样本库中若干相匹配的高分辨率图像块和低分辨率图像块的特征向量组成的特征向量对，所述特征向量为相对应图像块的若干区域梯度组成的梯度向量；
稀疏关联关系确定单元，用于将所述训练样本在预设的稀疏字典编码超分辨率模型进行稀疏编码，建立所述高分辨率图像块和低分辨率图像块的稀疏关联关系；
第一图像块划分单元，用于将所述图像质量最优的低分辨率目标物体图像划分为若干图像块；
特征向量计算单元，用于计算所述图像质量最优的低分辨率目标物体图像的所有图像块的特征向量；
稀疏字典编码单元，用于将所述图像质量最优的低分辨率目标物体图像的图像块的特征向量分别输入所述稀疏字典编码超分辨率模型，根据所述稀疏关联关系，得到所述高分辨率待处理帧。
8.根据权利要求5所述的视频图像超分辨率重建装置，其特征在于，所述高分辨率目标图像获取模块还包括：
插值单元，用于采用8阶对称插值滤波器对所述其他分辨率目标物体图像进行半像素插值，采用7阶非对称插值滤波器对所述其他分辨率目标物体图像进行四分之一像素插值。
一种视频图像超分辨率重建方法及装置
技术领域
背景技术
[0002] 随着我国平安城市建设的开展以及智慧城市建设的启动，遍布城市各个角落以及各种执法车辆上的摄像头捕捉的各种视频信息，在保障城市安全、提高城市管理效能等方面发挥了重要作用。由于目标物体的运动以及摄像头分辨率低的原因，摄像头获得的视频图像存在着模糊以及分辨率较低的退化现象，当从视频图像中获取目标物体的相关信息时，首先需要对这些视频图像进行超分辨率重建，获得超分辨率的图像，进而获得目标物体的相关信息。
[0003] 目前的视频图像超分辨率重建方法是：获取同一场景连续多帧的低分辨率图像，根据所述视频的连续序列帧，转换为静态的JPG或者BMP文件，结合场景参数，选择一个像元内连续多帧的亚像素图像；根据多帧亚像素图像的图像序列帧，选择目标物体，并进行块状目标的运动估计；根据运动估计结果，采用非均匀内插的重建算法，重建一幅超分辨图像。
[0004] 由于摄像头的状态不同，获得的视频分为单动态视频和双动态视频两种，所述单动态视频是指摄像头固定不动，被拍摄物运动的视频图像，所述双动态视频是指摄像头和被拍摄物都运动的视频图像。上述视频图像超分辨率重建方法在处理单动态视频图像时，能够获得较清晰的图像，但是在处理双动态视频图像时，由于拍摄双动态视频图像的摄像头和被拍摄物体都在运动，致使视频图像退化现象更严重，导致在利用上述重建方法获得的超分辨图像中的目标物体的分辨率低。
发明内容
[0005] 为克服相关技术中存在的问题，本发明提供一种视频图像超分辨率重建方法及装置。
[0006] 根据本发明实施例的第一方面，提供一种视频图像超分辨率重建方法，包括：
[0007] 获取运动摄像头在同一场景拍摄的连续多帧低分辨率图像；
[0008] 从所述连续多帧低分辨率图像中获得连续多帧低分辨率目标物体图像；
[0009] 衡量所述连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像；
[0010] 将所述图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，得到高分辨率待处理帧，所述高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，得到多张高分辨率参考帧；
[0011] 对所述高分辨率待处理帧和多张高分辨率参考帧进行多帧超分辨率重建，得到超分辨率目标物体图像。
[0012] 优选地，所述衡量所述连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像，包括：
[0013] 计算所述连续多帧低分辨率目标物体图像的平均梯度；
[0014] 对比所述连续多帧低分辨率目标物体图像的平均梯度，得到平均梯度最大的低分辨率目标物体图像；
[0015] 将所述平均梯度最大的低分辨率目标物体图像作为图像质量最优的低分辨率目标物体图像。
[0016] 优选地，所述将所述图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，包括：
[0017] 获取训练样本，其中，所述训练样本包括训练样本库中若干相匹配的高分辨率图像块和低分辨率图像块的特征向量组成的特征向量对，所述特征向量为相对应图像块的若干区域梯度组成的梯度向量；
[0018] 将所述训练样本在预设的稀疏字典编码超分辨率模型进行稀疏编码，建立所述高分辨率图像块和低分辨率图像块的稀疏关联关系；
[0019] 将所述图像质量最优的低分辨率目标物体图像划分为若干图像块；
[0020] 计算所述图像质量最优的低分辨率目标物体图像的所有图像块的特征向量；
[0021] 将所述图像质量最优的低分辨率目标物体图像的图像块的特征向量分别输入所述稀疏字典编码超分辨率模型，根据所述稀疏关联关系，得到所述高分辨率待处理帧。
[0022] 优选地，所述高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，包括：
[0023] 采用8阶对称插值滤波器对所述其他分辨率目标物体图像进行半像素插值，采用7阶非对称插值滤波器对所述其他分辨率目标物体图像进行四分之一像素插值。
[0024] 优选地，所述对所述高分辨率待处理帧和多张高分辨率参考帧进行多帧超分辨率重建，包括：
[0025] 将所述高分辨率待处理帧划分成若干图像块；
[0026] 利用运动估计方法对所述高分辨率待处理帧和多张高分辨率参考帧进行图像配准，得到所述多张高分辨率参考帧中与所述高分辨率待处理帧的图像块对应的匹配块；
[0027] 计算所述匹配块的平均梯度，获取最佳匹配块，其中，所述最佳匹配块包括平均梯度大于预设图像块梯度阈值与运动系数乘积的所有匹配块；
[0028] 利用所述最佳匹配块分别对所述高分辨率待处理帧对应的图像块进行修正，得到所述超分辨率目标物体图像。
[0029] 根据本发明实施例的第二方面，提供一种视频图像超分辨率重建装置，包括：
[0030] 低分辨率场景图像获取模块，用于获取运动摄像头在同一场景拍摄的连续多帧低分辨率图像；
[0031] 目标物体图像获取模块，用于从所述连续多帧低分辨率图像中获得连续多帧低分辨率目标物体图像；
[0032] 图像质量衡量模块，用于衡量所述连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像；
[0033] 高分辨率目标图像获取模块，用于将所述图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，得到高分辨率待处理帧，所述高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，得到多张高分辨率参考帧；
[0034] 超分辨率目标图像获取模块，用于对所述高分辨率待处理帧和多张高分辨率参考帧进行多帧超分辨率重建，得到超分辨率目标物体图像。
[0035] 优选地，所述图像质量衡量模块包括：
[0036] 计算单元，用于计算所述连续多帧低分辨率目标物体图像的平均梯度；
[0037] 对比单元，用于对比所述连续多帧低分辨率目标物体图像的平均梯度，得到平均梯度最大的低分辨率目标物体图像；
[0038] 最优低分辨率目标图像确定单元，用于将所述平均梯度最大的低分辨率目标物体图像作为图像质量最优的低分辨率目标物体图像。
[0039] 优选地，所述高分辨率目标图像获取模块包括：
[0040] 训练样本获取单元，用于获取训练样本，其中，所述训练样本包括训练样本库中若干相匹配的高分辨率图像块和低分辨率图像块的特征向量组成的特征向量对，所述特征向量为相对应图像块的若干区域梯度组成的梯度向量；
[0041] 稀疏关联关系确定单元，用于将所述训练样本在预设的稀疏字典编码超分辨率模型进行稀疏编码，建立所述高分辨率图像块和低分辨率图像块的稀疏关联关系；
[0042] 第一图像块划分单元，用于将所述图像质量最优的低分辨率目标物体图像划分为若干图像块；
[0043] 特征向量计算单元，用于计算所述图像质量最优的低分辨率目标物体图像的所有图像块的特征向量；
[0044] 稀疏字典编码单元，用于将所述图像质量最优的低分辨率目标物体图像的图像块的特征向量分别输入所述稀疏字典编码超分辨率模型，根据所述稀疏关联关系，得到所述高分辨率待处理帧。
[0045] 优选地，所述高分辨率目标图像获取模块还包括：
[0046] 插值单元，用于采用8阶对称插值滤波器对所述其他分辨率目标物体图像进行半像素插值，采用7阶非对称插值滤波器对所述其他分辨率目标物体图像进行四分之一像素插值。
[0047] 优选地，所述超分辨率目标图像获取模块包括：
[0048] 第二图像块划分单元，用于将所述高分辨率待处理帧划分成若干图像块；
[0049] 运动估计单元，用于利用运动估计方法对所述高分辨率待处理帧和多张高分辨率参考帧进行图像配准，得到所述多张高分辨率参考帧中与所述高分辨率待处理帧的图像块对应的匹配块；
[0050] 最佳匹配块获取单元，用于计算所述匹配块的平均梯度，获取最佳匹配块，其中，所述最佳匹配块包括平均梯度大于预设图像块梯度阈值与运动系数乘积的所有匹配块；
[0051] 高分辨率待处理帧修正单元，用于利用所述最佳匹配块分别对所述高分辨率待处理帧对应的图像块进行修正，得到所述超分辨率目标物体图像。
[0052] 本发明的实施例提供的技术方案可以包括以下有益效果：
[0053] 本发明实施例提供的一种视频图像超分辨率重建方法及装置，包括：获取运动摄像头在同一场景拍摄的连续多帧低分辨率图像；从所述连续多帧低分辨率图像中获得连续多帧低分辨率目标物体图像；衡量所述连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像；将所述图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，得到高分辨率待处理帧，所述高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，得到多张高分辨率参考帧；对所述高分辨率待处理帧和多张高分辨率参考帧进行多帧超分辨率重建，得到超分辨率目标物体图像。本发明实施例提供的视频图像超分辨率重建方法，针对双动态视频图像，利用单帧超分辨率重建和多帧超分辨率重建相结合，大幅度提高双动态视频图像中目标物体的图像质量，利用该重建方法获得的超分辨图像中的目标物体的分辨率高，易识别。
[0056] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0057] 图1为本发明实施例提供的一种视频图像超分辨率重建方法的流程示意图；
[0058] 图2为本发明实施例提供的一种获取图像质量最优的低分辨率目标物体图像的方法示意图；
[0059] 图3为本发明实施例提供的一种单帧超分辨率重建的方法流程示意图；
[0060] 图4为本发明实施例提供的一种多帧超分辨率重建的方法流程示意图；
[0061] 图5为本发明实施例提供的一种视频图像超分辨率重建装置的结构示意图。
具体实施方式
[0062] 这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
[0063] 本发明实施例根据超分辨率重建技术，提出了一种针对双动态视频图像的超分辨率重建方法，实现对双动态视频图像中的目标物体的超分辨率重建。
[0064] 其中，所述目标物体包括车牌；当然所述目标物体还可以为其他类型的目标，例如人、牲畜等；本发明实施例将以车牌的超分辨率重建为例，具体介绍双动态视频图像中车牌的超分辨率重建方法。在一种具体应用场景中，车牌的超分辨率重建可以辅助执法车辆的违章拍摄，将执法车辆拍摄的双动态视频图像进行车牌定位，进行视频图像超分辨率重建，获取车牌的超分辨率图像。
[0065] 图1是根据一示例性实施例示出的一种视频图像超分辨率重建方法的流程图，该方法包括以下步骤：
[0066] 步骤S101：获取运动摄像头在同一场景拍摄的连续多帧低分辨率图像。
[0067] 在本发明实施例中，所述运动摄像头具体指在拍摄场景图像时处于运动状态的摄像头，包括随着车辆移动的摄像头、转动的摄像头等。
[0068] 在具体实施过程中，从执法车辆的摄像头拍摄的违章车辆的双动态视频图像中，获取同一场景拍摄的违章车辆连续多帧低分辨率图像，其中，执法车辆的摄像头随执法车辆运动，为运动摄像头。
[0069] 步骤S102：从所述连续多帧低分辨率图像中获得连续多帧低分辨率目标物体图像。
[0070] 为了方便对目标物体进行超分辨率重建，将连续多帧低分辨率图像中进行目标物体定位，获取连续多帧低分辨率目标物体图像。
[0071] 在车牌超分辨率重建过程中，为了方便对车牌进行超分辨率重建，将连续多帧低分辨率图像分别进行车牌定位，获取连续多帧低分辨率车牌图像。
[0072] 步骤S103：衡量所述连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像。
[0073] 图像质量衡量的方法有很多中，例如根据图像边缘特征进行衡量、根据图像分辨率进行衡量等，在本发明实施例中，提出一种根据图像的平均梯度衡量图像质量的方法，根据此方法获得的图像质量最优的低分辨率目标图像，相对清晰程度高，与重建后的目标物体图像最为接近。
[0074] 在本发明实施例中，参见图2，步骤S103的具体实施方式包括如下步骤：
[0075] 步骤S1031：计算所述连续多帧低分辨率目标物体图像的平均梯度。
[0076] 所述平均梯度是指图像的边界或影线两侧附近灰度有明显差异，即灰度变化率大，这种变化率的大小可用来表示图像清晰度，它反映了图像微小细节反差变化的塑料，即图像多维方向上密度变化的速率，表征图像的相对清晰程度。
[0077] 在车牌超分辨率重建过程中，计算步骤S102获得的连续多帧低分辨率车牌图像的平均梯度。
[0078] 步骤S1032：对比所述连续多帧低分辨率目标物体图像的平均梯度，得到平均梯度最大的低分辨率目标物体图像。
[0079] 在车牌超分辨率重建过程中，对比连续多帧低分辨率车牌图像的平均梯度，获取平均梯度最大的车牌图像，所述平均梯度最大的车牌图像的相对清晰程度最高，与重建后的车牌图像最接近。
[0080] 步骤S1033：将所述平均梯度最大的低分辨率目标物体图像作为图像质量最优的低分辨率目标物体图像。
[0081] 在车牌超分辨率重建过程中，将平均梯度最大的车牌图像作为图像质量最优的低分辨率车牌图像。
[0082] 根据衡量平均梯度获得的图像质量最优的低分辨率目标图像，相对清晰程度高，与重建后的目标物体图像最为接近。
[0083] 步骤S104：将所述图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，得到高分辨率待处理帧，所述高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，得到多张高分辨率参考帧。
[0084] 将步骤S103获得的图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，基于单帧超分辨率重建，是本发明实施例提供的视频图像超分辨率重建方法的基础。
[0085] 在一种可选的实施方式中，参见图3，所述将所述图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，包括：
[0086] 步骤S1041：获取训练样本。
[0087] 获取稀疏字典编码的超分辨率算法训练样本库中的训练样本，其中，所述训练样本包括训练样本库中若干相匹配的高分辨率图像块和低分辨率图像块的特征向量组成的特征向量对，所述特征向量为相对应图像块的若干区域梯度组成的梯度向量。
[0088] 人类对图像中的高频信息非常敏感，同时，作为低分辨率图像，高频信息对应着几何结构信息和纹理信息，对预测超分辨率图像的高频信息非常重要，梯度信息，可有效地将运动模糊图像有针对性的过滤。
[0089] 在梯度框架下，选择高分辨率图像块的梯度向量 作为该高分辨率图像块的特征向量，与所述高分辨率图像块相匹配的低分辨率图像块的梯度向量作为该低分辨率图像块的特征向量，组成1个特征向量对作为稀疏字典编码的1个特征向量对；其中， 为坐标
点为(x,y)处，大小为(M，N)区域内即M×N大小的区域的平均梯度，M和N分别为区域的行、列数；f(x,y)、 和 分别为坐标点为(x,y)的像点灰度及其在行、列方向上的梯度。在具体实施过程中，M＝3，N＝3，即将高分辨率图像块和与所述高分辨率图像块相匹配的低分辨率图像块均划分为若干3×3大小的区域，计算所有区域的区域梯度，其中，所述区域梯度为3×3大小的区域的平均梯度。所述高分辨率图像块所有区域的区域梯度组成的向量为所述高分辨率图像块的梯度向量，即高分辨率图像块的特征向量；所述低分辨率图像块的所有区域梯度组成的向量为所述低分辨率图像块的梯度向量，即所述低分辨率图像块的特征向量，所述高分辨率图像块的特征向量和与所述高分辨率图像块相匹配的低分辨率图像块的特征向量组成一个特征向量对。
点为(x,y)处，大小为(M，N)区域内即M×N大小的区域的平均梯度，M和N分别为区域的行、列数；f(x,y)、 和 分别为坐标点为(x,y)的像点灰度及其在行、列方向上的梯度。在具体实施过程中，M＝3，N＝3，即将高分辨率图像块和与所述高分辨率图像块相匹配的低分辨率图像块均划分为若干3×3大小的区域，计算所有区域的区域梯度，其中，所述区域梯度为3×3大小的区域的平均梯度。所述高分辨率图像块所有区域的区域梯度组成的向量为所述高分辨率图像块的梯度向量，即高分辨率图像块的特征向量；所述低分辨率图像块的所有区域梯度组成的向量为所述低分辨率图像块的梯度向量，即所述低分辨率图像块的特征向量，所述高分辨率图像块的特征向量和与所述高分辨率图像块相匹配的低分辨率图像块的特征向量组成一个特征向量对。
[0090] 在具体实施过程中，所述训练样本的特征向量对的数量可用n表示，n的数值大于1000。包含n个特征向量对的训练样本用P来表示，P＝{Xh,Yl}，Xh＝{x1,x2,…,xn}，Yl＝{y1,y2,…,yn}，每个特征向量对(xi,yi)即为 和
[0091] 步骤S1042：将所述训练样本在预设的稀疏字典编码超分辨率模型进行稀疏编码，建立所述高分辨率图像块和低分辨率图像块的稀疏关联关系。
[0092] 稀疏编码的目的是通过对P的学习来估计稀疏字典，并且将相匹配的高分辨率图像块和低分辨率图像块统一到一个稀疏字典编码框架中，使他们具有相同的稀疏表示。再具体实施过程中，目标函数表示为
[0093]
[0094] 上式中，Ah表示高分辨率图像块的稀疏字典，Al对应低分辨率图像块的稀疏字典，N和M分别是高、低分辨率图像块向量表示方式的维数，上式可以简化为
[0095]
[0096] 其中， A为学习稀疏字典，Z为X的稀疏表示，Φ为字典D稀疏表示的隐式字典。
[0097] 建立所述相匹配的高分辨率图像块和低分辨率图像块的稀疏关联关系。通过n个特征向量对对稀疏字典进行编码，修正稀疏字典，进而确定所述稀疏字典编码模型。
[0098] 步骤S1043：将所述图像质量最优的低分辨率目标物体图像划分为若干图像块。
[0099] 在车牌超分辨率重建过程中，将图像质量最优的低分辨车牌图像划分为若干64×64大小的图像块。
[0100] 步骤S1044：计算所述图像质量最优的低分辨率目标物体图像的所有图像块的特征向量。
[0101] 在具体实施过程中，将步骤S1043中得到的每个图像块划分为若干3×3的区域，计算每个区域的区域梯度，所述区域梯度为3×3大小的区域的平均梯度，每个图像块的所有区域梯度形成的向量作为该图像块的特征向量。
[0102] 步骤S1045：将所述图像质量最优的低分辨率目标物体图像的图像块的特征向量分别输入所述稀疏字典编码超分辨率模型，根据所述稀疏关联关系，得到所述高分辨率待处理帧。
[0103] 在具体实施过程中，对输入的图像块的特征向量，根据低分辨率图像块稀疏字典Al估计其稀疏表示α，再根据高分辨率图像块稀疏字典Ah和α估计高分辨率图像块特的稀疏表示问题可以表示为
[0104]
[0105] 由于上式对每个图像块单独进行处理，并没有考虑相邻图像块间的匹配问题，使用one-pass算法，对(3)式进行改造：
[0106]
[0107] 其中，R用于提取当前估计的高分辨率图像块与其相邻块的重叠区域，w表示一估计高分辨率图像块在重叠区域的估计值，最终的优化问题表示为：
[0108]
[0109] 其中，β用于权衡低分辨图像块的特征向量与估计的高分辨率图像块的特征向量间的匹配权重，(5)式可以通过任意追踪算法估计出低分辨率图像块的稀疏表示α*，最后通* h h *过x＝ΦAα得到高分辨率图像块的特征向量的最终估计值，在于所述图像块中的相应的中、低频分量线性组合，获得高分辨率待处理帧的初始估计X0。
[0110] 为使最终估计满足全局重建约束Y＝DHX(其中，X为高分辨率图像，Y为低分辨率图像，D表示降采样操作，H表示模糊滤波器)，根据目标函数：
[0111] X*＝argminx||X-X0||,s.t.Y＝DHX (6)
[0112] 其中，X*为所述图像质量最优的低分辨率目标物体图像的高分辨率图像的最优估计，根据(6)式，计算获得所述图像质量最优的低分辨率目标物体图像的高分辨率图像的最优估计，即高分辨率待处理帧。
[0113] 本发明实施例在稀疏字典编码的单帧超分辨率重建模型的基础上，应用将空域匹配搜索、运动信息、加权合成提取图像块的特征向量作为字典训练对象，实现超分辨率在双动态环境下单帧图像的重建和降噪功能。
[0114] 在一种可选的实施方式中，所述高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，包括：
[0115] 采用8阶对称插值滤波器对所述其他分辨率目标物体图像进行半像素插值，双线性插值滤波器对所述其他分辨率目标物体图像区域进行四分之一像素插值。
[0116] 在具体实施过程中，先进行亮度分量插值，再进行色度分量插值。对于所述高分辨待处理帧以外的其他低分辨率目标物体图像区域高度分量，进行半像素亮度分量插值时，先进行水平方向插值，使用水平方向上8个整像素点值，基于8抽头滤波计算，得到水平方向上二分之一处像素值；再进行垂直方向插值，使用垂直方向上的8个整像素值，基于8抽头滤波计算，得到垂直方向上二分之一处像素值。
[0117] 基于以上中间值，水平方向和垂直方向四分之一像素由相领整像素与二分之一像素值进行双线性滤波得到；而对于对角线方向上的四分之一像素点，由相邻对角线方向的二个二分之一像素值进行双线性滤波得到。色度分量插值的方法与亮度分量插值的方法一致，在此不再赘述。
[0118] 步骤S105：对所述高分辨率待处理帧和多张高分辨率参考帧进行多帧超分辨率重建，得到超分辨率目标物体图像。
[0119] 在一种可选的实施方式中，参见图4，所述对所述高分辨率待处理帧和多张高分辨率参考帧进行多帧超分辨率重建，包括：
[0120] 步骤S1051：将所述高分辨率待处理帧划分成若干图像块。
[0121] 在具体实施过程中，在图像块匹配的运动估计中，所述高分辨率待处理帧要划分为图像块，假设每个图像块中的各个像素具有同样的运动模式，并且只能是平移运动，但是实际上图像块内各个像素的运动不一定相同，但是当图像块较小时，可以当做上述假设近似成立。因此图像块大小的选择是很重要的，当选择的图像块较小时，容易受到噪声影响，估计不够准确，而且运算量也会相应增加；当选择的图像块较大时，图像块内各个像素作相同平移的可能性很小，上述假设也不可能成立。因此，为对应不同的运动所带来的影响，图像块的大小包括4×4、8×8、8×16、16×8、16×16、32×16、16×32或32×32中的一种。在具体实施过程中，通过将上述大小的图像块作遍历，根据代价函数为：J＝R+ladbda*D，选代价最小的图像块，其中，D是高分辨率参考帧与高分辨待处理帧之间的SAD值，ladbda是系数，R是经验函数。在一种应用场景中，将上述所有大小的图像块遍历后，代价最小的图像块的大小为8×8，则将所述高分辨率待处理帧划分为若干8×8的图像块。
[0122] 步骤S1052：利用运动估计方法对所述高分辨率待处理帧和多张高分辨率参考帧进行图像配准，得到所述多张高分辨率参考帧中与所述高分辨率待处理帧的图像块对应的匹配块。
[0123] 进行运动估计的目的在于，估计每帧高分辨率图像的图像块在超分辨率图像中的相应位置，也即是确定由高分辨率图像的子像素运动所形成的位移算子。超分辨率图像重建的最终目的是可以对包含任意运动的图像序列进行重建，因此需要设计能够处理不连续的、精确度达到子像素的运动估计算法。
[0124] 在同一场景不同时域的图像序列之间有很多的相关信息，根据这些相关信息来估计两目标或场景的二维运动向量场的过程，可以称为运动估计。运动估计也可简单的理解为是在两帧图像中求同一对象的位置差，也可以说这一对象在两帧图像中的相对位移。一些变形映射(如投影变换或仿射变换)可以用来表征运动场模型，或者是用单个运动矢量来表征。
[0125] 在具体实施过程中，在高分辨率待处理帧中考虑一个位置为(m,n)的图像块，在多张高分辨率参考帧中的任一帧中搜索一个相应大小的匹配块，假设该匹配块的位置为(m+i,n+j)，就可以确定这个两个图像块之间的位移为(i,j)，称之为运动矢量。根据此方法确定所述匹配块在所述超分辨率目标图像中的位置。从运动矢量的分布和计算因素考虑，匹配块的搜索限制在48x48的扩展窗口中进行。
[0126] 步骤S1053：计算所述匹配块的平均梯度，获取最佳匹配块，其中，所述最佳匹配块包括平均梯度大于预设图像块梯度阈值与运动系数乘积的所有匹配块。
[0127] 计算多张高分辨率参考帧的匹配块的平均梯度，获取最佳匹配块，其中，所述最佳匹配块包括多张高分辨率参考帧中，平均梯度大于预设图像块梯度阈值与运动系数乘积的所有匹配块。
[0128] 在具体实施过程中，匹配块的平均梯度根据
[0129]
[0130] 来计算， 为坐标点为(x,y)处，大小为(M，N)区域内即M×N大小的图像块的平均梯度，M和N分别为图像块的行、列数；f(x,y)、 和 分别为坐标点为(x,y)的像点灰度及其在行、列方向上的梯度。运动系数由多次实验得到，为0.85，预设图像块梯度阈值 width，height分别表示当前图像的宽和高值。将平均梯度大于预设图像块梯度阈值与运动系数乘积的所有匹配块作为最佳匹配块。
[0131] 步骤S1054：利用所述最佳匹配块分别对所述高分辨率待处理帧对应的图像块进行修正，得到所述超分辨率目标物体图像。
[0132] 本发明实施例中，基于凸集投影法，进行多帧超分辨率重建，仅采用步骤S1053中获得的最佳匹配块对高分辨率待处理帧相对应的图像块进行修正，大大减小了计算工作量。
[0133] 在具体实施过程中，将步骤S104获得高分辨率待处理帧和多张高分辨率参考帧进行多帧超分率重建以及其对应的低分辨率图像，假设共有R帧低分辨率参考帧，R帧LM×LH低分辨率参考帧构成图像集yk(w1,h1),k∈[1,R]，重建成一帧LM×LH的超分辨率图像f(lw1,lh1)，低分辨率图像中的点(w1,h1)反投影到所述高分辨率待处理帧的点的位置为(2w1,2h1)，则第k帧第i个像素的数据一致性凸集为：
[0134] Ci,k＝{f(lw1,lh1):|ri,k|＜ε}1≤i≤lw1lh1,k＝1,2,…,R
[0135] 这里认为点扩散函数PSF是线性不变的，其影响范围为±2个像素，则定义点扩散函数PSF为：
[0136]
[0137] 归一化的函数为：
[0138]
[0139] 设所述高分辨率待处理帧作为超分辨率估计帧，像素值的为fref(lw1,lh1)，则投影到低分辨率图像中的像素估计值为：
[0140]
[0141] 第k帧最佳匹配块中第i个像素的噪声差为：
[0142]
[0143] 在具体实施过程中，如果ri,k的绝对值落在预先设定的阈值内，则不对超分辨率估计帧中PSF窗口内的像素值进行修正，如果ri,k的绝对值大于设定的阈值，则对超分辨率估计帧进行如下修正：
[0144]
[0145] 其中，ε为误差阈值，通常由系统噪声的统计特性来确定。根据系统噪声的统计特性，预设误差阈值ε，根据上述修正方法，将步骤S1053中获得的所有最佳匹配块分别对高分辨率待处理帧中相对应的图像块进行修正，从而获得修正后的超分辨率估计帧，即所述超分辨率目标物体图像。
[0146] 在车牌超分率重建中，根据此步骤，可获得超分辨率车牌图像，且此视频超分辨率得到的图像质量远高于各单帧图像，有利于提高车牌识别车牌准确率。
[0147] 本发明实施例提供的一种视频图像超分辨率重建方法，包括：获取运动摄像头在同一场景拍摄的连续多帧低分辨率图像；从所述连续多帧低分辨率图像中获得连续多帧低分辨率目标物体图像；衡量所述连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像；将所述图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，得到高分辨率待处理帧，所述高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，得到多张高分辨率参考帧；对所述高分辨率待处理帧和多张高分辨率参考帧进行多帧超分辨率重建，得到超分辨率目标物体图像。本发明实施例提供的视频图像超分辨率重建方法，针对双动态视频图像，利用单帧超分辨率重建和多帧超分辨率重建相结合，大幅度提高双动态视频图像中目标物体的图像质量，利用该重建方法获得的超分辨图像中的目标物体的分辨率高，易识别。
[0148] 基于相同的发明构思，本发明实施例还提供一种视频图像超分辨率重建装置，参见图5，包括：依次连接的低分辨率场景图像获取模块101、目标物体图像获取模块102、图像质量衡量模块103、高分辨率目标图像获取模块104和超分辨率目标图像获取模块105。
[0149] 所述低分辨率场景图像获取模块101，用于获取运动摄像头在同一场景拍摄的连续多帧低分辨率图像。
[0150] 所述目标物体图像获取模块102，用于从所述连续多帧低分辨率图像中获得连续多帧低分辨率目标物体图像。
[0151] 所述图像质量衡量模块103，用于衡量所述连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像。
[0152] 在一种可能的实施例中，所述图像质量衡量模块103包括：计算单元、对比单元和最优低分辨率目标图像确定单元
[0153] 计算单元，用于计算所述连续多帧低分辨率目标物体图像的平均梯度。
[0154] 对比单元，用于对比所述连续多帧低分辨率目标物体图像的平均梯度，得到平均梯度最大的低分辨率目标物体图像。
[0155] 最优低分辨率目标图像确定单元，用于将所述平均梯度最大的低分辨率目标物体图像作为图像质量最优的低分辨率目标物体图像。
[0156] 所述高分辨率目标图像获取模块104，用于将所述图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，得到高分辨率待处理帧，所述高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，得到多张高分辨率参考帧。
[0157] 在一种可能的实施例中，所述高分辨率目标图像获取模块104包括：训练样本获取单元、稀疏关联关系确定单元、第一图像块划分单元、特征向量计算单元和稀疏字典编码单元，其中，
[0158] 所述训练样本获取单元，用于获取训练样本，其中，所述训练样本包括训练样本库中若干相匹配的高分辨率图像块和低分辨率图像块的特征向量组成的特征向量对，所述特征向量为相对应图像块的若干区域梯度组成的梯度向量。
[0159] 所述稀疏关联关系确定单元，用于将所述训练样本在预设的稀疏字典编码超分辨率模型进行稀疏编码，建立所述高分辨率图像块和低分辨率图像块的稀疏关联关系。
[0160] 所述第一图像块划分单元，用于将所述图像质量最优的低分辨率目标物体图像划分为若干图像块。
[0161] 所述特征向量计算单元，用于计算所述图像质量最优的低分辨率目标物体图像的所有图像块的特征向量。
[0162] 所述稀疏字典编码单元，用于将所述图像质量最优的低分辨率目标物体图像的图像块的特征向量分别输入所述稀疏字典编码超分辨率模型，根据所述稀疏关联关系，得到所述高分辨率待处理帧。
[0163] 在另一种可能的实施例中，所述高分辨率目标图像获取模块104还包括插值单元。
[0164] 所述插值单元，用于采用8阶对称插值滤波器对所述其他分辨率目标物体图像进行半像素插值，采用7阶非对称插值滤波器对所述其他分辨率目标物体图像进行四分之一像素插值。
[0165] 所述超分辨率目标图像获取模块105，用于对所述高分辨率待处理帧和多张高分辨率参考帧进行多帧超分辨率重建，得到超分辨率目标物体图像。
[0166] 所述超分辨率目标图像获取模块105包括：第二图像块划分单元、运动估计单元、最佳匹配块获取单元和高分辨率待处理帧修正单元，其中，
[0167] 所述第二图像块划分单元，用于将所述高分辨率待处理帧划分成若干图像块。
[0168] 所述运动估计单元，用于利用运动估计方法对所述高分辨率待处理帧和多张高分辨率参考帧进行图像配准，得到所述多张高分辨率参考帧中与所述高分辨率待处理帧的图像块对应的匹配块。
[0169] 所述最佳匹配块获取单元，用于计算所述匹配块的平均梯度，获取最佳匹配块，其中，所述最佳匹配块包括平均梯度大于预设图像块梯度阈值与运动系数乘积的所有匹配块。
[0170] 所述高分辨率待处理帧修正单元，用于利用所述最佳匹配块分别对所述高分辨率待处理帧对应的图像块进行修正，得到所述超分辨率目标物体图像。
[0171] 本领域技术人员在考虑说明书及实践这里发明的公开后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种仿信鸽地貌感知归巢机制的无人机自主导航方法 | 2020-05-12 | 527 |
| 一种AVS2视频编解码标准优化方案 | 2020-05-14 | 664 |
| 一种语义驱动的相机定位与地图重建方法和系统 | 2020-05-15 | 328 |
| 用于视频编码的运动估计的系统和方法 | 2020-05-15 | 844 |
| 一种计算机视频数据处理方法 | 2020-05-14 | 140 |
| 视频图像处理方法、装置、设备及存储介质 | 2020-05-15 | 360 |
| 一种基于FPGA的机载吊舱实时图像场景锁定装置及方法 | 2020-05-08 | 462 |
| 一种视频图像超分辨率重建方法及装置 | 2020-05-11 | 422 |
| 一种遥测数据和视频图像数据的离线同步方法及装置 | 2020-05-11 | 483 |
| 运动估计的方法、装置、电子设备及计算机可读存储介质 | 2020-05-08 | 133 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈