首页 / 专利库 / 电脑图像 / 三维建模 / 一种基于空间目标图像数据库的非合作目标图像盲复原方法

一种基于空间目标图像数据库的非合作目标图像盲复原方法

阅读:737发布:2023-03-01

专利汇可以提供一种基于空间目标图像数据库的非合作目标图像盲复原方法专利检索,专利查询,专利分析的服务。并且本 发明 涉及 图像处理 领域,一种基于空间目标图像 数据库 的非合作目标图像盲复原方法,利用已有的空间目标高 分辨率 图像建立数据库,以数据库内目标图像结构特点构建海量的无监督匹配模板,借助神经网络通过 无 监督学习 对退化的非合作目标图像进行复原。本发明可广泛应用于卫星、火箭、空间碎片等空间目标的图像复原。,下面是一种基于空间目标图像数据库的非合作目标图像盲复原方法专利的具体信息内容。

1.一种基于空间目标图像数据库的非合作目标图像盲复原方法,其特征在于按照如下步骤进行:
步骤一:空间目标建模,根据已有的设计资料和基本参数信息,用三维建模软件对多种不同类型的空间目标进行3D建模,生成具有特征结构的3D模型;
步骤二:构建空间目标图像数据库,根据空间目标的光电系统特征、需要观测的目标轨道信息特征,在步骤一中建好的3D模型基础上模拟空间目标的工作运行状态,通过对空间目标的方式来调整姿态,得到多种不同姿态的模型,将不同姿态的模型导入到三维动画渲染软件,在模型旋转的同时进行渲染,制作出2K像元*2K像元以上高分辨率空间目标图像数据,结合获取的不同姿态的实测高分辨率空间目标清晰图像构成图像数据库,并根据实际观测情况对数据库内图像数据进行数据增强处理,将图像数据库中的清晰的图像作为参考图像,记为数据集A,将实测的空间目标模糊图像作为待复原图像,记为数据集B;
步骤三:模式匹配,对参考图像和待复原图像进行相似性度量,计算数据集A与数据集B中图像对的距离,即对两张图像之间的内容相似程度进行打分,根据度量结果,从A中筛选出与B中待复原图像内容相似的参考图像,并从A中剩余参考图像中随机抽取少量空间目标图像,组成新的参考图像数据集A’;
步骤四:将新的参考图像数据集A’和数据集B统一缩放到大小相同的规格,将缩放后的参考图像数据集A’和数据集B送入能够实现图像概率分布特征映射的深度神经网络中进行无监督训练,实现对退化的空间目标图像进行复原。
2.根据权利要求1所述的一种基于空间目标图像数据库的非合作目标图像盲复原方法,其特征在于:步骤二中所述图像数据库是指根据以往空间目标数据建立的不同种类、不同姿态或处于不同的空间位置的空间目标图像。
3.根据权利要求1所述的一种基于空间目标图像数据库的非合作目标图像盲复原方法,其特征在于:步骤三中所述的相似性度量,包括L2/PSNR,SSIM,FSIM传统相似性度量方法以及将深度特征作为感知指标的感知度量方法。
4.根据权利要求1所述的一种基于空间目标图像数据库的非合作目标图像盲复原方法,其特征在于:步骤四中所述的深度神经网络,包括CycleGAN在内的可以实现图像特征变换的机器学习模型,包括但不限于神经网络及各类深度学习模型变体。

说明书全文

一种基于空间目标图像数据库的非合作目标图像盲复原方法

技术领域

[0001] 本发明涉及图像处理领域,天文领域,军事领域,特别涉及将深度学习计算机视觉应用扩展到天文图像的应用。

背景技术

[0002] 对空间非合作目标的观测,为空间非合作目标的抓捕、在轨服务、空间垃圾清除以及一些军事任务提供了基础,具有重要的军民两用价值。但是,在空间目标观测的过程中,由于观测设备的局限性(图像会受到由大气湍流引起波前误差和抖动,以及由重和热变化产生的光学畸变等因素的影响)和空间目标的高速移动特性,空间目标在成像过程中难以避免的会发生图像退化效应。为了得到清晰的目标图像,就需要运用有效快速的复原方法对退化图像进行复原。

发明内容

[0003] 本发明所要解决的技术问题是:如何根据已有的空间目标知识实现对未知的非合作目标图像进行复原。
[0004] 本发明所采用的技术方案是:一种基于空间目标图像数据库的非合作目标图像盲复原方法,按照如下步骤进行:
步骤一:空间目标建模,根据已有的设计资料和基本参数信息(例如常见的空间目标构型、空间目标整体尺寸大小及各个结构尺寸大小),用三维建模软件(包括但不限于SOLIDWORKS)对多种不同类型的空间目标(例如卫星、火箭或其他空间碎片)进行3D建模,生成具有特征结构的3D模型(例如具有太阳能电池板的人造卫星、具有镜头和天线的勘测卫星等);
步骤二:构建空间目标图像数据库,根据空间目标的光电系统特征、需要观测的目标轨道信息特征,在步骤一中建好的3D模型基础上模拟空间目标的工作运行状态,通过对空间目标的方式(镜头开合、天线开合、电池板开合等方式)来调整姿态,得到多种(可能存在的所有姿态一般在几十种以上)不同姿态的模型,将不同姿态的模型导入到三维动画渲染软件,在模型旋转的同时进行渲染,制作出2K像元*2K像元以上高分辨率空间目标图像数据,结合获取的不同姿态的实测高分辨率空间目标清晰图像(例如对图像进行旋转、翻转等,得到不同空间目标在不同工作运行状态下的清晰图像)构成图像数据库,根据实际观测情况对数据库内图像数据进行数据增强处理,将图像数据库中的清晰的图像作为参考图像,记为数据集A,将实测的空间目标模糊图像作为待复原图像,记为数据集B;
步骤三:模式匹配,对参考图像(数据集A)和待复原图像(数据集B)进行相似性度量,计算数据集A与B中图像对的距离,即对两张图像之间的内容相似程度进行打分,度量方法可以根据需求来选取,包括L2/PSNR,SSIM,FSIM等传统相似性度量方法以及将深度特征作为感知指标的感知度量方法,根据度量结果,从A中筛选出与B中待复原图像内容相似的参考图像,并从A中剩余参考图像中随机抽取少量空间目标图像,组成新的参考图像数据集A’;
步骤四:将新的参考图像数据集A’和数据集B统一缩放到大小相同的规格,将缩放后的参考图像数据集A’和数据集B送入能够实现图像概率分布特征映射的深度神经网络(如CycleGAN网络)中进行无监督训练,实现对退化的空间目标图像进行复原。
[0005] 作为一种优选方式:步骤二中所述实测高分辨率空间目标清晰图像是指在良好外界环境下、使用自适应光学成像技术去除大气湍流及抖动影响后的空间目标图像或空基侦察卫星直接获取的非合作空间目标图像。
[0006] 本方法不仅可以对单的空间目标图像进行盲复原,也可以对多帧图像以及视频进行盲复原。
[0007] 本发明的有益效果是:本发明首先构建了一个空间目标图像数据库,根据数据库中空间目标图像结构特征相似性,借助神经网络的特征提取能力,通过监督学习实现对退化的非合作目标图像进行复原。不必对实际观测的空间目标进行事先成像或者形态估计,就可以实现高质量的图像盲复原。附图说明
[0008] 图1是.复原效果图(从左到右依次为理论上的清晰图像、模糊图像、复原后图像)。

具体实施方式

[0009] 本实施例我们将在下面通过构建一种基于空间目标图像数据库的非合作目标图像盲复原方法进行详细的说明。本实施例包含如下的步骤:实验数据:通过三维建模软件SOLIDWORKS对十几种不同的空间目标进行建模,在3D模型基础上根据4m地基望远镜(波段500nm,像元分辨率0.003arcsec)的观测能力,通过对空间目标的镜头开合、天线开合、电池板开合、整体旋转、数据增强等操作,做出几百张高分辨率空间目标图像数据作为原始数据(标准图像),图像大小为2100像元*2100像元。
[0010] 从实测的空间目标模糊图像数据中挑选十几张连续获取的相同目标的模糊图像,作为待复原的图像,记为数据集B;高分辨率空间目标图像作为参考图像,记为数据集A。
[0011] 模式匹配。对参考图像(数据集A)和待复原图像(数据集B)进行相似性度量,计算数据集A与B中图像对的距离。根据需求,选取所需的阈值。将距离小于(或等于)某一阈值的图像对所对应的参考图像筛选出来(占比90%),并从剩余参考图像中随机抽取一批图像(占比10%),组成新的参考图像数据集A’。其中所用到的度量方法为感知度量方法Learned Perceptual Image Patch Similarity (LPIPS) metric,在文章Zhang,R.,Isola,P.,Efros, A.A., Shechtman, E., Wang, O.: The unreasonable effectiveness of deep networks as a perceptual metric. In: CVPR (2018)中有详细度量原理介绍。
[0012] 将经过筛选的每张清晰图像(数据集A’)和模拟得到的模糊图像(数据集B)插值到分辨率相近大小,插值方式采用最近邻插值(INTER_NN)。将插值后的清晰图像与模糊图像送入CycleGAN网络中进行训练,batchsize设为1。复原效果如图1所示。
[0013] 注:数据集A包括实测高分辨率空间目标清晰图像与高分辨率空间目标模拟图像两部分。本具体实施方式中,数据集A采用的是高分辨率空间目标模拟图像。
相关专利内容
标题 发布/更新时间 阅读量
三维对象建模 2020-05-11 895
一种三维建模方法 2020-05-12 463
三维建模方法及装置 2020-05-13 122
三维建模对象的压缩 2020-05-13 242
三维建模方法及系统 2020-05-12 387
一种三维视觉建模平台 2020-05-11 497
一种智能三维建模系统 2020-05-11 623
一种三维建模系统 2020-05-11 591
三维建模卡尺 2020-05-11 275
一种三维建模扫描箱 2020-05-11 621
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈