一种基于FPGA的机载吊舱实时图像场景锁定装置及方法
专利汇可以提供一种基于FPGA的机载吊舱实时图像场景锁定装置及方法专利检索，专利查询，专利分析的服务。并且一种基于FPGA的机载吊舱实时图像场景 锁 定装置及方法，针对机载吊舱视频中地面场景特征点的相对连续特点，利用FPGA实时并行处理能 力 强的优点，对相邻两场间特征点进行匹配，计算出放射变换矩阵从而估计场景的运动，结合伺服控制和图像 电子 校准 算法 对图像抖动、漂移进行补偿，解决了现有装置及方法的不足，从而实现机载吊舱在飞行过程中对某一感兴趣的地面场景进行连续、稳定的侦察和监视，对机载吊舱的空中侦察打击效果的提升具有重要意义。，下面是一种基于FPGA的机载吊舱实时图像场景锁定装置及方法专利的具体信息内容。
1.一种基于FPGA的机载吊舱实时图像场景锁定装置，其特征是：包括FPGA、输入均衡器、输出均衡器、DDR3SDRAM存储芯片、伺服控制系统；所述FPGA通过编程内部设置有SDI解码器、YCbCr信号采集模块、图像预处理模块、特征点提取与配准模块、运动估计模块、DDR3缓存控制模块、SDI编码器；所述输入均衡器、SDI解码器、YCbCr信号采集模块、图像预处理模块、特征点提取与配准模块、运动估计模块、DDR3缓存控制模块、SDI编码器、输出均衡器顺序电性连接；所述YCbCr信号采集模块、DDR3缓存控制模块、DDR3SDRAM存储芯片之间电性连接；所述运动估计模块、伺服控制系统之间电性连接。
2.根据权利要求1所述的基于FPGA的机载吊舱实时图像场景锁定装置，其特征是：所述特征点提取与配准模块包括Harris特征点计算模块、三通道信号分离模块、特征点提取匹配模块、信号整合模块；所述Harris特征点计算模块、三通道信号分离模块、特征点提取匹配模块、信号整合模块顺序电性连接。
3.根据权利要求2所述的基于FPGA的机载吊舱实时图像场景锁定装置，其特征是：所述特征点提取匹配模块共设置有三个，包括特征点提取匹配模块一、特征点提取匹配模块二、特征点提取匹配模块三；三个特征点提取匹配模块为并行设置。
4.根据权利要求2所述的基于FPGA的机载吊舱实时图像场景锁定装置，其特征是：所述特征点提取匹配模块一包括特征点提取模块一、特征点缓冲器一、匹配器一，特征点提取模块一、特征点缓冲器一、匹配器一顺序电性连接；所述特征点提取匹配模块二包括特征点提取模块二、特征点缓冲器二、匹配器二，特征点提取模块二、特征点缓冲器二、匹配器二顺序电性连接；所述特征点提取匹配模块三包括特征点提取模块三、特征点缓冲器三、匹配器三，特征点提取模块三、特征点缓冲器三、匹配器三顺序电性连接。
5.一种基于权利要求1的基于FPGA的机载吊舱实时图像场景锁定装置的运行方法，其过程为：
S1，视频信号输入：外部设备输入的HD-SDI视频信号经输入均衡器输入SDI解码器，解析出原始图像信号rxdata、时钟rx_pclk信号传递给YCbCr信号采集模块；YCbCr信号采集模块从rxdata、时钟rx_pclk信号中分离出亮度信号ImgY、同步信号Sync、时钟信号clk传递给后端的图像预处理模块；同时YCbCr信号采集模块将原始图像信号rxdata、同步信号Sync、时钟信号clk通过DDR3缓存模块传输到DDR3SDRAM存储芯片进行当前帧图像的缓存。
S2，视频信号预处理：图像预处理模块对图像进行模板大小为5×5的平滑滤波滤除噪声，然后将平滑滤波后图像ImgY_p及同步信号Sync_p、时钟信号clk传递到特征点提取与配准模块；其中平滑滤波计算公式为：
S3，计算特征点响应函数R：特征点提取与配准模块中的Harris特征点计算模块对平滑滤波后图像ImgY_p进行特征点响应函数R计算，Harris特征点计算模块是基于Harris算子改进而来的；特征点响应函数R的计算公式为：
R＝det(N)-kxtrace(N)2
其中符号“·”代表矩阵的点乘运算，符号 代表矩阵的卷积运算；Ix和Iy分别为图像ImgY在列和行方向上的灰度梯度，k为经验常数；计算后得到R值及对应坐标Coor、时钟信号clk传递至三通道信号分离模块。
S4，三通道信号分离：三通道信号分离模块中设置有行计数器counter_v和列计数器counter_h，行计数器counter_v和列计数器counter_h将输入图像坐标(1920×1080)分为九个区域，九个区域的编号为part1、part2、、、、、part9，每个区域大小为640×360；将part1，part4，part7依次由端口一输出，特征点响应信号为R1，对应的特征点坐标为Coor_
1；part2，part5，part8依次由端口二输出，特征点响应信号为R2，对应的特征点坐标为Coor_2；part3，part6，part9依次由端口三输出，特征点响应信号为R3，对应的特征点坐标为Coor_3；三个端口依次对应特征点提取匹配模块一、特征点提取匹配模块二、特征点提取匹配模块三。
S5，特征点提取：进入三个特征点提取匹配模块后的信号处理过程完全相同，以下仅以特征点提取匹配模块一的信号处理过程加以说明；进入特征点提取匹配模块一的特征点响应信号R1以5×5模板对part1，part4，part7进行筛选，筛选出5×5模板范围内特征点响应信号R1最大值R1’进行排序；排序方法采用“冒泡法”；最后将排序前16个特征点响应信号最大值R1’对应的特征点坐标Coor_1’输入到特征点缓冲器一和匹配器一；对于第一帧图像，输入到特征点缓冲器一的特征点响应信号最大值R1’全部置0。
S6，特征点匹配：匹配器一从缓冲器一读入16个前一帧的特征点坐标Coor_1’，与当前帧特征点坐标Coor_1进行特征匹配；利用两个向量空间的仿射变换特性寻找匹配特征点对。
S7，特征点整合缓存：
信号整合模块将三个特征点提取匹配模块输出的共九个区域的特征点进行整合缓存，形成18个特征点对Coor_matchi＝(i＝1，2，...18)，等待运动估计模块读取。
S8，运动估计参数计算：运动估计模块根据从信号整合模块提取的特征点对Coor_matchi(i＝1，2...18)，计算出当前帧的运动估计参数Img_shiftn；运动估计参数Img_shiftn传递至DDR3缓存控制模块和伺服控制系统。
S9，图像偏移：
DDR3缓存模块根据接收到的运动估计参数Img_shiftn，对当前帧进行图像偏移处理，处理后图像的txdata和时钟tx_pclk信号传递至SDI编码器。
S10，图像输出：
SDI编码器将接收到的图像txdata和时钟tx_pclk重新转换为HD SDI信号，最终通过输出均衡器将信号送出。
6.根据权利要求5所述的一种基于FPGA的机载吊舱实时图像场景锁定装置的运行方法，其特征点匹配的计算过程为：
S601：计算特征点距离：相邻两帧特征点距离计算公式为：
其中：InL(i，j)为当前帧特征点距离，Cxi为当前帧计算距离的两个特征点的起点X轴坐标，Cxj为当前帧计算距离的两个特征点的终点X轴坐标；Cyi为当前帧计算距离的两个特征点的起点Y轴坐标，Cyj为当前帧计算距离的两个特征点的终点Y轴坐标；
其中：InL′(m，n)为前一帧特征点距离，Cx′i为前一帧计算距离的两个特征点的起点X轴坐标，Cx′j为前一帧计算距离的两个特征点的终点X轴坐标；Cy′i为前一帧计算距离的两个特征点的起点Y轴坐标，Cy′j为前一帧计算距离的两个特征点的终点Y轴坐标。
S602，计算相邻帧角度：相邻帧角度计算公式为：
S603，定义距离和角度量化函数：
其中：LEHGTH_LIMIT代表距离阈值；RADIAN_LIMIT代表角度阈值。
S604，计算距离和角度统计函数：计算公式为：
StaL(i，m)代表当前帧的特征点坐标Coor_si与前一帧的特征点坐标Coor_s′m在距离上的匹配度；StaR(i，m)，代表当前帧的特征点坐标Coor_si与前一帧的特征点坐标Coor_s′m在角度上的匹配度。
S605，计算距离和角度的相关函数：计算公式为：
MultSta(i，m)＝StaL(i，m)×StaR(i，m)
MultSta(i，m)数值越大，代表Coor_si与Coor_s′m为期望的特征点对的概率越大。
S606，计算当前帧与前一帧对应的特征点对：计算公式为：
S607，找出当前帧与前一帧两个最优的特征点对：
使用“冒泡法”对M(i)进行排序，选出最大的两个M(i)值，即为当前帧和前一帧最优的2个特征点对，并将两个最优特征点对的坐标传送给信号整合模块。
7.根据权利要求5所述的一种基于FPGA的机载吊舱实时图像场景锁定装置的运行方法，运动估计参数的计算过程如下：
S801，坐标分离：
运动估计模块首先将读取到的特征点对Coor_matchi(i＝1，2...18)进行分离，分离出当前帧的x,y坐标Cur_xi、Cur_yi(i＝1,2…18)，和前一帧的x,y坐标Pre_xi、Pre_yi(i＝1,
2…18)。
S802，筛选特征点对：
筛选出满足条件：|dif_xi-meanx|
S804，计算当前帧的运动估计参数Img_shiftn：计算公式为：
Coor_shiftn＝[meany，meanx]
运动估计模块最终将计算出的运动估计参数Img_shiftn传递至DDR3缓存模块和伺服控制系统。
一种基于FPGA的机载吊舱实时图像场景锁定装置及方法
技术领域
背景技术
发明内容
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种仿鸽子智能的无人机自主导航系统及方法 | 2020-05-23 | 4 |
| 基于小波描述子的目标跟踪方法 | 2020-08-03 | 6 |
| 用于编码交错形状信息的方法和设备 | 2022-09-03 | 3 |
| 通过事件相机利用地表的车辆定位 | 2020-05-27 | 2 |
| 参考数据载入的方法及装置 | 2021-08-27 | 5 |
| MOTION ESTIMATION APPARATUS AND CONTROL METHOD THEREOF | 2021-09-05 | 3 |
| Hierarchical motion estimating method, and ultrasonic imaging device for which the method is applied | 2021-11-06 | 1 |
| Moving image coder and control method thereof, and program | 2022-01-19 | 3 |
| Motion estimating system | 2022-10-12 | 1 |
| Method and apparatus for monitoring movement and breathing of multiple subjects in a common bed | 2020-08-11 | 2 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
