一种基于SIFT特征的分布式图像和图元拼接方法专利检索-统计变换视听技术与设备专利检索查询-专利查询网

一种基于SIFT特征的分布式图像和图元拼接方法

阅读：915发布：2020-05-08

专利汇可以提供一种基于SIFT特征的分布式图像和图元拼接方法专利检索，专利查询，专利分析的服务。并且一种基于SIFT特征的分布式图像和图元拼接方法，通过建立分布式异构并行系统，划分主计算节点和子计算节点；利用获取待拼接的图像样本，进行图像预处理，将预处理后的图像样本上传到主计算节点作为全局图像库；初始化各子计算节点本地图像库和图元cell库；各子计算节点利用SIFT 算法预先提取本地图像库中所有图像的特征点，并将计算出的高维特征向量保存到对应数据结构中，同时标记本地图像库中图像为待拼接状态；各子计算节点本地拼接循环；全局图元融合更新广播；主计算节点任务流程控制。本拼接方法针对海量图像从特征提取、匹配等层面对拼接计算复杂度进行优化改进，应用场景运算流程中的并行性进行算法设计优化和模块功能实现。，下面是一种基于SIFT特征的分布式图像和图元拼接方法专利的具体信息内容。

权利要求

1.一种基于SIFT特征的分布式图像和图元拼接方法，其特征在于：包括以下步骤：
1)计算环境及数据准备
1-1)建立可用的分布式异构并行软硬件系统，并明确划分主计算节点master、子计算节点noder；
1-2)获取待拼接的海量图像样本素材；
1-3)进行图像预处理，即进行图像去噪、灰度均衡变换，使得所获取的图像样本素材光照亮度一致、图像特征清晰明显；
1-4)将上述预处理后的所有图像样本素材上传到主计算节点master，并作为全局图像库；
2)分布式异构并行算法模块初始化
2-1)初始化各子计算节点noder本地图像库：主计算节点mater将全局图像库中图像样本素材均匀分发到各子计算节点noder作为本地图像库，不同的子计算节点noder分配到属于自己的任务数据集，并保证负载均衡；
2-2)初始化图元cell库：主计算节点master从上传的图像样本素材集合中随机选取一张，构建初始图元库，并根据预先设定的图元尺度常量将该图在图元cell参考系中进行拆分处理，对拆分的各个图元生成坐标编号[xIndex，yIndex]，保存在主计算节点master的全局图元库中，然后主计算节点master将该初始图元cell库广播给子计算节点noder作为本地图元库；
2-3)各子计算节点noder利用SIFT算法预先提取本地图像库中所有图像的特征点，并将计算出的高维特征向量信息保存到对应数据结构中，同时标记本地图像库中所有图像为待拼接状态；
3)分布式异构并行算法负载计算
3-1)子计算节点noder本地拼接循环；
3-2)全局图元融合更新、广播；
3-3)主计算节点master任务流程控制。
2.根据权利要求1所述的一种基于SIFT特征的分布式图像和图元拼接方法，其特征在于：所述步骤3-1)的具体流程步骤如下：
3-1-1)各子计算节点更新本地图元cell库数据，利用SIFT算法提取所有图元的特征点信息及计算高维特征向量；
3-1-2)从本地图像库中选取一张处于待拼接状态的图像，将其与图元cell库中所有图元进行特征点匹配尝试；
3-1-3)若均不满足SIFT特征点匹配的欧氏距离小于设定阈值的拼接匹配要求，则转向下一张待拼接图像做同样处理；
3-1-4)从满足匹配要求的结果中找出最佳匹配图元，其中最佳匹配图元的方法是计算图像和图元匹配对的高维特征向量欧氏距离，再由低到高排序，统计各自匹配对中小于一定距离阈值的特征点点对，然后选取其中点对数量最多的情形作为最佳匹配；
3-1-5)利用RANSAC随机抽样一致性算法对3-1-4)步骤中筛选出的特征匹配点对作进一步的精细筛选，从而计算得到所选图像投影映射到该最佳匹配图元空间的精确坐标变换矩阵；
3-1-6)根据坐标变换矩阵完成图像和图元拼接，将结果基于最佳图元的位置在图元cell 坐标系中进行拆分处理，生成对应的图元坐标编号[xIndex，yIndex]，回到步骤3-1-
1)。
3.根据权利要求1所述的一种基于SIFT特征的分布式图像和图元拼接方法，其特征在于：所述步骤3-2)的具体流程步骤如下：
3-2-1)各子计算节点noder循环迭代，直到本节点上的图元cell库没有新的图元生成为止(等效于本地不再有新的拼接成功事件发生)；
3-2-2)若节点本地图像库中处于待拼接状态的图像数量减少，说明该节点对全局图元cell库更新有贡献，则将节点本地图元cell库发送回主计算节点master，然后等待其传来的更新消息；
3-2-3)若节点本地图像库中处于待拼接状态的图像数量保持不变，说明该节点对全局图元cell库更新无贡献，则发回特殊空事件消息，减少不必要的节点通信，同样等待主计算节点master传来的更新消息。
4.根据权利要求1所述的一种基于SIFT特征的分布式图像和图元拼接方法，其特征在于：所述步骤3-3)的具体流程步骤如下：
3-3-1)主计算节点master在完成全局图像库的分发和全局图元cell库的广播操作后，等待并接收各子计算节点传来的消息，统计各子计算节点noder上的分布式图像和图元拼接状态；
3-3-2)只要存在子计算节点noder发回非空事件消息，则将其发回的节点本地图元cell库融合进全局图元cell库，并将最终经融合处理后的结果再次广播，使各子计算节点noder进入下一轮次的拼接迭代；
3-3-3)若所有子计算节点noder均发回空事件消息，则表明分布式图像和图元拼接任务已结束，主节点master广播拼接结束消息，并将全局图元cell库中的所有图元依据其对应图元cell坐标系的坐标合成一张大图作为最终的结果输出；
3-3-4)各子计算节点noder收到拼接结束广播消息后，释放本节点申请的相关资源并退出。
5.根据权利要求2所述的一种基于SIFT特征的分布式图像和图元拼接方法，其特征在于：所述步骤3-1-4)的具体流程步骤如下：
先设置一最大欧氏距离阈值maxThreshold(80.0)和点对上限数量阈值
maxMatchNumThreshold(500)，同时设置一浮动系数index，其初始值为0.01；将浮动系数index与匹配对中最大距离值max_distance的乘积作为临时距离阈值tempThreshold，临时距离阈值不超过最大欧氏距离阈值，计算匹配对中欧氏距离小于最大欧氏距离阈值的点对数量，该点对数量小于点对上限数量阈值，则将浮动系数index值增加0.01，然后再重复循环上述过程100次；若临时距离阈值超过最大欧氏距离阈值或者小于临时距离阈值的点对数量超过点对上限数量阈值，则终止迭代，并将此时的临时距离阈值作为最终筛选过滤的欧氏距离阈值，剔除所有高于此欧氏距离阈值的特征匹配点对。

说明书全文

一种基于SIFT特征的分布式图像和图元拼接方法

技术领域

[0001] 本发明属于计算机图像处理技术领域，具体涉及到针对海量图像拼接应用场景，提出了一种基于SIFT特征的分布式图像和图元拼接方法。

背景技术

[0002] 图像拼接技术一直以来就是计算机图像处理领域中的热点研究对象，对其最直观的形象描述就是一种将一组具有重叠区域的图像拼接成一幅分辨率更高、可视角更宽的全景图的技术，最初始于卫星遥感、地图数据库等领域中数据处理需求。随着信息技术、计算机、微电子技术的快速进步，更多的行业领域例如医学研究、机器人研发、军事侦察航拍等对图像拼接技术的需求也越来越高，尤其是现在智能手机、数码相机、无人机、VR 虚拟现实等设备的普及，使得获得高清图像的技术门槛、成本越来越低。但是由于拍摄设备受到设备成像光学原理、分辨率等性能参数的限制，单张图片的视野范围仍然受到限制，因此人们期望将多次拍摄得到的海量图像素材进行拼接而得到类似的全景图。

[0003] 目前，广泛采用基于特征匹配的图像拼接方法，David Lowe提出的基于尺度不变特征转换(Scale-invaiant feature transform)SIFT特征匹配方法对图像拼接业界产生了革命性的影响，其后出现了各种借鉴其原理的改进、变种算法如SURF、ORB、BRISK等，各有其优缺点。SIFT特征匹配方法对图像的平移、旋转、缩放、仿射变换具有较强的鲁棒性，但是原理较为复杂，特征点的提取、特征描述子的生成以及匹配中高维向量欧氏距离的计算量负荷较大，这限制了其时效性，尤其在针对海量图像拼接的应用场景下，其低效弊端更是明显。

[0004] 针对基于SIFT方法海量图像拼接任务，人们很自然地提出了分布式并行机制，尤其在无人机航拍领域大量采用这种性能改善方法。但是，这些方法的实施往往有一定的限制，例如在图像拼接的并行化处理前，需要提前知道图片的拼接先后顺序。这种额外的“序列性”先验信息对获取图像素材的前期处理要求较为苛刻，而且也限制了相关并行解决方案的可扩展性。

发明内容

[0005] 本发明要解决的技术问题是一种基于SIFT特征的分布式图像和图元拼接方法，该拼接方法旨在引入GPU异构并行机制，对传统SIFT特征匹配中特征提取、特征向量生成、高维特征向量欧氏距离计算作进一步加速处理。

[0006] 为了解决上述技术问题，本发明通过以下方式来实现：

[0007] 一种基于SIFT特征的分布式图像和图元拼接方法，具体包括以下步骤：

[0008] 1)计算环境及数据准备

[0009] 1-1)建立可用的分布式异构并行软硬件系统，并明确划分主计算节点master、子计算节点noder；

[0010] 1-2)获取待拼接的海量图像样本素材；

[0011] 1-3)进行图像预处理，即进行图像去噪、灰度均衡变换，使得所获取的图像样本素材光照亮度一致、图像特征清晰明显；

[0012] 1-4)将上述预处理后的所有图像样本素材上传到主计算节点master，并作为全局图像库；

[0013] 2)分布式异构并行算法模块初始化

[0014] 2-1)初始化各子计算节点noder本地图像库：主计算节点mater将全局图像库中图像样本素材均匀分发到各子计算节点noder作为本地图像库，不同的子计算节点noder分配到属于自己的任务数据集，并保证负载均衡；

[0015] 2-2)初始化图元cell库：主计算节点master从上传的图像样本素材集合中随机选取一张，构建初始图元库，并根据预先设定的图元尺度常量将该图在图元cell参考系中进行拆分处理，对拆分的各个图元生成坐标编号[xIndex，yIndex]，保存在主计算节点master的全局图元库中，然后主计算节点master将该初始图元cell库广播给子计算节点noder作为本地图元库；

[0016] 2-3)各子计算节点noder利用SIFT算法预先提取本地图像库中所有图像的特征点，并将计算出的高维特征向量信息保存到对应数据结构中，同时标记本地图像库中所有图像为待拼接状态；

[0017] 3)分布式异构并行算法负载计算

[0018] 3-1)子计算节点noder本地拼接循环；

[0019] 3-2)全局图元融合更新、广播；

[0020] 3-3)主计算节点master任务流程控制。

[0021] 与现有技术相比，本发明具有的有益效果：

[0022] 第一、本专利中的分布式算法针对海量的图像拼接场景，其所需的图像来源于视野范围的拍摄素材，并不要求图像间按次序拼接，即没有对图像素材按序排列命名等限制要求，甚至不要求必须是同一时间批次所拍摄的图像，分布式拼接算法中设定的主计算节点master会将所有图像素材随机、均等分发到各子计算节点noder，并且所用来建立初始图元库的图像素材也是随机选取的。

[0023] 第二、各子计算节点noder上的本地拼接循环中，采用了一种自动轮询机制，即将本地图像库中所有未置标记的待拼图像与全局、本地动态扩展的图元库进行拼接尝试，整个处理流程中不需要人为介入操作，由算法本身对图像间的特征匹配计算控制的。

[0024] 第三、针对SIFT方法中相关特征描述提取、特征点对匹配等计算密集型操作，各子计算节点noder可配置GPU 图形加速器，利用CUDA异构并行编程方法做进一步加速处理，使得分布式算法解决方案具有性能动态调优的易扩展属性。附图说明

[0025] 图1为本发明分布式异构并行算法模块初始化流程示意图。

[0026] 图2为本发明子计算节点noder本地拼接循环流程示意图。

[0027] 图3为本发明全局图元融合更新、广播流程示意图。

具体实施方式

[0028] 下面结合附图和具体实例对本发明的具体实施方式作进一步详细的说明。

[0029] 一种基于SIFT特征的分布式图像和图元拼接方法，具体包括以下步骤：

[0030] 1)计算环境及数据准备

[0031] 1-1)建立可用的分布式异构并行软硬件系统，并明确划分主计算节点master、子计算节点noder；

[0032] 1-2)获取待拼接的海量图像样本素材；

[0033] 1-3)进行图像预处理，即进行图像去噪、灰度均衡变换，使得所获取的图像样本素材光照亮度一致、图像特征清晰明显；

[0034] 1-4)将上述预处理后的所有图像样本素材上传到主计算节点master，并作为全局图像库；

[0035] 2)分布式异构并行算法模块初始化，如图1所示，

[0036] 2-1)初始化各子计算节点noder本地图像库：主计算节点mater将全局图像库中图像样本素材均匀分发到各子计算节点noder作为本地图像库，不同的子计算节点noder分配到属于自己的任务数据集，并保证负载均衡；

[0037] 2-2)初始化图元cell库：主计算节点master从上传的图像样本素材集合中随机选取一张，构建初始图元库，并根据预先设定的图元尺度常量将该图在图元cell参考系中进行拆分处理，对拆分的各个图元生成坐标编号[xIndex，yIndex]，保存在主计算节点master的全局图元库中，然后主计算节点master将该初始图元cell库广播给子计算节点noder作为本地图元库；

[0038] 2-3)各子计算节点noder利用SIFT算法预先提取本地图像库中所有图像的特征点，并将计算出的高维特征向量信息保存到对应数据结构中，同时标记本地图像库中所有图像为待拼接状态；

[0039] 3)分布式异构并行算法负载计算

[0040] 3-1)子计算节点noder本地拼接循环；如图2所示

[0041] 3-1-1)各子计算节点更新本地图元cell库数据，利用SIFT算法提取所有图元的特征点信息及计算高维特征向量；

[0042] 3-1-2)从本地图像库中选取一张处于待拼接状态的图像，将其与图元cell库中所有图元进行特征点匹配尝试；

[0043] 3-1-3)若均不满足SIFT特征点匹配的欧氏距离小于设定阈值的拼接匹配要求，则转向下一张待拼接图像做同样处理；

[0044] 3-1-4)从满足匹配要求的结果中找出最佳匹配图元，其中最佳匹配图元的方法是计算图像和图元匹配对的高维特征向量欧氏距离，再由低到高排序，统计各自匹配对中小于一定距离阈值的特征点点对，然后选取其中点对数量最多的情形作为最佳匹配；

[0045] 对特征点点对进行筛选过滤，具体步骤为先设置一最大欧氏距离阈值maxThreshold(80.0)和点对上限数量阈值maxMatchNumThreshold(500)，同时设置一浮动系数index，其初始值为0.01；将浮动系数index与匹配对中最大距离值max_distance的乘积作为临时距离阈值tempThreshold，临时距离阈值不超过最大欧氏距离阈值，计算匹配对中欧氏距离小于最大欧氏距离阈值的点对数量，该点对数量小于点对上限数量阈值，则将浮动系数index值增加0.01，然后再重复循环上述过程100次；若临时距离阈值超过最大欧氏距离阈值或者小于临时距离阈值的点对数量超过点对上限数量阈值，则终止迭代，并将此时的临时距离阈值作为最终筛选过滤的欧氏距离阈值，剔除所有高于此欧氏距离阈值的特征匹配点对。

[0046] 3-1-5)利用RANSAC随机抽样一致性算法对3-1-4)步骤中筛选出的特征匹配点对作进一步的精细筛选，从而计算得到所选图像投影映射到该最佳匹配图元空间的精确坐标变换矩阵；

[0047] 3-1-6)根据坐标变换矩阵完成图像和图元拼接，将结果基于最佳图元的位置在图元cell 坐标系中进行拆分处理，生成对应的图元坐标编号[xIndex，yIndex]，回到步骤3-1-1)。

[0048] 在步骤3-1-6)拆分出的所有新图元编号如果与原有的图元编号相同，则必须进行融合处理，避免本地图元cell库数据冗余及后续的重复计算。本专利通过使用掩模mask方式标记图像中有效像素区域，图元融合规则为：具有相同编号的两个图元cell，各自对应的掩模mask在相同像素位置处均标记为0的区域表示无效像素(值设为0)，mask均标记为255的区域表示有重叠，利用线性平均融合方法做融合处理，其他情况则直接使用mask标记为255的有效像素，形成最终的融合图元，并同时根据最终像素有效性更新计算融合后图元的掩模mask。

[0049] 3-2)全局图元融合更新、广播；如图3所示

[0050] 3-2-1)各子计算节点noder循环迭代，直到本节点上的图元cell库没有新的图元生成为止(等效于本地不再有新的拼接成功事件发生)；

[0051] 3-2-2)若节点本地图像库中处于待拼接状态的图像数量减少，说明该节点对全局图元cell库更新有贡献，则将节点本地图元cell库发送回主计算节点master，然后等待其传来的更新消息；

[0052] 3-2-3)若节点本地图像库中处于待拼接状态的图像数量保持不变，说明该节点对全局图元cell库更新无贡献，则发回特殊空事件消息，减少不必要的节点通信，同样等待主计算节点master传来的更新消息。

[0053] 3-3)主计算节点master任务流程控制

[0054] 3-3-1)主计算节点master在完成全局图像库的分发和全局图元cell库的广播操作后，等待并接收各子计算节点传来的消息，统计各子计算节点noder上的分布式图像和图元拼接状态；

[0055] 3-3-2)只要存在子计算节点noder发回非空事件消息，则将其发回的节点本地图元cell库融合进全局图元cell库，并将最终经融合处理后的结果再次广播，使各子计算节点noder进入下一轮次的拼接迭代；

[0056] 3-3-3)若所有子计算节点noder均发回空事件消息，则表明分布式图像和图元拼接任务已结束，主节点master广播拼接结束消息，并将全局图元cell库中的所有图元依据其对应图元cell坐标系的坐标合成一张大图作为最终的结果输出；

[0057] 3-3-4)各子计算节点noder收到拼接结束广播消息后，释放本节点申请的相关资源并退出。

[0058] 相关SIFT特征点提取操作中建立尺度空间包括高斯金字塔、Dog金字塔、尺度空间极值检测、极值点精确定位等步骤采用成熟的OpenCV开源库实现。

[0059] 针对步骤3-1-4)中计算高维特征向量的欧氏距离，采用GPU加速机制，具体实施方案为NVIDIA公司发布的CUDA编程开发规范。

[0060] 以上所述仅是本发明的实施方式，再次声明，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进，这些改进也列入本发明权利要求的保护范围内。

标题	发布/更新时间	阅读量
一种基于时频域统计特征的电机轴承故障诊断方法	2020-05-08	907
一种连续窄脉冲的脉宽测量方法及系统	2020-05-08	252
麦克风阵列性能评测方法、装置、设备和介质	2020-05-11	462
一种基于刺激信号诱发脑电波的信息传输方法	2020-05-11	829
基于热红外成像图片的影院在线人数统计方法	2020-05-08	262
一种基于功率熵谱-随机森林的航空发动机滚动轴承故障诊断方法	2020-05-08	288
保持锐利特征的三维重建方法及系统	2020-05-08	713
一种基于基因谱的乳腺癌淋巴结转移预测方法及预测系统	2020-05-08	378
白质高信号定位方法、装置、设备和存储介质	2020-05-08	460
一种基于小波变换的轨迹数据中时间相关性隐私保护方法	2020-05-08	591

一种基于SIFT特征的分布式图像和图元拼接方法

一种基于SIFT特征的分布式图像和图元拼接方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：