技术领域
[0001] 本
发明涉及
图像处理领域，尤其涉及一种基于图像特征信息的图像匹配方法，装置与系统。
背景技术
[0002] 在图像处理领域的实际应用中，基于特征匹配的应用非常广泛。例如，
生物医学领域，为了实现
生物组织的三维重构，需要基于生物图像的特征实现图像的对齐；
双目视觉左、右相机图像的立体匹配；在天文领域，望远镜自动实时
跟踪拍摄目标，也要做天文图像的实时匹配等。与其他的图像匹配
算法相比，基于边缘和
角点的sift匹配是区别于区域匹配的用于衡量两幅图像差异的一种十分常见和有效的方法。
[0003] 对于有些特定图像的数据，比如生物的显微结构图，基于边缘和角点的匹配还达不到理想的匹配效果，因为要想实现生物组织结构良好的三维重构，不仅需要让生物样本的外轮廓有着光滑的对齐，还需要生物组织内部也有着光滑且连续的对齐，而原来的
图像配准方法主要是基于边缘和角点的匹配，本发明中的匹配方法，待匹配的特征点不仅包含了边缘和角点，还包含了图像中的峰值点。
[0004] 鉴于此，提出本发明。
发明内容
[0005] 本发明提出一种基于图像特征信息的图像匹配方法，装置与系统，用于基于边缘和角点的图像匹配
现有技术中存在的匹配条件严苛、匹配效果不理想，适用场景局限等问题。
[0006] 为实现上述目的，根据本发明的一个方面，提供一种基于图像特征信息的图像匹配方法，并采用如下技术方案：
[0007] 所述基于图像特征信息的图像匹配方法，包括：
[0008] 对两幅灰度图像预处理得到的二值图分别进行角点检测，提取每一灰度图像的角点；对两幅二值图分别进行
边缘检测，获取每一灰度图像的边缘幅值图像和边缘角度图像，遍历每一边缘幅值图像和对应的边缘角度图像，根据邻域
位置确认每一边缘幅值图像的峰值点；分别计算两幅灰度图像中所述角点、边缘点以及峰值点的光流，基于光流场方法对两幅灰度图像进行匹配，得到图像匹配结果。
[0009] 进一步地，灰度图像预处理得到二值图，具体包括：灰度图像二值化阶段：基于二值化比较条件处理所述灰度图像，获取反映所述灰度图像特征的二进制图像；所述二值化比较条件为在
像素点灰度大于等于预设的显示
阈值时，设置所述像素点的灰度值为255，在像素点灰度小于显示阈值时，设置所述像素点的灰度值为0；全变分图像去噪阶段：最小化从所述二进制图像提取的
能量函数方程，得到全变分去噪能量泛函，并将所述全变分去噪能量泛函转换成二值图。
[0010] 进一步地，对二值图进行边缘检测，获取灰度图像的边缘幅值图像和边缘角度图像，具体包括：连通域计算阶段：遍历所述二值图进行像素邻接关系统计，得到所述二值图的一个或多个连通域；所述像素邻接关系包括4邻接和8邻接；所述连通域表示二值图中一个彼此具备所述像素邻接关系的像素点构成的集合；边缘检测阶段：基于预设的边缘检测算子将每一连通域的每一边缘点分解成
水平方向边缘和竖直方向边缘；基于定义的边缘幅度计算式和边缘角度计算式计算每一边缘点的边缘幅值和边缘角度；将计算得到的边缘幅值和边缘角度均用灰度图像表示；
边缘图像生成阶段：完成所述二值图每一连通域的边缘检测阶段后，生成所述灰度图像的边缘幅值图像和边缘角度图像。
[0011] 进一步地，边缘幅值用灰度图像表示包括：基于边缘幅度计算式进行最大灰度差处理，得到所述二值图的边缘幅值值域，所述边缘幅值值域乘以第一调整系数，得到新的边缘幅值值域为[0,255],即用8位二进制表示；边缘角度用灰度图像表示包括：基于边缘角度计算式得到所述二值图的边缘角度值域，所述边缘角度值域乘以第二调整系数，得到新的边缘角度值域为[0,255],即用8位二进制表示。
[0012] 进一步地，遍历每一边缘幅值图像和对应的边缘角度图像，根据邻域位置确认每一边缘幅值图像的峰值点,具体包括：邻域位置判断阶段：遍历所述边缘角度图像，基于边缘角度分区计算式计算每一边缘角度的量化分区，并基于所述量化分区确认对应边缘点的相邻边缘点，所述相邻边缘点包括第一相邻边缘点和第二相邻边缘点；峰值检测阶段：基于峰值点判别条件遍历所述边缘幅值图像，确认所述边缘幅值图像的峰值点；所述峰值点判别条件包括：在边缘点幅值大于第一相邻边缘点幅值，且边缘点幅值大于等于第二相邻边缘点幅值时，所述边缘点设置为峰值点，否则所述边缘点的幅值设置为0。
[0013] 进一步地，所述量化分区包括：以某一连通域的某一边缘点为中心提取所述连通域中3×3邻域，以水平向右为正向，顺
时针方向为角度增大方向；定义边缘角度在水平方向为0区，定义边缘角度在45度方向为1区，定义边缘角度在垂直方向为2区，定义边缘角度在135度方向为3区，各分区均包含三个像素点，两端像素点为中间像素点的相邻边缘点。
[0014] 进一步地，计算所述角点、边缘以及峰值点的光流，记录所述角点、边缘点以及峰值点为灰度图像特征点，具体包括：划分阶段：将灰度图像某一特征点的16×16邻域划分成多个4×4邻域；量化
叠加阶段：将每一4×4邻域的梯度量化叠加到8个方向，得到对应的光描述符；批量操作阶段：对灰度图像角点、边缘以及峰值点均执行划分阶段和量化叠加阶段，分别得到角点、边缘点以及峰值点的光流。
[0015] 进一步地，基于光流场方法对两幅灰度图像的光流进行匹配，得到图像匹配结果，具体包括：基于预设的光流场能量方程，进行两幅灰度图像角点、边缘点以及峰值点光流对应匹配；光流对应匹配后，生成角点、边缘点、峰值点与对应匹配点的匹配关系；计算角点、边缘点、峰值点与对应匹配点的相对位移，验证图像匹配结果。
[0016] 根据本发明的另外一个方面，提供一种基于图像特征信息的图像匹配装置，并采用如下技术方案：
[0017] 所述基于图像特征信息的图像匹配装置，包括：
[0018] 图像预处理模
块：用于对目标的灰度图像依次进行二值化、去噪处理，得到优化二值图；边缘提取模块：用于对所述优化二值图进行像素邻接关系统计得到的每一连通域进行边缘检测，得到每一连通域的边缘幅值图像和边缘角度图像；峰值检测模块：用于遍历所述边缘幅值图像，将每一边缘点与相邻边缘点的幅值比较，确认所述边缘幅值图像的峰值点；图像匹配模块：用于根据光流场方法对两幅灰度图像角点、边缘以及峰值点进行匹配，得到图像匹配结果。
[0019] 根据本发明的又一个方面，提供一种基于图像特征信息的图像匹配系统，并采用如下技术方案：
[0020] 所述基于图像特征信息的图像匹配系统，包括上述的基于图像特征信息的图像匹配装置。
[0021] 本发明将目标灰度图像进行二值化、全变分去噪的预处理，得到优化二值图，然后计算优化二值图的连通域并用边缘检测算子提取边缘，再进行峰值检测，得到待匹配的特征点包括角点、边缘点以及峰值点，最后对特征点做光流场匹配，计算两幅灰度图像特征点与对应匹配点的相对位移验证图像匹配结果，有效解决基于边缘和角点的图像匹配现有技术中存在的匹配条件严苛、匹配效果不理想，适用场景局限性大等问题。
附图说明
[0022] 为了更清楚地说明本
申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0023] 图1表示本发明实施例所述的基于图像特征信息的图像匹配方法总
流程图；
[0024] 图2表示本发明实施例所述的目标灰度图像；
[0025] 图3表示本发明实施例所述的灰度图像像素点的4邻接关系和8邻接关系；；
[0026] 图4表示本发明实施例所述的基于二值图提取的连通域示例图；
[0027] 图5表示本发明实施例所述的Sobel算子结构图；
[0028] 图6表示本发明实施例所述的边缘角度的8位量化值示意图；
[0029] 图7表示本发明实施例所述的灰度图像的边缘幅值图像；
[0030] 图8表示本发明实施例所述的灰度图像的边缘角度图像；
[0031] 图9表示本发明实施例所述的连通域的峰值检测基本原理图；
[0032] 图10表示本发明实施例所述的峰值检测示例图；
[0033] 图11表示本发明实施例所述的SIFT描述符生成示意图；
[0034] 图12表示本发明实施例所述的基于图像特征信息的图像匹配装置结构示意图。
具体实施方式
[0035] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0036] 图1表示本发明实施例所述的基于图像特征信息的图像匹配方法总流程图。
[0037] 参见图1所示，一种基于逐点比对分析的图纹
质量检测方法包括：
[0038] S101：对两幅灰度图像预处理得到的二值图分别进行角点检测，提取每一灰度图像的角点；
[0039] S103：对两幅二值图分别进行边缘检测，获取每一灰度图像的边缘幅值图像和边缘角度图像，遍历每一边缘幅值图像和对应的边缘角度图像，根据邻域位置确认每一边缘幅值图像的峰值点；
[0040] S105：分别计算两幅灰度图像中所述角点、边缘点以及峰值点的光流，基于光流场方法对两幅灰度图像的光流进行匹配，得到图像匹配结果。
[0041] 在步骤S101中，对两幅灰度图像预处理得到的二值图分别进行角点检测，提取每一灰度图像的角点，具体实施方案如下:
[0042] 首先，基于二值化比较条件处理所述灰度图像，获取反映所述灰度图像特征的二进制图像；
[0043] 其次，最小化从所述二进制图像提取的能量函数方程，得到全变分去噪能量泛函，并将所述全变分去噪能量泛函转换成二值图；
[0044] 最后，基于Shi-Tomasi角点检测算法对所述二值图进行角点检测，提取所述灰度图像的每一角点。
[0045] 更具体地，灰度图像如图2所示，灰度图像的二值化意味着把每个像素点的灰度值设置为0或255，也就是说，整个图像用黑白显示；
[0046] 通过适当的显示阈值调整具有256个
亮度级的灰度图像，以获得仍能反映图像整体和局部特征的二进制图像，在像素点灰度值大于或等于显示阈值时，所述像素点被确定为属于特定对象，灰度值设置为255；否则，所述像素点将从对象区域中排除，灰色值设置为0，表示背景或其他对象区域。
[0047] 然后，全变分(TV)图像去噪：全变分图像去噪方法基于变分法的思想，对二进制图像提出能量函数，通过最小化图像能量函数实现图像平滑去噪的目的。
[0048] 图像能量函数方程为：
[0049]
[0050] 对应的全变分去噪能量泛函为：
[0051]
[0052] 其中，u(x,y)表示图像在(x,y)处的灰度值,u0表示图像的平均灰度值，梯度算子：
[0053]
[0054] 本实施例通过上述方案，将图像能量函数方程左边整体转换成二进制图像中任意像素点中的局部
坐标系后，方程可以分解成边缘方向和边缘
正交的两个方向，分解后的系数控制着该方向的扩散强度。扩散方向实际上是一个非线性的
各向异性的扩散方程，其扩散算子仅沿图像梯度的正交方向扩散，扩散系数为1/|▽μ|，而朝着梯度方向无扩散。这样可以通过图像的梯度来判断边缘位置，使得边缘扩散系数最小，从而降低对边缘的模糊程度。
[0055] 在步骤S103中，对两幅二值图分别进行边缘检测，获取每一灰度图像的边缘幅值图像和边缘角度图像，遍历每一边缘幅值图像和对应的边缘角度图像，根据邻域位置确认每一边缘幅值图像的峰值点，具体实施方案如下：
[0056] 第一步：边缘检测与提取过程，对所述二值图进行像素邻接关系统计，得到所述二值图的连通域，并对每一连通域进行边缘检测，得到每一连通域的边缘幅值图像和边缘角度图像。
[0057] 更具体地，在计算二值图的连通域前，需要明确构成连通的像素邻接关系。在优化二值图里面，任意像素周围有8个邻接像素，一般而言，像素邻接关系分为2种：4邻接与8邻接。像素4邻接一共4个点，即上下左右，如图3(a)所示；像素8邻接一共有8个点，还包含对角线上的点，如图3(b)所示；
[0058] 如果像素点A与B邻接，我们称A与B连通，于是我们不加证明的有如下的结论：如果A与B连通，B与C连通，则A与C连通。在视觉上看来，彼此连通的点形成了一个区域，而不连通的点形成了不同的区域。一个所有的点彼此连通点构成的集合称为一个连通域。
[0059] 首先，基于二值图提取的连通域示例图如图4所示，如果考虑4邻接，则有3个连通区域；如果考虑8邻接，则有2个连通区域。(注：图4是被放大的效果，图像正方形实际只有4个像素)。
[0060] 其次，基于预设的边缘检测算子将每一连通域的每一边缘点分解成水平方向边缘和竖直方向边缘；基于定义的边缘幅度计算式和边缘角度计算式计算每一边缘点的边缘幅值和边缘角度；将计算得到的边缘幅值和边缘角度均用灰度图像表示。
[0061] 更具体地，Sobel算子是常用的边缘检测算子，如图5所示，实际上是一个3 X 3领域算子，连通域的每个边缘点沿x方向和沿y方向的边缘分别为：
[0062]
[0063]
[0064] 并且每个边缘点的边缘幅值和边缘角度计算式分别为：
[0065]
[0066]
[0067] 作为优化的实施方案，图6表示边缘角度示例图，其中DN值为角度的8位(bit)量化值；
[0068] 对于8位表示图像，边缘幅值有：
[0069]
[0070] 本实施例通过上述方案，基于
选定的像素邻接关系计算所述优化二值图的连通域，计算每一连通域的边缘幅值和边缘角度，边缘幅值的值域为[0，286]，因此我们对边缘幅值乘以系数0.89，便可用8位进行表示；边缘角度的值域为[0，360]，乘以系数0.708，即可进行8位表示。对灰度图像进行边缘幅值和角度计算后，可形成边缘幅值图像(如图7所示)和边缘角度图像(如图8所示)。
[0071] 第二步：峰值检测过程，遍历所述边缘角度图像确定每一边缘点的两个相邻边缘点，遍历所述边缘幅值图像，基于每一边缘点与对应相邻边缘点的幅值比较，确认所述边缘幅值图像的峰值点。
[0072] 更具体地，峰值检测基本原理如图9所示，将边缘角度量化为四个不同的区：0区(水平方向)：337.5°～22.5°或157.5°～202.5°；1区(45度方向)：22.5°～67.5°或202.5°～247.5°；2区(垂直方向)：67.5°～112.5°或247.5°～292.5°；3区(135度方向)：112.5°～
157.5°或292.5°～337.5°。
[0073] 首先，邻域配置判断：根据边缘角度图像中每一边缘角度，计算其所在分区：
[0074]
[0075] 其中0°≤θ<360°，Int{.}为取整运算符，％为取模运算符，即计算两整数相除的余数；
[0076] 更优化地，对8位表示的角度图像，计算式改为：
[0077]
[0078] 其中0≤θ<255，N即为边缘角度值所对应的分区。
[0079] 其次，峰值检测过程：当前边缘点的幅值为S，两相邻边缘点的幅值分别为S1和S2，峰值点判据为：S>S1，且S≥S2；否则幅值置为0。
[0080] 本实施例通过上述方案，边缘幅值沿(边缘)角度方向的峰值处一般对应真正的边缘，因而对其它边缘必须进行抑制，故边缘图像峰值检测也称为非极大值抑制。对不同区采用不同的邻域像素配置进行峰值检测，确定边缘角度所在分区后，灰色块即为黑色块的相邻边缘点。图10为峰值检测示例，峰值检测前，边缘宽度为5-6个像素，峰值检测后，边缘宽度仅有1到2个像素。峰值检测可对真实边缘进行较为可靠的区分。
[0081] 在步骤S105中，分别计算两幅灰度图像中所述角点、边缘点以及峰值点的光流，基于光流场方法对两幅灰度图像的光流进行匹配，得到图像匹配结果，具体实施方案如下：
[0082] 首先，SIFT描述符：SIFT描述符是一种描述局部的梯度信息的描述符。在SIFT流向量中只使用它的特征提取的部分。为了构建SIFT描述符，如图11所示，第一步将每个像素点的16×16邻域划分为4×4的部分；第二步将每个小部分里的梯度量化叠加到8个方向上，得到了一个4×4×8＝128维的一个
特征向量，这个128维向量就作为一个像素的SIFT描述符；第三步对每个像素点都进行这样的计算获得描述符，就可以获得稠密的SIFT描述符。
[0083] 其次，图像匹配：基于光流场方法对两幅灰度图像的光流进行匹配，得到图像匹配结果，具体包括：基于预设的光流场能量方程，进行两幅灰度图像角点、边缘点以及峰值点光流对应匹配；光流对应匹配后，生成角点、边缘点、峰值点与对应匹配点的匹配关系；计算角点、边缘点、峰值点与对应匹配点的相对位移，验证图像匹配结果。其中，光流场得是平滑的，并且物体边界是不连续的。
[0084] SIFT Flow能量方程定义如下：
[0085]
[0086] 其中w＝(u,v)，u(p),v(p)分别表示图像在p点处的水平位移和竖直位移，s1(p)表示第一张图在p点处的光流，(p,q)∈ε表示p,q两点在一幅图像中的一个ε领域内，第一项是数据项，它约束SIFT描述符，由它建立的匹配能够符合流向量的规则，即物体的描述符差别最小。第二项是偏移项，该项使得流向量尽可能小。第三项是平滑项，它约束使得毗邻像素的光流向量不至于偏差过大。
[0087] 本实施例通过上述方案，使用双层置信传播来优化目标函数。与一般光流不同，平滑项不是耦合的，这就使得水平光流和垂直光流在信息传播时可以分开。这样就使得消息传递算法的时间复杂度从O(L4)降低到O(L2)。水平层u与竖直层v在相同的坐标系内，数据项连接着相同位置的像素。信息传播时，首先更新u和v的层内信息，然后再更新层间信息。因为目标函数由L1范数来表示，因而可以使用距离变换函数来进一步降低时间复杂度，最后使用序列置信传播算法来取得更好的收敛性。
[0088] 本发明的第二个方面，提供一种基于图像特征信息的图像匹配装置，如图12所示，包括：
[0089] 图像预处理模块10：用于对目标的灰度图像依次进行二值化、去噪处理，得到优化二值图；边缘提取模块20：用于对所述优化二值图进行像素邻接关系统计得到的每一连通域进行边缘检测，得到每一连通域的边缘幅值图像和边缘角度图像；峰值检测模块30：用于遍历所述边缘幅值图像，将每一边缘点与相邻边缘点的幅值比较，确认所述边缘幅值图像的峰值点；图像匹配模块40：用于根据光流场方法对两幅灰度图像角点、边缘以及峰值点的光流进行匹配，得到图像匹配结果。
[0090] 本发明的第三个方面，提供基于图像特征信息的图像匹配系统，包括上述的基于图像特征信息的图像匹配装置。
[0091] 综上，本发明公开的基于图像特征信息的图像匹配方法，对目标的灰度图像依次进行二值化、去噪处理，得到优化二值图；对所述优化二值图进行像素邻接关系统计得到的每一连通域进行边缘检测，得到每一连通域的边缘幅值图像和边缘角度图像；遍历所述边缘幅值图像，将每一边缘点与相邻边缘点的幅值比较，确认所述边缘幅值图像的峰值点；根据边缘点、峰值点生成的SIFT描述符以及SIFT特征图估计的SIFT流向量完成两幅灰度图像匹配；达到适用多种应用场景，使用简易的匹配条件即可实现理想的图像匹配效果的目的。
[0092] 以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉
本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以
权利要求的保护范围为准。
