本发明属于图像检索领域，具体涉及一种基于高斯混合模型的图像检索方法。 背景技术
现有基于高斯混合模型的图像检索方法，通常包括：提取图像对应的高斯混合模型、高 斯混合模型间的距离度量以及距离排序并返回检索结果等步骤。其中，高斯混合模型的距离 度量是图像检索的核心技术，高斯混合模型间的距离度量可靠性是一个关键问题。
目前，在多媒体技术领域广泛使用高斯混合模型间的K-L离散度（Kullback-Liebler divergence,简称KLD)作为图像的相似性度量。虽然在使用离散的直方图表达图像特征时 ，可以根据KLD的定义直接计算图像间的KLD;但对于高斯混合模型间的KLD却没有闭合表达 式，所以需靠蒙特卡罗算法近似求解；但在高维特征空间使用蒙特卡罗算法必须大量采样， 因此利用蒙特卡罗算法求解高斯混合模型间的KLD时间复杂度很高，通常满足不了多媒体检 索的时间要求。
为解决高斯混合模型的距离度量时间效率问题，Jacob Goldberger在"An Efficient Image Similarity Measure Based on Approximations of KL-Divergence Between Two Gaussian Mixtures"International Conference cm Computer Vision' 2003> _^文
中提出了基于匹配的KLD算法和基于无迹变换的KLD算法两种改进的KLD近似求解方法。实验 比较证明，这两种算法相对蒙特卡罗近似法时间效率都有所提高，但准确性相对蒙特卡罗近 似法却有所下降。
Yossi Rubner在"The Earth Mover's Distance as a Metric for Image Retrival" (Iriterriatiorial JournaL of Computer Vision, 2tK)D)一文中^每移土也足巨离
(Earth Mover' s Distance ，简称腿0)作为多维分布的距离度量，其基本思想是度量从一个
概率分布变形到另一个概率分布所需花费的最小代价，实验证明相对于KLD， EMD是一种符合 人类感知的距离度量，因此得到多媒体检索、目标跟踪等领域的广泛使用。但是以往EMD只 被用于signature (—种近似表示概率密度函数的方法，形式上是个二元组集合，每个二元 组对应一个聚类，由表示聚类中心的向在李群切空间测量仿射变换矩阵间的测地线距离作为高斯模型间的距离；再结合
EMD(Earth Movei:' s Distance )的思想，将高斯混合模型的距离度量问题转化为线性规划
问题，从而有效地提高高斯混合模型距离度量的准确性。 发明内容
本发明提供一种基于高斯混合模型的图像检索方法，克服现有高斯混合模型距离度量方 法准确性不够的问题，进一步提高高斯混合模型距离度量在人类感知上的准确度，从而提高 图像检索性能。
本发明的一种基于高斯混合模型的图像检索方法，包括： 步骤一.提取图像库中所有图像对应的高斯混合模型，包括下述子步骤： (1. 1)对于图像中的每个像素点，计算一个d维特征向量，d》l，特征向量包含对应 像素点的颜色信息、像素点的位置信息、梯度信息、纹理信息，该图像所有像素点的特征向 量构成该图像的特征向量集合；
(1. 2)确定该图像对应的高斯混合模型包含的高斯模型的个数m，使用期望最大化算 法估计图像的特征向量集合对应的高斯混合模型的极大似然参数：组成高斯混合模型的各高 斯模型的均值向量和协方差矩阵；
其中 一幅图像对应的高斯混合模型为0 = : 、1 : A):…:^， : ^， : ^« ^ ，包含有H!个高
斯模型，y qj和Eqj分别表示第j个高斯模型的均值向量和协方差矩阵，e j为第j个高斯模
型在整个高斯混合模型Q中所占的权重，0《{3j《l， 1《j《m， m》l;
步骤二.提取待检索图像的高斯混合模型：按照步骤一的子步骤（1.1)和（1.2)，提 取待检索图像的高斯混合模型，待检索图像的高斯混合模型为P^(Upi， Epl， （M)，…，（ yPn， Epn， anM，包含有n个高斯模型，其中U pi和Epi分别表示第i个高斯模型的均值向量 和协方差矩阵，ai为第i个高斯模型在整个高斯混合模型P中所占的权重，0《ai《l， l《 i《n;
步骤三.计算待检索图像的高斯混合模型P与图像库中所有图像的高斯混合模型间的距
离，包括下述子步骤：
(3. 1)将组成高斯混合模型P和图像库中一幅图像对应的高斯混合模型Q的每个高斯模
型映射为 一个唯一 的仿射变换矩阵：
对组成各高斯混合模型的每一个高斯模型N( y ， E)，通过Cholesky分解唯一得到E =「C jU〕
CCT，该高斯模型用它所对应的仿射变换矩阵L。 U唯一表示；y为高斯模型的均值向量 ，E为高斯模型的协方差矩阵，C为由E分解得到的下三角矩阵；
(3. 2)计算高斯混合模型P和Q内各高斯模型之间的距离，构建地面距离矩阵D^dij]
根据下式计算各仿射变换矩阵之间的测地线距离dij:
人Hiiog(M;X」）11 '
其中Mpi为高斯混合模型P中第i个高斯模型对应的仿射变换矩阵，Mq j为高斯混合模型Q中 第j个高斯模型对应的仿射变换矩阵；log(.)表示先求矩阵对数，再将矩阵转化为向量； 11 • 11表示向量求模运算；将各仿射变换矩阵之间的测地线距离dij作为各高斯模型之间的距 离；得到P和Q间地面距离矩阵D:
formula see original document page 7义
(3. 3)计算两个高斯混合模型之间的距离： 用线性规划方法求解高斯混合模型P和高斯混合模型Q间的距离：
上式的约束条件：
formula see original document page 7
步骤四.距离排序并返回检索结果：将待检索图像的高斯混合模型与图像库中所有图像 的高斯混合模型间的距离按从小到大排序，返回图像库中与待检索图像距离最小的前t张图 像，作为待检索图像的检索结果，t》1，由用户指定。
所述的图像检索方法，其特征在于：所述步骤一的子步骤（1.2)中，各图像对应高斯 混合模型包含的高斯模型的个数m由最小描述长度准则(Minimum Descr时ion Length'倚称MDL)获耳又或手工指定.
最小描述长度准则是指选择m使得： 7M =arg max L(01 jq:…：j^) —A:，
卯lA…:^)=1>忌^0)
式中，高斯混合模型的似然度 W ，高斯混合模型的自由参数
的数量 2 ; k为特征向量的个数，Q表示该图像对应的高斯混合模
型，（A、"表示图像的特征向量集合，d表示特征向量的维度，m的取值范围H为[l， 6]
=•••:A)表示高斯混合模型的似然度，J^g^表示高斯混合模型的复杂度，模型的
似然度和复杂度都随着m的增加而增加，最小描述长度准则就是在m的取值范围H内选择m使得
模型的似然度尽可能大而复杂度尽可能小。
在本发明步骤三的子步骤（3. 1)中，对组成高斯混合模型的任何一个高斯模型N(y ，
E)，通过Cholesky分解得到E二CC1 (C为下三角矩阵），由于E是对称正定的，则该分解
是唯一的，所以任何一个高斯模型唯一对应着一个下三角矩阵；令Xo和X均表示n维随机向
量，且Xo服从标准正态分布，X服从均值为y、协方差矩阵为E的高斯分布，通过Cholesky
分解可以唯一得到E二CC1， 则X《Xo+y，艮卩： 力「C /iV丄
1
0 1
4
1
所以任何一个高斯模型都可以从标准正态分布经上述仿射变换得到，且该变换对矩阵乘
法、矩阵求逆封闭，从而该高斯模型可以用它所对应的仿射变换矩阵L。 ^唯一表示。
步骤三的子步骤（3.2)中，任何一个高斯模型对应的仿射变换矩阵对矩阵乘法、矩阵 求逆是封闭的，可以证明所有同维度的仿射变换矩阵构成一个李群，因此可以基于李群理论 用求解流形上两点距离的方法得到两个仿射变换矩阵间的距离。若两个仿射变换矩阵分别为 Mpi， Mqj，则它们间的距离即为它们在流形上两点的测地线长度dij:《^ —I ^g(^^M^ II 。
步骤三的子步骤（3.3)中，将高斯混合模型P和高斯混合模型Q中的各个高斯模型分别 看作散落在特征空间中的土堆集合和土坑集合，高斯混合模型P和高斯混合模型Q间的距离是 指从概率密度函数P变形到概率密度函数Q所需花费的最小代价，即用所有的土填充所有土坑 的最小工作量，因此上述问题转化为如何进行土堆移动的线性规划问题。其中单位工作量对应运输单位体积的土到土坑乘以运输所经过的单位地面距离；地面距离是指土堆和土坑间的 距离，即土堆和土坑各自对应的高斯模型间的距离；其中，土堆的体积、土坑的容量分别用 各自对应的高斯模型在整个高斯混合模型中所占的权重来表示。
待检索图像的高斯混合模型P = iOV: ^:^:…:OV ^« : 中，每个高斯模型对应一
个土堆，第i个高斯模型在整个高斯混合模型P中所占的权重ai，表示其对应土堆的体积；
图像库中图像的高斯混合模型e ={(~=、i=^-=0，=z，= A»》中，每个高斯模型对 应一个土坑，第j个高斯模型在整个高斯混合模型Q中所占的权重e j,表示其对应土坑的容
D^dij]表示地面距离矩阵，其中dij为高斯混合模型P中第i个高斯模型和高斯混合模型 Q中第j个高斯模型间的距离；F^fij]为移土方案，fij表示把高斯混合模型P中第i个土堆移 动到^斯J昆合模型Q中第j个土坑的土的体积；
;1 表示把所有土堆移到土坑的移动代价，通过最小化移动代价得到P和Q间的距
离；
约束条件（3.3.1)限制移动方向只能从P到Q而不能从Q到P;约束条件（3.3.2)限制从 P的第i个土堆移出的土量不能超过第i个土堆中土的总量；约束条件（3.3.3)限制Q中第j个 土坑接收的土量不能超过第j个土坑的容量；约束条件（3.3.4)强制移动P中所有的土堆；
本发明通过将单个高斯模型映射为李群空间中的元素，利用测地线距离准确度量高斯模 型间的距离，从而提高高斯模型距离度量的准确度；并将EMD算法的思想应用于高斯混合模 型距离度量，将其转化为线性规划问题，进一步优化了高斯混合模型间距离度量在人类感知 上的准确度，从而提高图像检索的性能。
附图说明
图l为本发明的流程示意图； 图2为本发明步骤三的流程图；
图3为使用本发明与基于KLD的高斯混合模型度量方法进行图像检索的检索精度对比示意
图；
图4为使用本发明与基于KLD的高斯混合模型度量方法进行图像检索的检索精度一召回率 对比示意图。具体实施方式
以下结合实施例对本发明进一步说明。
以基于内容的图像检索为例，仿真平台是Matlab 7.0。从C0REL图像库中挑选了377张图 片作为测试图像集，整个数据集分为7类，包括马、海滩、建筑、印第安人、恐龙、花朵和 汽车，每一类图像拥有相似的颜色空间分布。通过对图像集中图像进行检索并统计检索结果 ，比较了本发明与基于KLD的高斯混合模型距离度量方法的性能。
将图像集中所有图像縮放至指定大小230X 154，由于每一类图像拥有相似的颜色空间分 布，因此利用像素点的颜色信息及像素点的位置信息作为特征集合提取各图像对应的高斯混 合模型。对应于上述基于内容的图像检索，本发明的实施例如图l所示，其中步骤三的流程 如图2所示；具体如下：
步骤一.提取图像库中所有图像对应的高斯混合模型；包括下述子步骤： (1. 1)对于图像中的每个像素点，计算一个五维特征向量（R， G， B， x， y)，其中 ，R、 G、 B分别表示图像像素点对应红、绿、蓝三个颜色的色度值，x、 y分别表示像素点的 水平、垂直方向位置信息，并对R、 G、 B、 x、 y各分量进行归一化处理；该图像所有像素点 的特征向量构成该图像的特征向量集合；
(1. 2)由手工设置，所有图像对应的高斯混合模型均由3个高斯模型构成；使用期望 最大化算法估计各图像对应的高斯混合模型的极大似然参数，包括组成高斯混合模型的各高 斯模型的均值向量和协方差矩阵；
其中一幅图像对应的高斯混合模型为G = HA1: 、:^:…:(&: ，包含有3个高斯
模型，y qj和Eqj分别表示第j个高斯模型的均值向量和协方差矩阵，e j为第j个高斯模型在 整个高斯混合模型Q中所占的权重，0《{3j《l， 1《j《3;
步骤二.在颜色空间提取待检索图像的高斯混合模型；提取待检索图像的高斯混合模型 为尸={0^1:^1:00…:(/^J^s》，包含有3个高斯模型，其中ypi和Epi分别表示第i个高
斯模型的均值向量和协方差矩阵，a i为第i个高斯模型在整个高斯混合模型P中所占的权重 ，0《Cli《1， 1《i《3;
步骤三.计算待检索图像的高斯混合模型p与图像库中所有图像的高斯混合模型间的距
离；包括下述子步骤：
(3. 1)将组成高斯混合模型P和图像库中一幅图像对应的高斯混合模型Q的每个高斯模 型映射为 一个唯一 的仿射变换矩阵：
对组成各高斯混合模型的每一个高斯模型N( y ， E)，通过Cholesky分解唯一得到E =ccT，该高斯模型用它所对应的仿射变换矩阵L。 ^唯一表示；y为高斯模型的均值向量，
E为高斯模型的协方差矩阵，C为由E分解得到的下三角矩阵；
(3. 2)计算高斯混合模型P和Q内各高斯模型之间的距离，构建地面距离矩阵D^dij]
根据下式计算各仿射变换矩阵之间的测地线距离dij:
，
将各仿射变换矩阵之间的测地线距离dij作为各高斯模型之间的距离；得到P和Q间地面
距离矩阵D:
d:
(3. 3)计算两个高斯混合模型之间的距离：根据求得的高斯混合模型P和Q间的地面距 离矩阵D及高斯混合模型P和Q中各高斯模型所占的权重1^—°^和{^:•••=^}，使用EMD算法 用线性规划方法计算高斯混合模型P和Q间的距离：
腳(尸必巧gmii^士4力
上式的约束条件： (3.3-1)
(3.3.2)
(3.3.3)
(3.3.4)
0， 1W3,1勺"，
^哨，1勺^，
1 1
步骤四.将待检索图像的高斯混合模型与图像库中所有图像的高斯混合模型间的距离按 从小到大排序，返回图像库中与待检索图像距离最小的前t张图像，作为待检索图像的检索
结果，t = l〜100。
分别使用本发明及基于KLD的高斯混合模型距离度量方法进行图像检索，并统计检索性 能，步骤如下：依次将图像集中的每一幅图像作为待检索图像进行检索，按照图像集中的图 像与待检索图像间的相似性程度进行排序，并统计返回结果中与待检索图像同类的图像数目 s、图像库中与待检索图像同类的图像总数h，计算检索精度p和召回率r。其中，检索精度p=s/t，召回率^s/h。上述图像间相似性程度的计算可以通过图像的高斯混合模型间距离的 度量来实现，距离越小越相似，距离越大图像差异越大。高斯混合模型间距离的度量可以使 用本发明提出的方法或基于KLD的高斯混合模型距离度量方法。基于KLD的高斯混合模型距离 度量使用蒙特卡罗采样的方法实现，共使用10000个采样点。
图3、图4比较了本发明提出的高斯混合模型距离度量方法和基于KLD的高斯混合模型距 离度量方法应用于图像检索的性能。图3是两种方法的检索精度曲线，横轴表示检索结果返 回图片总数，纵轴表示检索精度；图4是两种方法的检索精度一召回率曲线，横轴表示召回 率，纵轴表示检索精度；图中实线对应本发明提出的高斯混合模型距离度量方法，虚线对应 基于KLD的高斯混合模型距离度量方法。实验结果说明本发明提出的高斯混合模型距离度量 方法在检索性能上优于原有的基于KLD的高斯混合模型距离度量方法。