采用模式数据库的具有空间感的自然彩色夜视实现方法
专利汇可以提供采用模式数据库的具有空间感的自然彩色夜视实现方法专利检索，专利查询，专利分析的服务。并且本 发明 提供了一种采用模式 数据库 的具有空间感的自然彩色夜视实现方法，其特征在于，包括下列步骤：1)构建基于红外图像和微光图像的模式数据库；2)实现具有空间感的自然彩色夜视图像。该方法的优点是提高了目标识别的效率，使夜视图像具有了空间感并且可以稳定快速地获得具有空间感的自然彩色夜视图像。，下面是采用模式数据库的具有空间感的自然彩色夜视实现方法专利的具体信息内容。
1.一种采用模式数据库的具有空间感的自然彩色夜视实现方法，其特征在于， 包括下列步骤：
步骤1、构建红外图像和微光图像的模式数据库；
步骤1.1、把红外图像和微光图像中的景物分为目标(人，车辆等热 辐射体)、植物、土壤、建筑、道路、岩石、天空、云雾、水面以及其它 (混合景物)大类，在每一大类中又按照物体在常规摄影方法得到的照片 中离观察者远近的不同，定性地分为“远”、“中”、“近”小类，大类与 小类组合成各种模式；
步骤1.2、计算得到各种模式对应的特征向量并为每一种模式指定其 特征色彩，随后将特征向量及特征色彩存入模式数据库，同时对模式数 据库内的特征向量进行高斯归一化；
所述的特征向量通过下列步骤求得：
步骤1.2.1、对至少三组中的一组已配准的包含某种模式的物体 的同一场景的红外图像和微光图像进行亮度规定化；
步骤1.2.2、将由步骤1.2.1得到的红外图像和微光图像融合成 假彩色图像和灰度图像；
步骤1.2.3、将由步骤1.2.2得到的假彩色图像从RGB色彩空间 变换到LUV色彩空间；
步骤1.2.4、在由步骤1.2.3得到的假彩色图像和由步骤1.2.2 得到的灰度图像中，同时手动确定属于某种模式的区域R；所述的某 种模式是指通过步骤1.1所得到的各种模式中的一种；
步骤1.2.5、计算区域R的辐射/反射特征和纹理特征；
步骤1.2.6、重复步骤1.2.3至步骤1.2.7，直至计算出来自不同 组图像的同一模式的所有样本的辐射/反射特征和纹理特征，并求出 这些样本的各特征对应项的均值，得到这一模式的特征向量；
步骤2、实现具有空间感的自然彩色夜视；
步骤2.1、对已配准的同一场景的红外图像和微光图像进行亮度规定 化；
步骤2.2、将通过步骤2.1得到的红外图像和微光图像融合成假彩色 图像和灰度图像；
步骤2.3、将假彩色图像从RGB彩色空间变换到LUV色彩空间；
步骤2.4、用均值漂移分割方法在LUV空间对假彩色图像进行分割， 得到不同的区域；区域最少像素为图像总像素的0.1％至2％；
步骤2.5、提取通过步骤2.4所得到的区域的特征向量并对该特征向 量进行高斯归一化；所述的特征向量是指辐射/反射特征和纹理特征；
步骤2.6、根据步骤2.5得到的特征向量，通过区域识别，在模式数 据库中找到每个区域所属模式，将模式数据库中的模式的特征色彩进行 再修正，获得区域的特征色彩；
步骤2.7、在HSV空间合成图像；
步骤2.8、将合成图像从HSV空间变换至RGB空间，得到具有空间 感的自然彩色夜视图像。
2.如权利要求1所述的一种采用模式数据库的具有空间感的自然彩色夜视实现 方法，其特征在于，所述的步骤2.4中均值漂移分割方法(Mean Shift分割 方法)中的色彩窗宽和空间窗宽根据图像的分辨率选取固定值。
3.如权利要求1所述的一种采用模式数据库的具有空间感的自然彩色夜视实现 方法，其特征在于，所述的步骤2.7中HSV空间的色调、饱和度通道由各区 域的特征色彩组成，HSV空间的亮度通道由灰度融合图像组成。
4.如权利要求1所述的一种采用模式数据库的具有空间感的自然彩色夜视实现 方法，其特征在于，所述步骤1.2中的特征色彩是参考景物的自然色彩并遵 循色彩透视规律得到的经验值，由HSV色彩空间的色调和饱和度表示。
5.如权利要求1所述的一种采用模式数据库的具有空间感的自然彩色夜视实现 方法，其特征在于，所述的步骤2.2和所述的步骤1.2.2中的假彩色图像通 过将红外图像送入RGB色彩空间的R通道，微光图像送入G通道，B通道置 0得到。
6.如权利要求1所述的一种具有空间感的自然彩色夜视图像实现方法，其特征 在于，所述的步骤2.2和所述的步骤1.2.2中的灰度图像通过对红外图像和 微光图像应用已有的灰度融合算法得到。
7.如权利要求1所述的一种具有空间感的自然彩色夜视图像实现方法，其特征 在于，所述的辐射/反射特征指物体所辐射/反射的红外/微光的强度的均值， 由假彩色图像中相应区域在LUV空间中各通道的均值L，U，V所表示。
8.如权利要求1所述的一种具有空间感的自然彩色夜视图像实现方法，其特征 在于，步骤2.1中所述的亮度规定化与步骤1.2.1中所述的亮度规定化的过程 相同，即通过平移和放缩把输入的红外/微光的信号强度变换在一个由已知的 公式规定的范围内，所述的公式为
其中，V、V*分别为图像的原亮度值和规定化后的亮度值，μ、σ和 μ*、σ*分别为原亮度的均值、标准差和期望的均值、标准差。
技术领域
本发明涉及一种彩色夜视图像实现方法。
背景技术
为了使假彩色图像具有更自然的色彩，近年来提出了很多对假彩色图像进行 色彩重映射的方法。Waxman提出一种将假彩色图像变换到HSV(色调、饱和度、 亮度)色彩空间进行色调、饱和度调整的想法，但是没有给出具体方法。荷兰人 力因素研究所(TNO)的Toet借鉴改善彩色照片偏色的色彩传递方法，用自然彩 色图像的一阶统计信息(均值、标准差)去校正假彩色图像的色彩。但是由于假 彩色图像中的各部分的色彩差异很大，用整张图片进行色彩传递后，夜视图像常 常呈现出新的不自然色彩，当假彩色图像中的色彩较为丰富时，这种情况更为明 显。Yufeng Zheng改进了Toet的方法，用先将假彩色图像分割成不同的区域， 再对区域分别进行色彩校正的“局部色彩传递”代替了Toet的“全局色彩传递”， 并且引入了色彩直方图规定化，还实现了各分割区域对期望呈现的色彩的自动选 择。Yufeng Zheng的方法由于仍然是对假彩色图像进行色彩重映射，因此无法 从根本上避免这种不自然色彩的产生。
发明内容
为了达到上述目的，本发明提供了一种采用模式数据库的具有空间感的自然 彩色夜视实现方法，其原理是通过直接为夜视图像中的景物赋予其特征色彩来彻 底克服不自然色彩的产生，使多波段的夜视图像呈现均匀的自然色彩；通过特征 色彩的色调对比和饱和度变化来反映物体的空间关系，使夜视图像具有空间感； 通过构建夜视图像模式数据库，实现上述过程的自动化处理。本发明提供的方法 包括下列步骤：
步骤1、构建基于红外图像和微光图像的模式数据库。
步骤1.1、把红外图像和微光图像中的景物分为目标(人，车辆等热辐射体)、 植物、土壤、建筑、道路、岩石、天空、云雾、水面以及其它(混合景物)大类， 在每一大类中又按照物体在常规摄影方法得到的照片中离观察者远近的不同，定 性地分为“远”、“中”、“近”小类，大类与小类组合成各种模式。所述的“远” 是指通过常规摄影方法得到的照片中，处于远处的景物定义为“远”；所述的“近” 是指通过常规摄影方法得到的照片中，处于近处的景物定义为“近”；其他则定 义为“中”。
步骤1.2、计算得到各种模式对应的特征向量并为每一种模式指定其特征色 彩，随后将特征向量及特征色彩存入模式数据库，同时对模式数据库内的特征向 量进行高斯归一化。
所述的特征向量通过下列步骤求得：
步骤1.2.1、对至少三组中的一组已配准的包含某种模式的物体的同一场景 的红外图像和微光图像进行亮度规定化。
步骤1.2.2、将由步骤1.2.1得到的红外图像和微光图像融合成假彩色图像 和灰度图像。
步骤1.2.3、将由步骤1.2.2得到的假彩色图像从RGB色彩空间变换到LUV 色彩空间。
步骤1.2.4、在由步骤1.2.3得到的假彩色图像和由步骤1.2.2得到的灰度 图像中，同时手动确定属于某种模式的区域R。所述的某种模式是指通过步骤1.1 所得到的各种模式中的一种。
步骤1.2.5、计算区域R的辐射/反射特征和纹理特征。
步骤1.2.6、重复步骤1.2.1至步骤1.2.5，直至计算出来自不同组图像的 同一模式的所有样本的辐射/反射特征和纹理特征，并求出这些样本的各特征对 应项的均值，得到这一模式的特征向量。
步骤2、实现具有空间感的自然彩色夜视。
步骤2.1、对已配准的同一场景的红外图像和微光图像进行亮度规定化。
步骤2.2、将通过步骤2.1得到的红外图像和微光图像融合成假彩色图像和 灰度图像。
步骤2.3、将假彩色图像从RGB彩色空间变换到LUV色彩空间。
步骤2.4、用均值漂移分割方法(Mean Shift分割方法)在LUV空间对假彩 色图像进行分割，得到不同的区域。区域最少像素为图像总像素的0.1％至0.2％。
步骤2.5、提取通过步骤2.4所得到的区域的特征向量并对该特征向量进行 高斯归一化。所述的特征向量是指辐射/反射特征和纹理特征。
步骤2.6、根据步骤2.5得到的特征向量，通过区域识别，在模式数据库中 找到每个区所属模式，将模式数据库中的模式的特征色彩进行再修正，获得区域 的特征色彩。
步骤2.7、在HSV空间合成图像。
步骤2.8、将合成图像从HSV空间变换至RGB空间，得到具有空间感的自 然彩色夜视图像。
进一步，所述的步骤2.4中均值漂移分割方法(Mean Shift分割方法)中的 色彩窗宽和空间窗宽根据图像的分辨率选取固定值。
所述的步骤2.7中HSV空间的色调、饱和度通道由各区域的特征色彩组成， HSV空间的亮度通道由灰度融合图像组成。
所述步骤1.2中的特征色彩是参考景物的自然色彩并遵循色彩透视规律得 到的经验值，由HSV色彩空间的色调和饱和度表示。
所述的步骤2.2和所述的步骤1.2.2中的假彩色图像通过将红外图像送入 RGB色彩空间的R通道，微光图像送入G通道，B通道置0得到。
所述的步骤2.2和所述的步骤1.2.2中的灰度图像通过对红外图像和微光图 像应用已有的灰度融合算法得到。
所述的辐射/反射特征指物体所辐射/反射的红外/微光的强度的均值，由假 彩色图像中相应区域在LUV空间中各通道的均值L，U，V所表示。
步骤2.1中所述的亮度规定化与步骤1.2.1中所述的亮度规定化的过程相同， 既通过平移和放缩把输入的红外/微光的信号强度变换在一个由已知的公式规定 的范围内，所述的公式为
其中，V、V*分别为图像的原亮度值和规定化后的亮度值，μ、σ和μ*、 σ*分别为原亮度的均值、标准差和期望的均值、标准差。
本发明提供的一种采用模式数据库的具有空间感的自然彩色夜视实现方法 具有下列有益效果：
1)彻底克服了彩色夜视图像中不自然色彩的产生，通过直接为夜视图像中 的景物赋予特征色彩使多波段的夜视图像呈现出均匀的自然色彩，提高了目标识 别的效率；
2)本发明涉及一个夜视图像中尚未被研究但是至关重要的领域——图像的 空间感，本发明采用色彩的透视变化来反映物体的空间关系，使夜视图像具有了 空间感。空间感显著增强了夜视图像的场景感知性、增加了图像的信息容量；
3)本发明通过构建夜视图像模式数据库，实现了彩色夜视的自动化，可以稳 定快速地获得具有空间感的自然彩色夜视图像。
附图说明
图1为本发明提供的一种采用模式数据库的具有空间感的自然彩色夜视实现方 法的总流程图；
图2为本发明的构建夜视图像模式数据库的流程示意图；
图3为本发明的自动实现具有空间感的自然彩色夜视的流程示意图；
图4为三组采用本发明的方法处理的夜视图像；
图5为图4中第一组夜视图像分别采用局部色彩传递的方法(a)、全局色彩传递 的方法(b)和基于Welsh法对灰度融合图像彩色化的方法(c)的效果比较。
具体实施方式
步骤1、构建红外图像和微光图像的模式数据库。该过程可以用图2所示的 流程图来概括，即对第n组包含属于模式j的物体的同一场景的红外图像(IR(n))、 微光图像(LL(n))先进行亮度规定化，然后融合成假彩色图像和灰度图像，并 把假彩色图像由RGB空间转换至LUV空间。在假彩色图像和灰度融合图像中同时 确定属于模式j的区域Rj (n)，计算区域Rj (n)的辐射/反射特征和纹理特征。重复上 述过程直至获得第j个模式所有n组样本的辐射/反射特征和纹理特征，并由n 组样本各特征的相应项的均值组成该模式的特征向量。为该模式确定特征色彩 (HSV空间的色调和饱和度)。将该模式的特征向量和特征色彩对应地存入模式 数据库。重复上述所有过程，直至为所有模式都在数据库中建立起特征向量及特 征色彩。具体步骤如下：
步骤1.1、把如图4所示的第一行的红外图像和第二行的微光图像中的景物 分为目标(人，车辆等热辐射体)、植物、土壤、建筑、道路、岩石、天空、云 雾、水面以及其它(混合景物)共10大类，在每一大类中又按照物体在常规摄 影方法得到的照片中离观察者远近的不同，定性地分为“远”、“中”、“近”共3 小类，大类与小类组合成30种模式。
步骤1.2、计算得到30种模式对应的特征向量及特征色彩，随后将其存入模 式数据库，同时对模式数据库中的特征向量进行高斯归一化。
所述的特征向量通过下列步骤得到：
步骤1.2.1、对已配准的第n(n＝1，2，3)组包含属于模式j的物体的同一场 景的红外图像(IR(n))和微光图像(LL(n))进行亮度规定化。亮度规定化的公 式为
其中，V、V*分别为图像的原亮度值和规定化后的亮度值，μ、σ和μ*、σ* 分别为原亮度的均值、标准差和期望的均值、标准差。在图4所示的第一行的红 外图像和第二行的微光图像中，μ*、σ*分别取90、50。
步骤1.2.2、将由步骤1.2.1得到的红外图像和微光图像融合成假彩色图像 和灰度图像。所述的假彩色图像的融合公式为
其中，IR为红外图像，LL为微光图像。
所述的灰度图像的融合采用拉普拉斯金字塔融合算法，分解的层数为4层， 融合规则为选择对应层中最大的系数作为融合后的系数。
步骤1.2.3、将由步骤1.2.2得到的假彩色图像从RGB色彩空间变换到LUV 色彩空间。所用到的变换公式为：
Yn＝0.3230
U＝13L(u′-u′n)，u′n＝0.2009
V＝13L(v′-v′n)，v′n＝0.4610
u′＝4X/(X+15Y+3Z)，
v′＝9Y/(X+15Y+3Z)，
其中，XYZ空间是变换的过渡空间。
至此，步骤1.2.3结束。
步骤1.2.4、在由步骤1.2.3得到的假彩色图像和由步骤1.2.2得到的灰度 图像中，同时手动确定属于模式j的区域Rj (n)；
步骤1.2.5、计算区域Rj (n)的辐射/反射特征和纹理特征。
区域Rj (n)的辐射/反射特征为(Lj (n)，Uj (n)，Vj (n)，Rj (n)，Gj (n))。Lj (n)，Uj (n)，Vj (n)是 假彩色图像中的Rj (n)在LUV空间中各通道的均值。Rj (n)，Gj (n)由将Lj (n))，Uj (n)，Vj (n) 转换至RGB空间得到，其中B通道为0。所用到的变换公式为：
u′＝U/13L+u′n，u′n＝0.2009
v′＝V/13L+v′n，v′n＝0.4610
Yn＝0.3230
X＝Y(9u′/4v′)，
Z＝Y((12-3u′-20v′)/4v′)，
其中，XYZ空间是变换的过渡空间。
区域Rj (n)的纹理特征由灰度融合图像中相应区域的熵、能量、反差、同质性、 相关等5个基于灰度共生矩阵的统计量表示，纹理特征为 (Shj (n)，Jj (n)，Conj (n)，Homj (n)，Corj (n))，其中：
Sh，J，Con，Hom，Cor分别为熵、能量、反差、同质性、相关。[p，q]是灰度共 生矩阵的坐标，P[p，q]是相应坐标点的值，μp，μq分别是Pp，Pq的均值，σp，σq分 别是Pp，Pq的标准差， 为灰度共生矩阵每一行的元素和， 为灰度共生矩阵每一列的元素和。
步骤1.2.6、重复步骤1.2.1至步骤1.2.5，直至计算出来自3组图像的模 式j的所有样本的辐射/反射特征和纹理特征，并由所有样本各特征的相应项的 均值组成该模式的特征向量
所述的特征色彩是参考景物的自然色彩并遵循色彩透视规律，既离观察者近 的模式色彩饱和度高，色调间的对比强；离观察者远的模式色彩饱和度低，色调 间的对比弱，得到的经验值，由HSV色彩空间的色调和饱和度表示。由此得到模 式j的特征色彩为(Hj *，Sj *)。
步骤2、实现具有空间感的自然彩色夜视该过程可以用图3所示的流程图来 概括，即将输入的红外图像(IR)、微光图像(LL)先进行与模式数据库相同的 亮度规定化、假彩色融合和灰度融合。将假彩色图像由RGB空间转换至LUV空间 后进行图像分割，然后提取每个分割区域的特征向量。将每个区域的特征向量与 模式数据库中的模式比较，进行区域识别。找到其模式后，将模式所对应的特征 色彩进行相应的修正，得到该区域的特征色彩。在HSV空间中合成图像，色调、 饱和度由特征色彩确定，亮度由灰度融合图像确定。最后将合成图像从HSV空间 转换至RGB空间，得到具有空间感的自然彩色夜视图像。具体步骤如下：
步骤2.1、对图4中第一行的红外图像(IR)和图4中第二行的微观图像(LL) 进行亮度规定化，该过程与步骤1.2.1相同。
步骤2.2、将通过步骤2.1得到的红外图像和微观图像融合成假彩色图像和 灰度图像。该过程与步骤1.2.2相同。得到图4中第三行的灰度图像和图4中第 四行的假彩色图像。
步骤2.3、将假彩色图像从RGB彩色空间变换到LUV色彩空间。变换方法与 步骤1.2.3完全相同。
步骤2.4、用Mean Shift分割方法在LUV空间对假彩色图像进行分割，得 到不同的区域。其中，Mean Shift分割方法的核函数为：
其中，p＝3，C＝1，xs表示像素的2维坐标，xr表示该像素的3维色彩向 量，hs为空间窗宽，取值16，hr为色彩窗宽，取值20。区域最少像素数根据如 如4所示的示例图像设定为100。空间窗宽取值及色彩窗宽取值针对图4所示的 实验图像，该图像分辨率为270*360。得到图4中第五行所示的图像。
步骤2.5、提取通过步骤2.4所得到的区域的特征向量；所述的特征向量是 指辐射/反射特征和纹理特征。
纹理特征通过下述步骤得到：
首先将通过步骤2.4所得到的区域映射到红外/微光的灰度融合图像，随后 计算得到相应区域的纹理特征。
辐射/反射特征的计算方法与步骤1.2.5中计算区域Rj (n)的辐射/反射特征的 方法完全相同。第i个区域的经过高斯归一化的特征向量表示为 Mi＝(Li，Ui，Vi，Ri，Gi，Shi，Ji，Coni，Homi，Cori)。
步骤2.6、根据步骤2.5得到的特征向量，通过区域识别，在模式数据库中 找到每个区域所属模式，将模式数据库中的模式的特征色彩进行再修正，获得区 域的特征色彩。
区域识别采用最小距离法，既若第i个区域的特征向量为 Mi＝(Li，Ui，Vi，Ri，Gi，Shi，Ji，Coni，Homi，Cori)模式的特征向量为 定义距离为
其中
w1和w2为权值，在如图4所示的实验图像中，w1＝w2＝0.5。令Di最小的j设为 J，既是第i个区域的模式。若模式J的特征色彩为(HJ *，SJ *)，则第i个区域的 特征色彩为(Hi，Si)，其中：
至此，步骤2.6结束。得到图4中第六行所示的图像。
步骤2.7、在HSV空间合成图像。
各区域的特征色彩组成色调(H)、饱和度(S)通道，灰度融合图像F组成 亮度(V)通道。公式如下：
V＝F，
至此，步骤2.7结束。
步骤2.8、将合成图像从HSV空间变换至RGB空间，得到具有空间感的自 然彩色夜视图像。变换公式如下：
p＝V(1-S)，
q＝V(1-f·S)，
t＝V[1-S(1-f)]，
至此，步骤2.8结束。得到图4中第七行所示的图像。
图5为图4中第一组夜视图像分别采用局部色彩传递的方法(a)、全局色彩 传递的方法(b)和基于Welsh法对灰度融合图像彩色化的方法(c)的效果比较。从 图中可以看出，局部色彩传递的效果要好于全局色彩传递，而基于Welsh法对灰 度融合图像彩色化的方法并不直接适用于夜视图像的处理，它产生了较单一的色 彩，并且模糊了夜视图像中的细节信息。将图5中的各方法与图4中采用本发明 方法处理的相应夜视图像进行比较可以看出，在色彩的自然性、图像的空间感等 方面本发明的方法显著优于其他各方法。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于行为的室内定位和地标语义标识的方法 | 2020-05-14 | 204 |
| 一种水下航行器的水下信标定位方法 | 2020-05-14 | 82 |
| 一种用于水损害检测的探地雷达图谱自适应选取方法 | 2020-05-08 | 564 |
| 一种基于海洋环境噪声的声学监测系统及方法 | 2020-05-15 | 270 |
| 眼部疲劳度检测系统及方法 | 2020-05-08 | 737 |
| 一种多MEMS传感器组合测姿方法 | 2020-05-14 | 393 |
| 判断目标行人在非重叠相机视角中出现的匹配方法 | 2020-05-11 | 320 |
| 结合判别式深度置信网络和主动学习的心电分类方法 | 2020-05-13 | 453 |
| 融合时空聚类和支持向量机的居民出行特征提取方法 | 2020-05-14 | 117 |
| 一种改进SPC的小区供水漏损监测预警方法 | 2020-05-15 | 678 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
