颜色校正装置和方法
阅读：207发布：2020-05-13
专利汇可以提供颜色校正装置和方法专利检索，专利查询，专利分析的服务。并且本 发明 涉及一种用于将至少一个源图像的 颜色 映射到参考图像的颜色的装置和方法。所述装置包括：直方图匹配单元(52)，用于将所述源图像的直方图与所述参考图像的直方图进行匹配，以便生成所述源图像的直方图匹配图像；概率分布计算单元(54)，用于生成所述参考图像的条件概率分布；以及离群点检测单元(55)，用于基于所述条件概率分布来检测所述直方图匹配图像中的离群点。，下面是颜色校正装置和方法专利的具体信息内容。
1.一种用于将至少一个源图像的颜色映射到参考图像的颜色的装置(56)，其特征在于，所述装置包括：
直方图匹配单元(52)，用于将所述源图像的直方图与所述参考图像的直方图进行匹配，以便生成所述源图像的直方图匹配图像，包括：分别根据所述源图像的直方图和所述参考图像的直方图，确定所述源图像对应的查找表和所述参考图像对应的查找表；所述源图像对应的查找表包括源图像对应的累积分布函数值和灰度值的对应关系；所述参考图像对应的查找表包括参考图像对应的累积分布函数值和灰度值的对应关系；针对源图像中每个像素点，执行：在所述源图像对应的查找表中查找所述像素点的第一灰度值对应的第一累积分布函数值；在所述参考图像对应的查找表中查找所述第一累积分布函数值对应的第二灰度值；采用所述第二灰度值替换所述像素点的第一灰度值，生成所述源图像的直方图匹配图像；
概率分布计算单元(54)，用于生成所述参考图像的条件概率分布；以及
离群点检测单元(55)，用于基于所述条件概率分布来检测所述直方图匹配图像中的离群点；
其中，所述概率分布计算单元(54)用于：在考虑所述参考图像的给定像素点的相邻像素点的强度(In1，In2，In3……InN)的情况下，通过估计所述给定像素点的强度(Ic)的条件概率(p(Ic|In1，In2，In3……InN))来生成所述条件概率分布，其中所述相邻像素点是根据邻域配置选择的。
2.根据权利要求1所述的装置，其特征在于：
根据所述源图像和/或所述参考图像的内容自适应地选择所述邻域配置。
3.根据权利要求2所述的装置，其特征在于：
由所述邻域配置定义的邻居数量取决于所述源图像和/或所述参考图像的纹理：
优选地，源图像和/或参考图像(100a)的均质区域越大和/或纹理越少，邻居数量就越多。
4.根据前述权利要求1至3中任一项所述的装置，其特征在于：
所述离群点检测单元(55)用于：如果根据所述条件概率分布，所述直方图匹配图像的匹配像素点与其相邻像素点组合的概率低于阈值(T)，则将所述匹配像素点检测为离群点，其中所述相邻像素点是根据所述邻域配置选择的。
5.根据前述权利要求1至3中任一项所述的装置，其特征在于：
所述离群点检测单元(55)用于：如果对于所述直方图匹配图像的所述匹配像素点及其根据所述邻域配置选择的相邻像素点，所述条件概率(p(Ic|In1，In2，In3……InN))低于阈值(T)，则将所述匹配像素点检测为离群点。
6.根据权利要求4所述的装置，其特征在于：
所述阈值(T)由用户预定义或自动计算，
优选地，所述阈值(T)在0.05和0.3之间。
7.根据前述权利要求1至3中任一项所述的装置，其特征在于：
所述离群点检测单元(55)用于为每个颜色通道检测所述直方图匹配图像中的离群点。
8.根据前述权利要求1至3中任一项所述的装置，其特征在于：
所述离群点检测单元(55)用于生成离群点图，所述离群点图标识在所述直方图匹配图像中检测到的所有离群点。
9.根据前述权利要求4所述的装置，其特征在于：
包括离群点校正单元(502)，用于通过以下方式来校正离群点：基于所述条件概率分布，校正被所述离群点检测单元(501)检测为离群点的所述匹配像素点的强度。
10.根据权利要求9所述的装置，其特征在于：
通过找到使所述条件概率(p(Ic|In1，In2，In3……InN))最大化的强度(Ic)来校正被检测为离群点的所述匹配像素点的所述强度。
11.根据权利要求9或10所述的装置，其特征在于：
所述离群点检测单元(501)和所述离群点校正单元(502)用于对离群点的检测和离群点的校正进行多次迭代，
如果所述源图像和/或所述参考图像中的纹理量减小，则优选地，迭代次数增加。
12.根据前述权利要求1至3中任一项所述的装置，其特征在于：
包括边缘检测单元(103、301)，用于：检测所述参考图像的边缘，检测所述直方图匹配图像的边缘，以及生成所述参考图像的对应边缘图和所述直方图匹配图像的对应边缘图，所述概率分布计算单元(104)用于基于所述参考图像的所述边缘图生成所述条件概率分布，以及
所述离群点检测单元(105、501)用于基于所述直方图匹配图像的所述边缘图检测所述直方图匹配图像中的离群点。
13.根据权利要求12所述的装置，其特征在于：
包括融合操作单元(304)，
所述边缘检测单元(103、301)用于检测所述源图像的边缘，并生成所述源图像的对应边缘图，以及
所述融合操作单元(304)用于通过合并所述直方图匹配图像的所述边缘图和所述源图像的所述边缘图来处理所述直方图匹配图像的所述边缘图。
14.根据权利要求13所述的装置，其特征在于：
包括曝光评估单元(303)，用于生成曝光图，其中，所述曝光图针对每个像素点位置(x，y)确认所述位置(x，y)上的像素点是在所述直方图匹配图像中还是在所述源图像中的曝光更好，
所述融合操作单元(304)用于通过根据所述曝光图合并所述直方图匹配图像的所述边缘图和所述源图像的所述边缘图来处理所述直方图匹配图像的所述边缘图。
15.根据权利要求12所述的装置，其特征在于：
包括侵蚀操作单元(302)，用于对所述参考图像的所述边缘图和所述直方图匹配图像的所述边缘图进行侵蚀。
16.根据权利要求15所述的装置，其特征在于，当还根据权利要求2时，
所述侵蚀操作单元(302)用于根据侵蚀内核进行侵蚀，以及
所述侵蚀内核的大小取决于所述邻域配置，具体来说取决于所述邻域配置的大小或深度。
17.一种用于将至少一个源图像的颜色映射到参考图像的颜色的方法，其特征在于，所述方法包括：
直方图匹配(52)，包括将所述源图像的直方图与所述参考图像的直方图进行匹配，以便生成所述源图像的直方图匹配图像，包括：分别根据所述源图像的直方图和所述参考图像的直方图，确定所述源图像对应的查找表和所述参考图像对应的查找表；所述源图像对应的查找表包括源图像对应的累积分布函数值和灰度值的对应关系；所述参考图像对应的查找表包括参考图像对应的累积分布函数值和灰度值的对应关系；针对源图像中每个像素点，执行：在所述源图像对应的查找表中查找所述像素点的第一灰度值对应的第一累积分布函数值；在所述参考图像对应的查找表中查找所述第一累积分布函数值对应的第二灰度值；采用所述第二灰度值替换所述像素点的第一灰度值，生成所述源图像的直方图匹配图像；
概率分布计算(54)，包括生成所述参考图像的条件概率分布；在考虑所述参考图像的给定像素点的相邻像素点的强度(In1，In2，In3……InN)的情况下，通过估计所述给定像素点的强度(Ic)的条件概率(p(Ic|In1，In2，In3……InN))来生成所述条件概率分布，其中所述相邻像素点是根据邻域配置选择的；以及
离群点检测(55)，包括基于所述条件概率分布来检测所述直方图匹配图像中的离群点。
18.权利要求17所述方法的使用，其特征在于，用于进行高动态范围成像、背景减除或运动估计。
19.一种带有程序代码的计算机可读存储介质，其特征在于，当所述程序代码在计算设备上运行时，使得所述计算设备执行如权利要求18所述的方法。
颜色校正装置和方法
技术领域
[0001] 本发明涉及一种颜色校正装置，具体涉及一种用于将至少一个源图像的颜色映射到参考图像的颜色的装置。本发明还涉及一种用于将至少一个源图像的颜色映射到参考图像的颜色的方法。最后，本发明涉及一种具有执行这种方法的程序代码的计算机程序，以及涉及这种方法在成像处理中的使用，例如，以进行高动态范围成像、背景减除或运动估计。
背景技术
[0002] 在诸如计算机视觉和计算摄影的成像处理领域中，需要增强一组图像的整体视觉质量。这种增强可以包括通过对有颜色差异以及可能的有内容差异的两个图像执行颜色校正来提高两个图像之间的相似性。这种颜色校正也称为颜色匹配。
[0003] 在现有技术中，颜色校正通常通过直方图匹配(histogram matching，HM)技术进行。直方图匹配技术包括在曝光度不同的两个图像之间执行颜色调整，以减少图像之间的颜色差异。例如，2006年普伦蒂斯·霍尔出版社(新泽西)出版的Gonzalez和Woods的《数字图像处理(Digital Image Processing)》有涉及直方图匹配。直方图匹配是一种用于颜色匹配的技术，该技术将源图像的直方图与参考图像的直方图进行匹配。
[0004] 然而，如果源图像和参考图像由于相机或物体运动而未能完全对准，则直方图匹配可能由于失配而产生伪像。如果源图像和参考图像之间的曝光度差异较大，则直方图匹配图像，即直方图匹配操作产生的结果图像，也可能会由于失配而出现伪像。此外，直方图匹配通常涉及调亮源图像的暗区，这同时提高了图像噪声的水平并且降低了所得图像的质量。
发明内容
[0005] 鉴于上述缺点和问题，本发明旨在改进现有技术。具体而言，本发明的目的是分别提供一种装置和一种方法，所述装置和方法能够改进两个图像之间的颜色校正。
[0006] 本发明还旨在提高直方图匹配的质量，特别是在直方图匹配结果中包括的可能的颜色伪像和图像噪声方面提高直方图匹配的质量。本发明还旨在检测有直方图匹配相关伪像或噪声的像素点，以及有利地，旨在校正直方图匹配结果，其中这种像素点被称为离群点。
[0008] 本发明的第一方面提供了一种用于将至少一个源图像的颜色映射到参考图像的颜色的装置。所述装置包括直方图匹配单元，用于将所述源图像的直方图与所述参考图像的直方图进行匹配，以便生成所述源图像的直方图匹配图像。所述装置包括概率分布计算单元，用于生成所述参考图像的条件概率分布。所述装置还包括离群点检测单元，用于基于所述条件概率分布来检测所述直方图匹配图像中的离群点。
[0009] 因此，假设对于参考图像中的每个像素点，参考图像中的条件色分布，即中心像素点及其邻居的组合，应该与直方图匹配图像中的一样。条件色分布也称为条件概率分布。对可能的离群点，即由于失配而引起的伪像和噪声，的检测是基于检查直方图匹配图像中观察到的条件色分布是否可能出现在参考图像的目标颜色分布中。
[0010] 根据所述第一方面，在所述装置的第一实施形式中，所述概率分布计算单元用于：在考虑所述参考图像的给定像素点的相邻像素点的强度的情况下，通过估计所述给定像素点的强度的条件概率来生成所述条件概率分布，其中所述相邻像素点是根据邻域配置选择的。
[0011] 由此，可以确定参考图像的目标颜色分布，以便能够结合参考图像的条件概率分布来评估直方图匹配图像，从而能检测出离群点。
[0012] 根据所述第一方面，在所述装置的又一实施形式中，根据述源图像和/或所述参考图像的内容自适应地选择所述邻域配置。
[0013] 因此，条件概率分布不是固定的，而是可以调整的，以具体地适应必须结合参考图像来校正的当前源图像。也可以通过使邻域配置适应当前输入图像的内容来提高离群点检测的质量。
[0014] 根据所述第一方面，在所述装置的又一实施形式中，由所述邻域配置定义的邻居数量取决于所述源图像和/或所述参考图像的纹理。优选地，源图像和/或参考图像的均质区域越大和/或纹理越少，邻居数量就越多。
[0015] 因此，在源图像和/或参考图像的均质区域较大或纹理较少的情况下，可以增加邻居数量并增加配置的总体大小，从而能够改进离群点的检测。另一方面，如果输入图像包含相当多的纹理或只有小块的均质区域，则可以减少邻居数量和配置的总体大小，这也会减少用于直方图匹配图像中离群点检测的计算时间和工作量。
[0016] 根据所述第一方面，在所述装置的又一实施形式中，所述离群点检测单元用于：如果根据所述条件概率分布，所述直方图匹配图像的匹配像素点与其相邻像素点组合的概率低于阈值，则将所述匹配像素点检测为离群点，其中所述相邻像素点是根据所述邻域配置选择的。
[0017] 根据所述第一方面，在所述装置的又一实施形式中，所述离群点检测单元用于：如果对于所述直方图匹配图像的所述匹配像素点及其根据所述邻域配置选择的相邻像素点，所述条件概率低于阈值，则将所述匹配像素点检测为离群点。
[0018] 因此，对于自动检测像素点为离群点，将给定像素点组合的概率与阈值进行比较或将条件概率与阈值进行比较是一种合适的方法。
[0019] 根据所述第一方面，在所述装置的又一实施形式中，所述阈值由用户预定义或自动计算。优选地，所述阈值在0.05和0.3之间。
[0020] 因此，可以进一步调整离群点检测的质量。用户可以设置阈值来定义最适合需求的比较阈值。此外，可以基于先前实验获得的结果来自动调整阈值。
[0021] 根据所述第一方面，在所述装置的又一实施形式中，所述离群点检测单元用于为每个颜色通道检测所述直方图匹配图像中的离群点。
[0022] 因此，可以为具有不止一个颜色通道的源图像检测离群点。
[0023] 根据所述第一方面，在所述装置的又一实施形式中，所述离群点检测单元用于生成离群点图，所述离群点图标识在所述直方图匹配图像中检测到的所有离群点。
[0024] 因此，离群点检测的结果以一种方便的方式汇总在离群点图中，从而能对离群点图中的被标识为离群点的像素点进行后续校正。
[0025] 根据所述第一方面，在所述装置的又一实施形式中，所述装置包括离群点校正单元，用于通过以下方式来校正离群点：基于所述条件概率分布，校正被所述离群点检测单元检测为离群点的所述匹配像素点的所述强度。
[0026] 因此，也可以校正在直方图匹配图像中首先检测到的离群点，以便生成伪像和噪声较少的改进的直方图匹配图像。
[0027] 根据所述第一方面，在所述装置的又一实施形式中，通过找到使所述条件概率最大化的强度来校正被检测为离群点的所述匹配像素点的所述强度。
[0028] 因此，新发现的使条件概率最大化的强度将替代直方图匹配图像中的之前的强度值。然后通过这一替代来创建改进的直方图匹配图像。
[0029] 根据所述第一方面，在所述装置的又一实施形式中，所述离群点检测单元和所述离群点校正单元用于对离群点的检测和离群点的校正进行多次迭代。如果所述源图像和/或所述参考图像中的纹理量减小，则迭代次数优选地增加。
[0030] 因此，该迭代过程能进一步提高直方图匹配图像的质量。此外，如果纹理量增加，则基于源图像的内容，如纹理，来调整迭代次数可以避免不必要的迭代并节省计算时间和资源；如果纹理量减少，则基于源图像的内容，如纹理，来调整迭代次数可以提高整体质量。
[0031] 根据所述第一方面，在所述装置的又一实施形式中，所述装置包括边缘检测单元，用于：检测所述参考图像的边缘，检测所述直方图匹配图像的边缘，以及生成所述参考图像的对应边缘图和所述直方图匹配图像的对应边缘图。所述概率分布计算单元用于基于所述参考图像的所述边缘图生成所述条件概率分布。所述离群点检测单元用于基于所述直方图匹配图像的所述边缘图检测所述直方图匹配图像中的离群点。
[0032] 确实需要特别注意边缘，因为它们包括较大的梯度，这可能导致对条件分布的稀疏支持。所以，边缘可以检测为直方图匹配图像中的离群点，即错误像素点。因此，边缘检测可以通过在后续处理中排除边缘来改进离群点检测，排除的方式为，例如，不对边缘进行像素点颜色分布估计。然后，概率分布计算单元可以用于在不考虑参考图像的边缘图中的边缘的情况下生成条件概率分布，即，随后可以从条件概率估计中排除参考图像中检测到的边缘。离群点检测单元可以用于在不考虑直方图匹配图像的边缘图中的边缘的情况下检测离群点。
[0033] 根据所述第一方面，在所述装置的又一实施形式中，所述装置包括融合操作单元。所述边缘检测单元用于检测所述源图像的边缘，并生成所述源图像的对应边缘图。所述融合操作单元用于通过合并所述直方图匹配图像的所述边缘图和所述源图像的所述边缘图来处理所述直方图匹配图像的所述边缘图。
[0034] 因此，可以考虑在源图像上检测到的边缘，且在源图像上检测到的边缘可以改进对直方图匹配图像执行的边缘检测。这样还可以从后续处理中排除未在直方图匹配图像上检测到的边缘。
[0035] 根据所述第一方面，在所述装置的又一实施形式中，所述装置包括曝光评估单元，用于生成曝光图，其中，所述曝光图针对每个像素点位置确认所述位置上的像素点是在所述直方图匹配图像中还是在所述源图像中的曝光更好。所述融合操作单元用于通过根据所述曝光图合并所述直方图匹配图像的所述边缘图和所述源图像的所述边缘图来处理所述直方图匹配图像的所述边缘图。
[0036] 因此，基于曝光的合并支持高效的边缘合并操作。
[0037] 根据所述第一方面，在所述装置的又一实施形式中，所述装置包括侵蚀操作单元，用于对所述参考图像的所述边缘图和所述直方图匹配图像的所述边缘图进行侵蚀。
[0038] 因此，在后续处理中也可以丢弃检测到的边缘附近的像素点。
[0040] 因此，由于侵蚀取决于邻域配置，所以侵蚀可以防止边缘像素点成为该组相邻像素点的一部分，并且可以防止在检测和校正离群点时考虑这些边缘像素点。
[0041] 本发明的第二方面提供了一种用于将至少一个源图像的颜色映射到参考图像的颜色的方法。所述方法包括直方图匹配，所述直方图匹配包括将所述源图像的直方图与所述参考图像的直方图进行匹配，以便生成所述源图像的直方图匹配图像。所述方法包括概率分布计算，所述概率分布计算包括生成所述参考图像的条件概率分布。所述方法包括离群点检测，所述离群点检测包括基于所述条件概率分布来检测所述直方图匹配图像中的离群点。
[0042] 根据本发明第二方面所述的方法可以由如本发明第一方面所述的系统来执行。根据本发明第二方面所述的方法的其它特征或实施方式可以执行如本发明第一方面所述的装置的功能及其不同实施形式。
[0043] 本发明的第三方面提供了一种带有程序代码的计算机程序，当所述计算机程序在计算设备上运行时，用于执行所述方法。
[0044] 本发明的第四方面涉及使用所述方法进行高动态范围成像、背景减除或运动估计。
[0045] 须注意，本申请中描述的所有设备、元件、单元和装置都可以以软件或硬件元件或其任何形式的组合来实现。由本申请中描述的各种实体执行的所有步骤以及描述的由各种实体执行的功能旨在表示相应实体用于或被配置为执行相应的步骤和功能。在具体实施例的以下描述中，即使由外部实体完成的特定功能或步骤未在实施该特定步骤或功能的实体的具体详细元件的描述中反映，技术人员也应明白这些方法和功能可以在相应的软件或硬件元件或其任何形式的组合中实现。附图说明
[0046] 结合所附附图，下面具体实施例的描述将阐述上述本发明的各方面及其实现形式，其中：
[0047] 图1示出了根据本发明一实施例的装置。
[0048] 图2示出了根据本发明一实施例的邻域配置的示例。
[0049] 图3示出了根据本发明一实施例的由离群点检测单元生成的离群点图。
[0050] 图4示出了根据本发明一实施例的装置。
[0051] 图5示出了根据本发明一实施例的边缘映射单元。
[0052] 图6示出了根据本发明一实施例的边缘映射单元的输入图像以及由该边缘映射单元生成的不同图。
[0053] 图7示出了根据本发明一实施例的离群点检测与校正单元。
具体实施方式
[0054] 图1示意性地示出了根据本发明一实施例的装置56。
[0055] 装置56用于将至少一个源图像的颜色映射到参考图像的颜色。在这种情况下，颜色映射，或者或颜色校正或颜色匹配，是将源图像的颜色映射到参考图像的颜色的操作。装置56包括：直方图匹配单元52，用于将源图像的直方图与参考图像的直方图进行匹配，以便生成源图像的直方图匹配图像；概率分布计算单元54，用于生成参考图像的条件概率分布；以及离群点检测单元55，用于基于条件概率分布检测直方图匹配图像中的离群点。
[0056] 源图像是颜色分布或直方图在颜色映射操作过程中会被映射到参考的图像，参考图像是颜色分布或直方图在颜色映射操作过程中会被用作参考的图像。
[0057] 直方图匹配单元52用于将作为源图像的输入图像的直方图与作为参考图像的输入图像的直方图进行匹配，以便生成源图像的直方图匹配图像。图1所示的直方图匹配单元52包括两个输入，即源图像和参考图像，并且对源图像执行直方图匹配或者对源图像执行基于直方图匹配的方法。直方图匹配单元52的输出是源图像的直方图匹配图像。或者，直方图匹配单元52可以包括不止两个输入，这些输入包括参考图像和多个源图像。在这种情况下，直方图匹配单元52还提供多个输出，这些输出是源图像的相应直方图匹配图像。
[0058] 由直方图匹配单元52执行的直方图匹配包括将源图像的直方图与参考图像的直方图进行匹配，即，将源直方图与参考直方图进行匹配。该匹配输出源图像的直方图匹配图像，理想情况下，直方图匹配图像的颜色属性接近参考图像的颜色属性。
[0059] 如本领域已知的，匹配可以包括以下步骤，以生成直方图匹配图像。
[0060] 首先，从源图像和参考图像生成相应的直方图，其中直方图包括图像的像素点颜色强度的分布的图形说明。然后通过将直方图值除以相应图像中的总像素点数量来将所生成的两个直方图中的每一个归一化。
[0061] 在下一骤中，处理归一化直方图，以生成源图像和参考图像的两个直方图的相应累积分布函数(cumulative distribution function，CDF)，其中CDF根据等式FX(x)＝P(X≤x)描述随机变量X的概率分布等于或大于特定值x的似然性。这两个CDF可分别命名为Fsource()和Freference()。然后这两个CDF作为相应的查找表：每个查找表的索引对应于灰度值，每个查找表的给定索引处的内容对应于CDF的值。例如，灰度值的范围为0到255。
[0062] 在下一步骤中，针对具有关联灰度值Isource的源图像的每个像素点，使用源图像的查找表确定源图像的CDF的对应值。然后在查找表中搜索并确定该CDF值，以确定参考图像中相应的灰度值Ireference。最后，用灰度值Ireference代替源图像中的灰度值Isource，以生成源图像的直方图匹配图像。换言之，两个CDF用于将源图像中的{0，255}范围内的每个像素点灰度值Isource与新强度Ireference进行匹配，新强度Ireference满足以下等式：
[0063] Fsource(Isource)＝Freference(Ireference)。
[0064] 概率分布计算单元54用于生成参考图像的条件概率分布。优选地，概率分布计算单元54用于：在考虑参考图像的给定像素点的相邻像素点的强度In1，In2，In3……InN的情况下，通过估计该给定像素点的强度Ic的条件概率p(Ic|In1，In2，In3……InN)来生成条件概率分布，其中相邻像素点是根据邻域配置选择的。
[0065] 这意味着计算出了用于对参考图像的颜色分布进行建模的条件概率。对于所选的具有N个邻居的邻域配置，为每个邻居估计条件概率p(Ic|In1，In2，In3……InN)。值Ic和In1至InN分别表示邻域配置的中心像素点的强度和邻域配置的剩余像素点的N个强度。
[0066] 估计的条件概率基于的是使用贝叶斯框架根据等式p(a|b)＝p(a，b)/p(b)从包含目标颜色分布的参考图像计算出的联合概率p(Ic，In1，In2，In3……InN)和p(In1，In2，In3……InN)。或者，可以在估计条件概率之前进行假设，假设联合概率在统计学上是独立的。
[0067] 图2示出了根据本发明一实施例的由概率分布计算单元54使用，更通常地，由装置56使用的这种邻域配置的示例。
[0068] 根据第一示例，邻域配置包括中心像素点以及与中心像素点紧邻的四个像素点，即，位于中心像素点上方的像素点1、下方的像素点3、左侧的像素点2、右侧的像素点4。图2的第二个示例示出的配置包括中心像素点和四个方向上的两个像素点，即，中心像素点上方的两个像素点1和5、中心像素点下方的两个像素点3和7、中心像素点左侧的两个像素点2和6、中心像素点右侧的两个像素点4和8。中心像素点上方的两个像素点实际上对应于位于中心像素点1上方的相邻像素点以及位于该相邻像素点上方的相邻像素点。第三配置包括中心像素点和围绕中心像素点的所有八个像素点，即，四个相邻像素点1、2、3、4，以及对角线方向的四个像素点5、6、7、8。第四配置是第二配置和第三配置的组合，相应地包括：中心像素点，以及第二配置和第三配置中定义的所有相邻像素点。
[0069] 优选地，根据源图像和/或参考图像的内容自适应地选择装置56使用的邻域配置，特别是概率分布计算单元54使用的邻域配置。可以自适应地设置邻域配置的选择以适应输入图像的性质。自适应选择可以根据源图像或参考图像来执行，因为这两个输入图像应该包括相似内容，或者还可以根据这两个输入图像来执行。
[0070] 由邻域配置定义的邻居数量优选地取决于源图像和/或参考图像的纹理。优选地，源图像和/或参考图像的均质区域越大，邻居数量就越多。以及/或者，源图像和/或参考图像的纹理越少，邻居数量就越多。对于具有丰富纹理的输入图像，更合适邻居数量较少的配置，如图2中的第一配置。另一方面，邻居数量较高的配置，如图2中的第四配置，更适合均质区域较大且纹理较少的图像。
[0071] 对于邻域配置的自适应选择，装置56可以包括存储器(未示出)，用于存储不同的邻域配置，如图2所示的配置。装置56还可用于量化输入图像中的纹理量，并根据量化的纹理量选择所存储的配置。量化可以，例如，基于使用边缘检测的统计方法。
[0072] 参考图1，离群点检测单元55用于基于条件概率分布来检测直方图匹配图像中的离群点。离群点检测单元55包括两个输入：由直方图匹配单元52生成的直方图匹配图像和由概率分布计算单元54生成的条件概率分布。离群点被定义为在其自身处检测到直方图匹配相关伪像的像素点。
[0074] 优选地，离群点检测单元55用于：如果根据条件概率分布，直方图匹配图像的匹配像素点与其相邻像素点组合的概率低于阈值T，则将匹配像素点检测为离群点，其中相邻像素点是根据邻域配置选择的。
[0075] 优选地，离群点检测单元55用于：如果对于直方图匹配图像的匹配像素点及其根据邻域配置选择的相邻像素点，条件概率p(Ic|In1，In2，In3……InN)低于阈值T，则将匹配像素点检测为离群点。在用于生成条件概率分布的概率分布计算单元54的上下文中，邻域配置优选地为装置已选的配置。
[0076] 因此，在离群点检测单元55中，在考虑先前估计的条件概率分布和阈值T的情况下检测直方图匹配离群点。所提议的方法检查考虑的像素点和其在直方图匹配图像中的邻居的分布是否合适：
[0077] 如果p(Ic|In1，In2，In3……InN)>T，则可能像素点对应正确的匹配，[0078] 如果p(Ic|In1，In2，In3……InN)
[0079] 如果条件概率低于T，则假设中心像素点(考虑的像素点)是错误的，因此被认为是离群点。
[0080] 阈值T优选地存储在装置，可以由用户预定义或可以自动计算。用户可以，例如，向装置发送阈值T的值，或将该值直接存储在装置中。阈值T的值可以基于先前的实验来计算，即，凭经验计算。例如，如果在先前的实验中，被检测为离群点的匹配像素点的数量太高，即，如果检测到的离群点的数量相对于离群点的实际数量太高，则可以减小阈值T，以便在下一次颜色映射操作中检测出较少的离群点。否则，可以增加阈值T，以便在下一次颜色映射操作中检测出更多的离群点。阈值T可以优选地设置为包含在0.05与0.3之间的值。
[0081] 离群点检测单元55优选地用于为每个颜色通道检测直方图匹配图像中的离群点。即，可以为红色通道、绿色通道和蓝色通道检测直方图匹配图像中的离群点。每个通道的检测独立执行。执行离群点检测的颜色通道取决于所选的颜色模型。如果颜色映射基于RGB颜色模型，则在每个红色、绿色和蓝色通道内检测离群点。对于替代的CMYK颜色模型，在青色、品红色、黄色和黑色通道这四个通道的每一个通道内检测离群点。在输入图像，即源图像和参考图像，是灰度图像的情况下，仅有一个通道可用，则仅针对该通道检测离群点。
[0082] 优选地，离群点检测单元55用于生成标识在直方图匹配图像中检测到的所有离群点的离群点图。优选地，离群点图为二进制离群点图，即，指示直方图匹配离群点的位置或坐标的图。二进制离群点图的白像素点可表示可能的直方图匹配相关离群点的位置，而黑像素点则表示未被检测为离群点的像素点。相反，二进制离群点图的黑像素点也可表示检测到的离群点。
[0083] 如果离群点检测单元55用于为多个颜色通道，如RGB通道，检测直方图匹配图像中的离群点，则离群点检测单元55还用于生成多个离群点图。优选地，为每个颜色通道生成一个离群点图。
[0084] 为此，图3示出了根据本发明一实施例的由离群点检测单元55生成的离群点图。所示的三个离群点图分别为红色、绿色和蓝色通道的二进制离群点图，其中白像素点表示可能检测到的离群点。
[0085] 图4示出了根据本发明一实施例的装置106。装置106用于将至少一个源图像的颜色映射到参考图像的颜色。
[0086] 装置106包括：直方图匹配单元102，用于将源图像的直方图与参考图像的直方图进行匹配，以便生成源图像的直方图匹配图像；概率分布计算单元104，用于生成参考图像的条件概率分布；以及离群点检测与校正单元105，用于基于条件概率分布来检测直方图匹配图像中的离群点。优选地，直方图匹配单元102、概率分布计算单元104和离群点检测与校正单元105分别对应于并包括图1所示的装置56的直方图匹配单元52、概率分布计算单元54和离群点检测单元55的特征，并用于执行与单元52、单元54和单元55相同的功能。装置106的这些单元的附加特征将在下文中详细描述。
[0087] 优选地，装置106还包括捕获参考图像单元100和捕获源图像单元101。优选地，这些单元100和单元101为用于捕获参考图像和源图像的相机。如果对超过一个源图像执行颜色映射，则装置106可以包括一个或多个额外的捕获源图像单元。或者，参考图像和源图像可以仅由单个捕获图像单元(未示出)捕获，该单个捕获图像单元用于依次捕获参考图像和源图像，或依次捕获源图像和参考图像。这种单个捕获图像单元的输出端连接至直方图匹配单元102。或者，替代于包括捕获参考图像单元100和捕获源图像单元101，装置106可以包括一个或多个接口(未示出)，用于接收参考图像和源图像并将它们发送到直方图匹配单元102，在这种情况下，参考图像和源图像在装置106的外部捕获。
[0088] 此外，装置106优选地包括边缘映射单元103。边缘映射单元103将在图5中更详细地示出。
[0089] 优选地，边缘映射单元103包括边缘检测单元301，边缘检测单元301用于：检测参考图像的边缘，检测直方图匹配图像的边缘，以及生成参考图像的对应边缘图和直方图匹配图像的对应边缘图。这意味着参考图像的边缘图标识参考图像的所有检测到的边缘，直方图匹配图像的边缘图标识直方图匹配图像的所有检测到的边缘。边缘检测单元301包括已知的边缘检测器，如坎尼(Canny)边缘检测器，或基于差分边缘检测等其它技术的检测器。
[0090] 因此，概率分布计算单元104用于基于参考图像以及基于参考图像的边缘图生成条件概率分布。这意味着在生成条件概率分布时不会考虑在参考图像中检测到的边缘。
[0091] 类似地，离群点检测与校正单元105用于基于条件概率分布以及基于直方图匹配图像的边缘图检测直方图匹配图像中的离群点。这意味着在检测离群点时不会考虑在直方图匹配图像中检测到的边缘。
[0092] 此外，边缘映射单元103优选地包括侵蚀操作单元302，侵蚀操作单元302用于对参考图像的边缘图以及直方图匹配图像的边缘图进行侵蚀。换言之，侵蚀操作单元302首先用于检测已在参考图像和直方图匹配图像中检测到的边缘附近的像素点，其次，用于相应地校正参考图像的边缘图和直方图匹配图像的边缘图，从而也通过两个边缘图来标识在边缘附近检测到的像素点。侵蚀是一种形态图像处理操作，当形态图像处理操作应用于黑白图像等二进制图像时，会移除物体边界上的像素点。这通常意味着边界和边缘的扩张。在图4中，边缘检测单元301的输出相应地是侵蚀操作单元302的输入。
[0093] 优选地，侵蚀操作单元302用于根据侵蚀内核进行侵蚀，即，用于根据侵蚀内核检测边缘附近的像素点。侵蚀内核的大小则可以取决于装置的邻域配置，例如，与邻域配置的大小相同。侵蚀内核的大小可以取决于邻域配置的大小或深度。深度可以被定义为在邻域配置中从中心像素点到更远的像素点的距离。例如，图2所示的第一配置和第三配置的深度为2，因为除了中心像素点之外的所有像素点都是中心像素点的直接邻居。第二配置和第四配置的深度为3，因为，例如在第二配置中，较远的像素点5、6、7、8与中心像素点之间还间隔着一个像素点。
[0094] 此外，边缘映射单元103优选地包括融合操作单元304。边缘检测单元301用于检测源图像的边缘，并且生成源图像的对应边缘图。融合操作单元304用于通过合并直方图匹配图像的边缘图和源图像的边缘图来处理直方图匹配图像的边缘图。直方图匹配图像的处理后边缘图在图4和图5中被称为联合边缘图。可选地，侵蚀操作单元302用于对源图像的生成的边缘图进行侵蚀。
[0095] 此外，边缘映射单元103优选地包括曝光评估单元303，用于生成曝光图，其中，该曝光图针对每个像素点位置(x，y)确认该位置(x，y)上的像素点是在直方图匹配图像中还是在源图像中的曝光更好。融合操作单元304用于通过根据曝光图合并直方图匹配图像的边缘图和源图像的边缘图来处理直方图匹配图像的边缘图。
[0096] 在这种情况下，一个像素点比另一像素点曝光更好意味着该像素点的曝光度比另一像素点更好，其中曝光度描述由捕获单元，即，例如通过照相机，所收集的光量。低曝光图像看起来较暗，高曝光图像看起来较亮。曝光图能够忽略低曝光或高曝光的像素点，并优先处理曝光更好的像素点。
[0097] 曝光评估单元303从源图像和直方图匹配图像生成曝光图。曝光图是一个二进制图，其为每个像素点指示该像素点曝光最佳的图像。例如，如果二进制图的值在给定像素点位置(x，y)处分别为1和0，则表示由该位置定义的像素点在源图像中的曝光更好，而分别为0和1的值表示像素点在直方图匹配图像中的曝光更好。曝光图可以根据已知的曝光融合方法生成，曝光融合方法在，例如，2007年的计算机图形学大会(Pacific Graphics)上由Mertens、Kautz、VanReeth发表的《曝光融合(Exposure Fusion)》第369至378页有描述。
[0098] 融合操作单元304包括多个输入：直方图匹配图像的边缘图、源图像的边缘图以及优选地，曝光图。处理直方图匹配图像的边缘图的方式为：融合操作单元304根据曝光图自适应地合并直方图匹配图像的边缘图和源图像的边缘图。合并操作是基于先前生成的二进制曝光图，其中曝光值更高的边缘像素点将选入到联合边缘图中，即，选入到直方图匹配图像的处理后边缘图中。这支持高效的边缘合并操作。
[0099] 选择曝光更高的像素点允许丢弃例如强度接近零或一的像素点，即曝光不足或曝光过度的像素点。曝光可以通过使用高斯加权曲线根据以下等式计算：
[0100]
[0101] 如2007年的计算机图形学大会上由Mertens、Kautz、Van Reeth发表的《曝光融合》第369至378页所提出的，可以基于像素点有多接近0.5来权衡每个像素点强度，从而获得曝光或适度曝光，其中上述等式中的δ值可以是0.2。对于在多个通道中有多个强度的像素点，可以通过以下方式来获得曝光：对每个通道应用高斯加权曲线，然后将获得的每个通道的值相加或相乘。
[0102] 图6示出了根据本发明一实施例的边缘映射单元的输入图像以及由该边缘映射单元生成的不同图。具体地，图6示出了上文结合图5描述的不同图像和边缘图的示例。
[0103] 图7示出了根据本发明一实施例的离群点检测与校正单元。图7为图4的离群点检测与校正单元105的详细示意图。
[0104] 离群点检测与校正单元105包括对应于图1的离群点检测块55的离群点检测单元501，并相应地生成离群图。优选地，离群点检测与校正单元105以及离群点检测块55为每个颜色通道生成一个离群点图。
[0105] 离群点检测单元501与图1的离群点检测单元55的不同之处在于：离群点检测单元501还包括输入端，用于接收由边缘映射单元103生成的联合边缘图。如上所述，该关联边缘图包括源图像的边缘图和直方图匹配图像的边缘图。离群点检测单元501使用联合边缘图，以便在检测离群点时排除由该关联边缘图标识出的位置，即边缘。离群点检测单元501将该关联边缘图纳入考虑，生成一个离群点图，或生成针对各个通道的多个离群点图。
[0106] 离群点校正单元502设在离群点检测与校正单元105中，用于校正离群点图标识出的离群点。校正通过以下方式进行：基于条件概率分布来校正被离群点检测单元501检测为离群点的匹配像素点的强度。
[0107] 通过找到使条件概率p(Ic|In1，In2，In3……InN)最大化的强度Ic来校正被检测为离群点的匹配像素点的强度。因此，使条件概率最大化的新发现的强度IcNew将替代直方图匹配图像中的先前的强度值。
[0108] 因此，为每个颜色通道分别找到所有可能的离群点后，离群点校正单元块502专注于找到替代，从而校正如之前产生的离群点图中所指示的直方图匹配相关离群点。基本思路是使用中心像素点的邻居找到中心像素点的强度的最大经验估计(maximum a-posteriori estimation，MAP)估计值。MAP是一种贝叶斯估计方法，用于基于可用的经验信息来估计未观察到的数据的概率。这里，MAP估计值旨在找到使条件概率p(Ic|In1，In2，In3……InN)最大化的强度Ic：
[0109] IcNew＝arg max{p(I|In1，In2，In3……InN)}；I∈{0，255}。
[0110] 离群点校正单元502的输出为直方图匹配图像的改进版本，在图7中标记为统计性增强直方图匹配图像。离群点检测单元501和离群点校正单元502可以迭代多次，以提高所提议的方法的性能。迭代如图7所示，在迭代中，统计性增强直方图匹配图像被复用为离群点检测单元501和离群点校正单元502的输入。
[0111] 可以自动设置迭代次数以更好地适应输入图像的要求。例如，对于纹理较少的图像，增加迭代次数是有益的。由于迭代往往会模糊最终结果，所以对于纹理较多的图像，应减少迭代次数。要确定迭代次数，可以通过已知技术，例如通过计算贴片的方差、通过边缘检测或通过基于梯度的技术，计算反映纹理量的值。
[0112] 可选地，如果先前描述的检测和校正步骤进行了多次迭代，则可以在联合边缘图实现单元503中更新联合边缘图。例如，在检测和校正步骤的每次迭代之后执行该更新。联合边缘图实现单元503包括源图像和统计性增强直方图匹配图像这两个输入。联合边缘图实现单元503使用这两个输入图像来生成联合边缘图的更新版本，生成方式与边缘检测单元103基于源图像和直方图匹配图像生成联合边缘图的方式类似。这意味着联合边缘图实现单元503可以类似地包括边缘检测单元、可选的侵蚀操作单元、曝光评估单元和融合操作单元(未示出)，以生成联合边缘图的更新版本。然后将该更新版本反馈给如图7所示的离群点检测单元501。
[0113] 具体地，与边缘检测单元301类似，该边缘检测单元(未示出)可以检测统计性增强直方图匹配图像的边缘和源图像的边缘，并生成统计性增强直方图匹配图像的对应边缘图以及源图像的对应边缘图。与侵蚀操作单元302类似，该可选的侵蚀操作单元(未示出)可以对这两个边缘图进行侵蚀。此外，与曝光评估单元303和融合操作单元304类似，该曝光评估单元和该融合操作单元(未示出)随后可以生成联合边缘图的更新版本。
[0114] 得到的由离群点检测与校正单元105输出的直方图匹配图像包括的噪声和伪像更少，因此支持更好的、准确的边缘检测。
[0115] 已经结合作为实例的不同实施例以及实施方案描述了本发明。但本领域技术人员通过实践所请发明，研究附图、本公开以及独立权项，能够理解并获得其它变体。在权利要求以及描述中，术语“包括”不排除其它元件或步骤，且“一个”并不排除复数可能。单个元件或其它单元可满足权利要求书中所叙述的若干实体或项目的功能。在仅凭某些措施被记载在相互不同的从属权利要求书中这个单纯的事实并不意味着这些措施的组合不能在有利的实现方式中使用。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 海杂波幅度对数正态分布参数的分位点估计方法 | 2020-05-08 | 824 |
| 一种基于邮件数据分析的异常用户识别方法 | 2020-05-11 | 789 |
| 一种无接触感知追踪方法 | 2020-05-12 | 549 |
| 一种D-RoF系统中基于矢量量化的数据压缩方法 | 2020-05-15 | 190 |
| 基于LDACS的空地协同定位及完好性监测方法 | 2020-05-08 | 498 |
| 一种JPEG图像可逆信息隐藏方法 | 2020-05-12 | 763 |
| 无线传感器网络中分层数据回传链路能量收集存储方法 | 2020-05-11 | 62 |
| 一种基于PCA-Copula理论考虑风电相关性的电力系统经济调度方法 | 2020-05-13 | 919 |
| 用于图像/视频处理的单通道逆映射 | 2020-05-11 | 437 |
| 一种基于高斯多椭球模型的机器人系统可靠性分析方法 | 2020-05-12 | 121 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
累积分布函数热门专利
-
7 爆发分析
QQ群二维码
意见反馈
意见反馈