技术领域
[0001] 本
发明涉及图像
纹理合成技术领域，特别涉及一种非均匀纹理图像的合成控制方法、装置、存储介质及设备。
背景技术
[0002] 目前，纹理合成是图形学、
图像处理领域的
基础问题之一。广义上讲，纹理合成技术旨在合成符合人们要求的纹理图片，在真实感以及非真实感的绘制中有着广泛的应用(如图1所示，纹理合成的一些典型应用)，并且在图像修复、图像艺术
风格转换、网络压缩数据的快速传输以及计算机动画等方面有广阔的应用前景。纹理合成方法大致可分为两大类：基于参数化过程的纹理合成与非参数基于样例的纹理合成。由于基于参数化过程的纹理合成包含复杂的参数设计，现有的研究工作通常以基于样例的纹理合成为主。典型的基于样例的纹理合成(如图2所示)是指输入一张较小的纹理样本图片，合成一张较大的整体不同但局部相似的纹理图像。
[0003] 在过去的20年里，在基于样例的纹理合成方法上存在着了很多的进展。这些方法本质上都是假设输入样本纹理是均匀、静止的。然而，在真实世界中许多纹理都是非均匀的且包含一些
空域变化，例如纹理元素在
颜色、
亮度、模式、大小和方向上在纹理空域范围内逐渐变化，本发明将这些空域上的可
感知性渐变统称为纹理渐变。如图3所示，当前流行的大多数合成方法，对这些具有全局变化的纹理图像都很难进行自动化处理。此外，对于可能使用这些合成方法的纹理艺术家们来说，他们很少会对合成较大的纹理图像感兴趣。他们最初的目的是为3D模型制作出细腻逼真的表面纹理，而这需要对合成的结果进行精确的控制。然而，基于样图的纹理合成往往缺少对用户控制的简单直观的解释，因此，控制渐变纹理的合成在近些年受到一些关注。
[0004] 在现有的纹理合成方法上，一个通用的增加合成控制的方法是同时为样图和目标图添加人工创建的特征引导通道。引导通道能通过“texture-by-numbers”的方式来
指定样图中的哪些内容如何放置在输出纹理中。这种流程中人工标注工作量很大，尤其是当纹理存在空间连续变化时。当前的一种自调节纹理优化方法能自动计算引导通道，但这种方法主要用来保存较大规模结构信息，如曲线特征，而不能用来控制空域上的渐变。可见，当前缺少非均匀纹理图像的合成控制方法。
发明内容
[0005] 本发明的
实施例提供一种非均匀纹理图像的合成控制方法、装置、存储介质及设备，以解决
现有技术中缺少非均匀纹理图像的合成控制方法的问题。
[0006] 为达到上述目的，本发明采用如下技术方案：
[0007] 一种非均匀纹理图像的合成控制方法，包括：
[0008] 获取用户输入的纹理样图，对所述纹理样图进行特征分析，提取所述纹理样图的源引导通道信息；所述源引导通道信息包括纹理样图渐变图和纹理样图方向场；
[0009] 获取用户绘制的目标引导图像的目标渐变图与目标方向场，并将所述目标渐变图与目标方向场作为目标引导通道信息；
[0010] 比较源引导通道信息与目标引导通道信息的差异，建立渐变性约束项和方向性约束项；
[0011] 确定纹理样图与目标图像中
块与块之间的距离度量，并在所述距离度量上增加所述渐变性约束项和方向性约束项；
[0012] 将增加约束项后的块与块之间的距离度量总和的最小值对应的目标样图作为合成控制结果图像。
[0013] 具体的，对所述纹理样图进行特征分析，提取所述纹理样图的源引导通道信息，包括：
[0014] 对所述纹理样图进行特征分析，提取所述纹理样图渐变图；
[0015] 对所述纹理样图进行特征分析，提取所述纹理样图渐变图，包括：
[0016] 对所述纹理样图以预设
采样间隔和预设采样窗口进行降采样，并计算预设采样窗口内的各
特征向量；
[0017] 创建特征向量的距离矩阵M；所述距离矩阵M包括各元素mij，每个元素mij用于表示所述特征向量中两个特征向量相应的直方图的EMD距离之和；
[0018] 在所述距离矩阵M上，使用Isomap方法获取每个特征向量在一维流形上的坐标，并归一化坐标值；
[0019] 创建一标量图；所述标量图中的每个
像素对应进行降采样中的采样点，且每个像素的像素幅值为每个特征向量对应的归一化坐标值；
[0020] 将所述标量图采样到所述纹理图像的全
分辨率，形成全分辨率标量图，并将所述全分辨率标量图作为渐变通道。
[0021] 具体的，对所述纹理样图进行特征分析，提取所述纹理样图的源引导通道信息，包括：
[0022] 对所述纹理样图进行特征分析，提取所述纹理样图方向场；
[0023] 对所述纹理样图进行特征分析，提取所述纹理样图方向场，包括：
[0024] 将所述纹理样图划分为预设像素大小的非重叠纹理块；
[0025] 在每个非重叠纹理块上计算梯度方向直方图特征描述子；
[0026] 根据所述梯度方向直方图特征描述子将非重叠纹理块的梯度方向直方图转化为一组方向向量；
[0027] 通过PCA
降维方法获得所述方向向量中的主方向向量场，并将所述主方向向量场作为所述纹理样图方向场；所述主方向向量场为所述方向向量的最大特征值对应的特征向量。
[0028] 具体的，所述渐变性约束项包括渐变通道相似性；所述方向性约束项包括方向场相似性；
[0029] 比较源引导通道信息与目标引导通道信息的差异，建立渐变性约束项和方向性约束项，包括：
[0030] 根据公式：dp(ti,si)＝||p(ti)-p(si)||1确定所述渐变通道相似性dp(ti,si)；其中，ti为目标图像中一预设像素大小的块；si为所述纹理样图中与ti最相似的块；p(ti)为ti块的渐变通道展成的向量；p(si)为si块的渐变通道展成的向量；
[0031] 根据公式： 确定所述方向场相似性do(ti,si)；其中，vx和vy分别为si块中的像素x和ti块中的像素y上的方向向量。
[0032] 具体的，确定纹理样图与目标图像中块与块之间的距离度量，并在所述距离度量上增加所述渐变性约束项和方向性约束项，包括：
[0033] 根据公式： 确定增加约束项后的块与块之间的距离度量d(ti,si)；其中，α为预设约束权重；β为预设调节权重。
[0034] 具体的，将增加约束项后的块与块之间的距离度量总和的最小值对应的目标样图作为合成控制结果图像，包括：
[0035] 根据函数： 确定增加约束项后的块与块之间的距离度量总和的最小值对应的目标样图，并作为合成控制结果图像。
[0036] 一种非均匀纹理图像的合成控制装置，包括：
[0037] 源引导通道信息提取单元，用于获取用户输入的纹理样图，对所述纹理样图进行特征分析，提取所述纹理样图的源引导通道信息；所述源引导通道信息包括纹理样图渐变图和纹理样图方向场；
[0038] 目标引导通道信息获取单元，用于获取用户绘制的目标引导图像的目标渐变图与目标方向场，并将所述目标渐变图与目标方向场作为目标引导通道信息；
[0039] 约束项建立单元，用于比较源引导通道信息与目标引导通道信息的差异，建立渐变性约束项和方向性约束项；
[0040] 距离度量确定单元，用于确定纹理样图与目标图像中块与块之间的距离度量，并在所述距离度量上增加所述渐变性约束项和方向性约束项；
[0041] 合成控制结果图像确定单元，用于将增加约束项后的块与块之间的距离度量总和的最小值对应的目标样图作为合成控制结果图像。
[0042] 此外，所述源引导通道信息提取单元，包括纹理样图渐变图提取模块，用于：
[0043] 对所述纹理样图进行特征分析，提取所述纹理样图渐变图；
[0044] 所述纹理样图渐变图提取模块，具体用于：
[0045] 对所述纹理样图以预设采样间隔和预设采样窗口进行降采样，并计算预设采样窗口内的各特征向量；
[0046] 创建特征向量的距离矩阵M；所述距离矩阵M包括各元素mij，每个元素mij用于表示所述特征向量中两个特征向量相应的直方图的EMD距离之和；
[0047] 在所述距离矩阵M上，使用Isomap方法获取每个特征向量在一维流形上的坐标，并归一化坐标值；
[0048] 创建一标量图；所述标量图中的每个像素对应进行降采样中的采样点，且每个像素的像素幅值为每个特征向量对应的归一化坐标值；
[0049] 将所述标量图采样到所述纹理图像的全分辨率，形成全分辨率标量图，并将所述全分辨率标量图作为渐变通道。
[0050] 此外，所述源引导通道信息提取单元，包括纹理样图方向场提取模块，用于：
[0051] 对所述纹理样图进行特征分析，提取所述纹理样图方向场；
[0052] 所述纹理样图方向场提取模块，具体用于：
[0053] 将所述纹理样图划分为预设像素大小的非重叠纹理块；
[0054] 在每个非重叠纹理块上计算梯度方向直方图特征描述子；
[0055] 根据所述梯度方向直方图特征描述子将非重叠纹理块的梯度方向直方图转化为一组方向向量；
[0056] 通过PCA降维方法获得所述方向向量中的主方向向量场，并将所述主方向向量场作为所述纹理样图方向场；所述主方向向量场为所述方向向量的最大特征值对应的特征向量。
[0057] 此外，所述约束项建立单元中建立的渐变性约束项包括渐变通道相似性，方向性约束项包括方向场相似性；
[0058] 所述约束项建立单元，具体用于：
[0059] 根据公式：dp(ti,si)＝||p(ti)-p(si)||1确定所述渐变通道相似性dp(ti,si)；其中，ti为目标图像中一预设像素大小的块；si为所述纹理样图中与ti最相似的块；p(ti)为ti块的渐变通道展成的向量；p(si)为si块的渐变通道展成的向量；
[0060] 根据公式： 确定所述方向场相似性do(ti,si)；其中，vx和vy分别为si块中的像素x和ti块中的像素y上的方向向量。
[0061] 此外，所述距离度量确定单元，具体用于：
[0062] 根据公式： 确定增加约束项后的块与块之间的距离度量d(ti,si)；其中，α为预设约束权重；β为预设调节权重。
[0063] 此外，所述合成控制结果图像确定单元，具体用于：
[0064] 根据函数： 确定增加约束项后的块与块之间的距离度量总和的最小值对应的目标样图，并作为合成控制结果图像。
[0065] 一种包括计算机可读指令的计算机可读存储介质，所述计算机可读指令在被执行时使处理器至少执行上述的非均匀纹理图像的合成控制方法。
[0066] 一种设备，包括处理器；和包括计算机可读指令的
存储器，所述计算机可读指令在被执行时使所述处理器执行上述的非均匀纹理图像的合成控制方法。
[0067] 本发明实施例提供的非均匀纹理图像的合成控制方法、装置、存储介质及设备，首先获取用户输入的纹理样图，对所述纹理样图进行特征分析，提取所述纹理样图的源引导通道信息；所述源引导通道信息包括纹理样图渐变图和纹理样图方向场；之后，获取用户绘制的目标引导图像的目标渐变图与目标方向场，并将所述目标渐变图与目标方向场作为目标引导通道信息；然后，比较源引导通道信息与目标引导通道信息的差异，建立渐变性约束项和方向性约束项；之后，确定纹理样图与目标图像中块与块之间的距离度量，并在所述距离度量上增加所述渐变性约束项和方向性约束项；从而，将增加约束项后的块与块之间的距离度量总和的最小值对应的目标样图作为合成控制结果图像。本发明实施例改进了纹理优化中的距离度量，使得通过用户提供的目标引导通道来完成合成控制结果。可见，本发明克服了现有技术中缺少非均匀纹理图像的合成控制方法的问题。
附图说明
[0068] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0069] 图1为现有技术中纹理合成的一些典型应用的示意图；
[0070] 图2为现有技术中基于样例的纹理合成的示意图；
[0071] 图3为现有技术中采用自调节纹理优化
算法进行非均匀纹理和带方向性纹理自由合成的结果示意图；
[0072] 图4为本发明实施例提供的一种非均匀纹理图像的合成控制方法的
流程图一；
[0073] 图5为本发明实施例中的纹理样图(a)、纹理样图渐变图和纹理样图方向场(b)、目标渐变图与目标方向场(c)、合成控制结果图像(d)的示意图；
[0074] 图6为本发明实施例提供的一种非均匀纹理图像的合成控制方法的流程图二；
[0075] 图7为本发明实施例中的非均匀纹理样图以及各自对应的渐变通道示意图；
[0076] 图8为本发明实施例中的方向性纹理及提取的主方向向量场的示意图；
[0077] 图9为本发明实施例中的纹理合成结果示意图；
[0078] 图10为本发明实施例中的输入样图、在样图上
叠加方向向量场、使用波浪形目标向量场引导合成的结果示意图；
[0079] 图11为本发明实施例中的输入样图及对应源引导图，以及四种目标引导图及对应的合成结果的示意图；
[0080] 图12为本发明实施例中的合成风化纹理序列的结果示意图；
[0081] 图13为本发明实施例中的针对特定3D模型的纹理合成例子的示意图；
[0082] 图14为本发明实施例提供的一种非均匀纹理图像的合成控制装置的结构示意图一；
[0083] 图15为本发明实施例提供的一种非均匀纹理图像的合成控制装置的结构示意图二；
[0084] 图16为本发明实施例提供的一种设备的结构示意图。
具体实施方式
[0085] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0086] 如图4所示，本发明实施例提供一种非均匀纹理图像的合成控制方法，包括：
[0087] 步骤101、获取用户输入的纹理样图，对所述纹理样图进行特征分析，提取所述纹理样图的源引导通道信息。
[0088] 其中，所述源引导通道信息包括纹理样图渐变图和纹理样图方向场。
[0089] 步骤102、获取用户绘制的目标引导图像的目标渐变图与目标方向场，并将所述目标渐变图与目标方向场作为目标引导通道信息。
[0090] 步骤103、比较源引导通道信息与目标引导通道信息的差异，建立渐变性约束项和方向性约束项。
[0091] 步骤104、确定纹理样图与目标图像中块与块之间的距离度量，并在所述距离度量上增加所述渐变性约束项和方向性约束项。
[0092] 步骤105、将增加约束项后的块与块之间的距离度量总和的最小值对应的目标样图作为合成控制结果图像。
[0093] 例如，如图5所示，通过纹理样图(a)、纹理样图渐变图和纹理样图方向场(b)、目标渐变图与目标方向场(c)，最终得到合成控制结果图像(d)。
[0094] 本发明实施例提供的非均匀纹理图像的合成控制方法，首先获取用户输入的纹理样图，对所述纹理样图进行特征分析，提取所述纹理样图的源引导通道信息；所述源引导通道信息包括纹理样图渐变图和纹理样图方向场；之后，获取用户绘制的目标引导图像的目标渐变图与目标方向场，并将所述目标渐变图与目标方向场作为目标引导通道信息；然后，比较源引导通道信息与目标引导通道信息的差异，建立渐变性约束项和方向性约束项；之后，确定纹理样图与目标图像中块与块之间的距离度量，并在所述距离度量上增加所述渐变性约束项和方向性约束项；从而，将增加约束项后的块与块之间的距离度量总和的最小值对应的目标样图作为合成控制结果图像。本发明实施例改进了纹理优化中的距离度量，使得通过用户提供的目标引导通道来完成合成控制结果。可见，本发明克服了现有技术中缺少非均匀纹理图像的合成控制方法的问题。
[0095] 为了使本领域的技术人员更好的了解本发明，下面列举一个更为详细的实施例，如图6所示，本发明实施例提供一种非均匀纹理图像的合成控制方法，包括：
[0096] 步骤201、获取用户输入的纹理样图。
[0097] 步骤202、对所述纹理样图以预设采样间隔和预设采样窗口进行降采样，并计算预设采样窗口内的各特征向量。
[0098] 其中，预设采样间隔可以为8个像素，而预设采样窗口大小可以为48×48像素。
[0099] 步骤203、创建特征向量的距离矩阵M。
[0100] 其中，所述距离矩阵M包括各元素mij，每个元素mij用于表示所述特征向量中两个特征向量相应的直方图的EMD距离之和。
[0101] 其中，EMD(Earth Movers'Distance)是用来衡量两个特征分布之间相似度的一个重要的度量。在计算机科学与技术中，地球移动距离(EMD)是一种在D区域两个概率分布距离的度量，就是被熟知的Wasserstein度量标准。即，如果两个分布被看作在D区域上两种不同方式堆积一定数量的山堆，那么EMD就是把一堆变成另一堆所需要移动单位小块最小的距离之和。上述的定义如果两个分布有着同样的整体(就像两个堆有着同样的数量)，在规范化的直方图或者概率
密度函数上。在这基础上，EMD等同于两个分布的第一Mallows距离或者第一Wasserstein距离。
[0102] 步骤204、在所述距离矩阵M上，使用Isomap方法获取每个特征向量在一维流形上的坐标，并归一化坐标值。
[0103] 步骤205、创建一标量图。
[0104] 其中，所述标量图中的每个像素对应进行降采样中的采样点，且每个像素的像素幅值为每个特征向量对应的归一化坐标值。
[0105] 步骤206、将所述标量图采样到所述纹理图像的全分辨率，形成全分辨率标量图，并将所述全分辨率标量图作为渐变通道。
[0106] 该渐变通道能表达纹理在颜色、亮度、模式结构中低频信息的改变。
[0107] 如图7所示，展示了非均匀纹理样图，以及各自对应的渐变通道(其中图7的上部四幅为非均匀纹理样图，下部四幅为各自对应的渐变通道)。
[0108] 步骤207、将所述纹理样图划分为预设像素大小的非重叠纹理块。
[0109] 该预设像素大小可以为16×16像素。
[0110] 步骤208、在每个非重叠纹理块上计算梯度方向直方图特征描述子。
[0111] 步骤209、根据所述梯度方向直方图特征描述子将非重叠纹理块的梯度方向直方图转化为一组方向向量。
[0112] 步骤210、通过PCA降维方法获得所述方向向量中的主方向向量场，并将所述主方向向量场作为所述纹理样图方向场；所述主方向向量场为所述方向向量的最大特征值对应的特征向量。
[0113] 其中，PCA为主成分分析(Principal Component Analysis)，是一种统计方法。通过
正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。其数学定义为，PCA是一个正交化线性变换，把数据变换到一个新的
坐标系统中，使得这一数据的任何投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，并依次类推。
[0114] 该纹理样图方向场能够描述纹理的局部主方向。
[0115] 如图8所示，展示了几个具有不同方向性程度的纹理以及用上述方式提取的主方向向量场。
[0116] 步骤211、获取用户绘制的目标引导图像的目标渐变图与目标方向场，并将所述目标渐变图与目标方向场作为目标引导通道信息。
[0117] 步骤212、比较源引导通道信息与目标引导通道信息的差异，建立渐变性约束项和方向性约束项。
[0118] 具体的，所述渐变性约束项包括渐变通道相似性；所述方向性约束项包括方向场相似性；
[0119] 此处的步骤212可以通过如下方式实现：
[0120] 根据公式：dp(ti,si)＝||p(ti)-p(si)||1确定所述渐变通道相似性dp(ti,si)；其中，ti为目标图像中一预设像素大小的块，例如10×10像素大小的块；si为所述纹理样图中与ti最相似的块；p(ti)为ti块的渐变通道展成的向量；p(si)为si块的渐变通道展成的向量。
[0121] 根据公式： 确定所述方向场相似性do(ti,si)；其中，vx和vy分别为si块中的像素x和ti块中的像素y上的方向向量。
[0122] 步骤213、确定纹理样图与目标图像中块与块之间的距离度量，并在所述距离度量上增加所述渐变性约束项和方向性约束项。
[0123] 例如，可根据公式： 确定增加约束项后的块与块之间的距离度量d(ti,si)；其中，α为预设约束权重，其用来平衡色彩差异与引导通道差异之间的关系，其值一般可以为0.9；β为预设调节权重，可以用来调节渐变约束和方向约束之间的权重，一般情况下，对于同时具备渐变性和方向性的纹理样图，其值可以为
0.5。
[0124] 步骤214、将增加约束项后的块与块之间的距离度量总和的最小值对应的目标样图作为合成控制结果图像。
[0125] 此处，可根据函数： 确定增加约束项后的块与块之间的距离度量总和的最小值对应的目标样图，并作为合成控制结果图像。
[0126] 以下是通过上述步骤201至步骤214所实现的的具体结果展示：
[0127] 在本发明实施例中，可以通过Matlab
软件来实现所有的纹理分析程序。从600*400像素大小的纹理样图中提取源引导通道大约需要60分钟。大部分时间花费在构建特征向量之间的距离矩阵，然后将其作为输入提供给Isomap算法。纹理合成是在现有的自调节纹理优化代码的基础上实现的。通过本发明实施例来合成一个大小为512*512像素的纹理大约需要25分钟。所有的时间花费都是在一台主频为3.4GHz(英特尔至强E5-2687W)的处理器及8GB内存的计算机上测量的。
[0128] 图9展示了一组纹理合成结果，这些纹理在光照，
色调/
饱和度，尺度和模式上具有显著的空域变化。每个样例(第1列和第4列)的旁边，展示了通过纹理分析提取出的标量引导通道(第2列和第5列)。在所有的例子中，目标引导通道都是一个光滑高斯
凸块(或它的反相)。第3列和第6列展示了我们引导合成的结果，合成结果达到了预期效果。
[0129] 图10展示了在强方向性纹理中控制局部方向的能
力。中间栏列出了在输入样图上叠加提取出的方向向量场。在该图10中，仅仅通过波状目标向量场来控制局部方向，并没有用到标量引导通道。在图10中，左列为输入样图，中间列为在样图上叠加向量场，右侧为使用波浪形目标向量场引导合成的结果。
[0130] 图11展示了本发明能同时使用标量引导通道和向量场来独立控制合成的结果。因此，为了达到特定的合成效果，不同的空域变化特性可能会同时与局部方向一起被独立地控制。其中，在该图11中，顶行展示了输入样图及对应源引导图，下面两行展示了四种目标引导图及对应的合成结果。
[0131] 同时，本发明还能带来许多不同的应用。例如：
[0132] 图12展示了合成风化纹理序列的结果，从左到右风化程度逐渐增大，原始样图位于中间列。标量渐变通道可作为一个有效的“年龄图”，通过提供合适的目标引导图序列，本发明能够合成比原始样图表现出更少或更多风化的纹理。我们首先
阈值化源引导通道G以识别输入纹理T中一块“干净”的区域。然后只使用干净区域中的块来合成一个干净的纹理Tc。然而，当合成Tc时，本发明还需要从源引导通道G合成一个新的引导通道Gc。另一个阈值tw用于检测T中完全风化的区域(满足G＜tw的区域)。接下来，产生引导图序列Gi，通过逐渐从Gc过渡到G，然后继续逐渐变暗那些尚未达到tw的这些区域，而冻结已经风化的区域。图12所示结果证明了纹理合成时使用引导图序列能带给用户所期望的随时间变化的风化序列。
[0133] 图13展示了针对特定3D模型的纹理合成例子，油漆桶(上)使用了两个锈蚀纹理，一个用于合成顶面，一个用于合成圆柱面，目标引导图是用几个简单渐变创建的。小狗(下)使用了带方向的样图来合成，引导图包含渐变图和向量场两部分，其中小狗头部纹理是已有的，身体上的皮毛是本发明实施例的方法合成的。结果表明我们的纹理合成控制效果非常显著。首先在3ds Max中为每个模型创建一副UV图，然后在UV图上绘制用户需提供的目标引导图(如图，引导图被映射到模型上)。标量通道是在Photoshop使用几个简单的渐变填充创建的。小狗例子的向量场是使用谐波插值从几个用户绘制的引导曲线插值得到。
[0134] 可见，本发明实施例提供的非均匀纹理图像的合成控制方法，改进了纹理优化中的距离度量，使得通过用户提供的目标引导通道来完成合成控制结果。可见，本发明克服了现有技术中缺少非均匀纹理图像的合成控制方法的问题。
[0135] 如图14所示，对应于上述图4和图6所示的方法实施例，本发明实施例还提供一种非均匀纹理图像的合成控制装置，包括：
[0136] 源引导通道信息提取单元301，可以获取用户输入的纹理样图，对所述纹理样图进行特征分析，提取所述纹理样图的源引导通道信息；所述源引导通道信息包括纹理样图渐变图和纹理样图方向场。
[0137] 目标引导通道信息获取单元302，可以获取用户绘制的目标引导图像的目标渐变图与目标方向场，并将所述目标渐变图与目标方向场作为目标引导通道信息。
[0138] 约束项建立单元303，可以比较源引导通道信息与目标引导通道信息的差异，建立渐变性约束项和方向性约束项。
[0139] 距离度量确定单元304，可以确定纹理样图与目标图像中块与块之间的距离度量，并在所述距离度量上增加所述渐变性约束项和方向性约束项。
[0140] 合成控制结果图像确定单元305，可以将增加约束项后的块与块之间的距离度量总和的最小值对应的目标样图作为合成控制结果图像。
[0141] 此外，如图15所示，所述源引导通道信息提取单元301，包括纹理样图渐变图提取模块311，用于：
[0142] 对所述纹理样图进行特征分析，提取所述纹理样图渐变图。
[0143] 所述纹理样图渐变图提取模块311，具体用于：
[0144] 对所述纹理样图以预设采样间隔和预设采样窗口进行降采样，并计算预设采样窗口内的各特征向量。
[0145] 创建特征向量的距离矩阵M；所述距离矩阵M包括各元素mij，每个元素mij用于表示所述特征向量中两个特征向量相应的直方图的EMD距离之和。
[0146] 在所述距离矩阵M上，使用Isomap方法获取每个特征向量在一维流形上的坐标，并归一化坐标值。
[0147] 创建一标量图；所述标量图中的每个像素对应进行降采样中的采样点，且每个像素的像素幅值为每个特征向量对应的归一化坐标值。
[0148] 将所述标量图采样到所述纹理图像的全分辨率，形成全分辨率标量图，并将所述全分辨率标量图作为渐变通道。
[0149] 此外，所述源引导通道信息提取单元301，包括纹理样图方向场提取模块312，用于：
[0150] 对所述纹理样图进行特征分析，提取所述纹理样图方向场。
[0151] 所述纹理样图方向场提取模块312，具体用于：
[0152] 将所述纹理样图划分为预设像素大小的非重叠纹理块。
[0153] 在每个非重叠纹理块上计算梯度方向直方图特征描述子。
[0154] 根据所述梯度方向直方图特征描述子将非重叠纹理块的梯度方向直方图转化为一组方向向量。
[0155] 通过PCA降维方法获得所述方向向量中的主方向向量场，并将所述主方向向量场作为所述纹理样图方向场；所述主方向向量场为所述方向向量的最大特征值对应的特征向量。
[0156] 此外，所述约束项建立单元303中建立的渐变性约束项包括渐变通道相似性，方向性约束项包括方向场相似性。
[0157] 所述约束项建立单元303，具体用于：
[0158] 根据公式：dp(ti,si)＝||p(ti)-p(si)||1确定所述渐变通道相似性dp(ti,si)；其中，ti为目标图像中一预设像素大小的块；si为所述纹理样图中与ti最相似的块；p(ti)为ti块的渐变通道展成的向量；p(si)为si块的渐变通道展成的向量。
[0159] 根据公式： 确定所述方向场相似性do(ti,si)；其中，vx和vy分别为si块中的像素x和ti块中的像素y上的方向向量。
[0160] 此外，所述距离度量确定单元304，具体用于：
[0161] 根据公式： 确定增加约束项后的块与块之间的距离度量d(ti,si)；其中，α为预设约束权重；β为预设调节权重。
[0162] 此外，所述合成控制结果图像确定单元305，具体用于：
[0163] 根据函数： 确定增加约束项后的块与块之间的距离度量总和的最小值对应的目标样图，并作为合成控制结果图像。
[0164] 另外，本发明实施例还提供一种包括计算机可读指令的计算机可读存储介质，所述计算机可读指令在被执行时使处理器至少执行上述图4和图6对应的非均匀纹理图像的合成控制方法。
[0165] 另外，如图16所示，本发明实施例还提供一种设备，包括处理器41；和包括计算机可读指令的存储器42，所述计算机可读指令在被执行时使所述处理器执行上述图4和图6对应的非均匀纹理图像的合成控制方法。
[0166] 综上所述，本发明实施例首先获取用户输入的纹理样图，对所述纹理样图进行特征分析，提取所述纹理样图的源引导通道信息；所述源引导通道信息包括纹理样图渐变图和纹理样图方向场；之后，获取用户绘制的目标引导图像的目标渐变图与目标方向场，并将所述目标渐变图与目标方向场作为目标引导通道信息；然后，比较源引导通道信息与目标引导通道信息的差异，建立渐变性约束项和方向性约束项；之后，确定纹理样图与目标图像中块与块之间的距离度量，并在所述距离度量上增加所述渐变性约束项和方向性约束项；从而，将增加约束项后的块与块之间的距离度量总和的最小值对应的目标样图作为合成控制结果图像。本发明实施例改进了纹理优化中的距离度量，使得通过用户提供的目标引导通道来完成合成控制结果。可见，本发明克服了现有技术中缺少非均匀纹理图像的合成控制方法的问题。
[0167] 本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或
计算机程序产品。因此，本发明可采用完全
硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0168] 本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方
框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程
数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0169] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0170] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0171] 本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本
说明书内容不应理解为对本发明的限制。
