基于互联网的图片自动合成系统专利检索-均值漂移过程视听技术与设备专利检索查询-专利查询网

基于互联网的图片自动合成系统

阅读：1021发布：2020-05-08

专利汇可以提供基于互联网的图片自动合成系统专利检索，专利查询，专利分析的服务。并且本方法公开了一种基于互联网的图片自动合成系统，该方法的步骤如下：步骤(1)获取文本信息并建立图片候选集；步骤(2)候选图片一致性重排；步骤(3)基于统计的方法提取海量同类型图片的元素分布；步骤(4)在背景图片上推荐生成前景元素布局候选；步骤(5)将候选图片无缝融合拼接至背景图片上；本方法在海量互联网图片基础上，通过内容一致性筛选图片，并通过统计同类型图片的元素分布推荐前景位置，将前景图片无缝融合拼接至背景图片对应位置，得到自动合成的图片。实验结果表明仅通过定义文本信息可实现图片的自动合成，可供不具备图像处理的专业技能人员使用。，下面是基于互联网的图片自动合成系统专利的具体信息内容。

权利要求

1.基于互联网的图片自动合成系统，其特征在于：本方法的实施过程如下，步骤(1)获取文本标签并建立前景图片集
把图片中显著区域(即人类感兴趣的区域，通常是人物或物体)称为图片前景，图片其余部分称为图片背景；系统首先获取合成图片包含前景的文本标签，输入的文本标签可以是单独关键字短文本信息，也可以是长文本信息；当输入内容为长文本信息时，使用基于关键字提取技术提取长文本信息的关键字作为前景的文本标签；确定文本标签后，依托Google Image搜索引擎检索下载与文本标签一致图片，建立图片候选集用于后续的图片筛选；
步骤(2)基于图片特征的一致性排序
针对图片候选集，首先使用合理性检测，删除下载失败的图片；使用复杂性检测，删除背景复杂的图片；接着使用基于HSV颜色直方图的方法，提取图片的颜色信息用于表示视觉特征；利用图片的视觉特征进行一致性排序，构建前景图片集；
步骤(3)基于统计方法收集前景分布信息
前景图片和前景分布是完成图片合成的两个必需因素，所述前景分布是指前景图片在背景图片上的位置、大小信息，其中，背景图片可以人为选定，或者系统默认，前景分布由圆表示，具体使用(x，y，s)T三维特征记录布局信息，圆心在背景图片上的位置(x，y)确定了前景图片在背景图片中的位置，圆所覆盖的范围表示前景图片的大小，s表示圆的半径。建立一个具备良好图像分布的数据库，使用基于统计的方法从数据库中收集与目标图片属同类图片的前景分布用于前景分布推荐，同类图片是指含有相似背景和同种前景的图片；使用目标检测的方法，记录同类图片内前景的分布信息用于下一步前景分布推荐；
步骤(4)为给定的背景图片生成前景布局推荐
建立正规则和负规则来生成布局候选：正规则是指前景布局出现概率，出现概率越高，正分数越高；负规则是根据基于美学规则建立的(即前景不应该覆盖背景的灭点，背景上直线不应穿透前景)，通过负规则得到负分数；将正分数和负分数乘积作为最终得分，将得分高的布局作为推荐；
步骤(5)将前景拼接至背景布局推荐处
使用步骤(2)获得的前景图片和步骤(4)获得的布局推荐将前景无缝融合至背景图片对应位置上。
2.根据权利要求1所述的基于互联网的图片自动合成系统，其特征在于：步骤(2)的实施过程如下，
步骤(2.1)合理性检测和复杂性检测
合理性检测是为了筛除下载失败的图片，删除内容空白的图片；复杂性检测是为了筛除背景复杂的图片，具体的是指使用显著性检测方法去除图片的背景内容，对于留下的前景区域，使用图像分割算法计算前景区域边缘的分割段数，丢弃段数大于10的图片；
步骤(2.2)图片视觉特征建立
HSV空间是直方图最常用的颜色空间，它的三个分量分别代表色彩(Hue)、饱和度(Saturation)和值(Value)，使用H，S和V三个通道构造直方图，将各通道均匀划分为20份，连接形成60维特征向量，每维特征是指落在该小区间内的像素数量；
步骤(2.3)图片特征的一致性排序
采用均值漂移算法对特征数据进行聚类，定义窗口半径即可对图片特征分类；选取数量最多的类，按照与类中心的距离对图片进行一致性排序，选取距离小的图片构成前景图片集；
用卡方距离表示图片特征间距离，图片I和图片J之间的卡方距离定义如公式(1)所示：
其中K＝60，Ik，Jk分别表示图片I，J中的第k维特征。
3.根据权利要求1所述的基于互联网的图片自动合成系统，其特征在于：步骤(4)的实施过程如下，
步骤(4.1)建立正规则和负规则
建立正规则和负规则来生成布局候选：正规则通过统计前景布局出现概率获得，通过步骤(3)获得的前景元素分布信息训练高斯混合模型，用于拟合生成概率，分布出现概率越高，该分布对应的正分数越高；负规则是基于美学中的标准构图规则构建的，负规则包括前景不应该覆盖背景的灭点；背景内直线不应穿透前景。对于给定背景图片，每条反向规则为背景内的像素评分，反向规则的总分是两个独立分数的乘积，反向规则的每个像素分数可表示为公式(2)：
Score-＝Score(V)*Score(L)                (2)
其中Score(V)表示灭点反向规则分数，可表示为公式(3)：
Score(V)＝1-λ1×1                 (3)
将λ1设置为0.9，公式具体表现为若背景中像素检测为灭点该点分数为0.1，否则为1.Score(L)直线反向规则分数，可表示为公式(4)：
Score(L)＝1-λ2×1             (4)
将λ2设置为0.7，公式具体表现为若背景中像素检测为直线该点分数为0.3，否则为1.步骤(4.2)位置推荐
将概率分布与负规则乘积作为推荐位置的最终得分，得分可表示为公式(5):
Score＝p(x)*Score-                  (5)
其中p(x)为正规则得分，Score-为负规则得分，根据最终得分生成推荐布局。

说明书全文

基于互联网的图片自动合成系统

技术领域

[0001] 本发明涉及一种基于互联网的图片自动合成系统，属于计算机视觉系统技术领域。

背景技术

[0002] 图片在人类日常生活、生产管理以及科学研究等领域扮演者重要的角色。一张有效的照片，在相同时间条件下，不仅能给人们传达的信息量上要远胜过文字表述，并且比文字更直观，更具有说服力。但是单一图片无论是在空间上还是在时间上都具有局限性，可能不能完整的表达图片需求者的意愿。因此衍生出对图片合成的需求。图片合成是通过多张图片中的场景合成新的图片，能够具备单一图片所不具备的场景描述。

[0003] 在科技和互联网日益发达的今天，图片资源丰富的同时，共享、交流更加频繁，人们对于图片的需求也更加丰富。目前可供使用的应用合成图片软件种类众多，有针对专业群体的工具，如Adobe Photoshop等；也有针对普通群体的简易工具，如美图秀秀等。专业工具能够提供精确合成，但均是商业化工具，不仅需要付费购买，而且操作复杂度较高，需要事先经过专业的学习。简易工具操作简单，但合成功能有限，多数只是将多张图片简单拼接，只能满足一般生活上的需求。这样就形成了对非图像专业群体的工作需求领域的空白。如何根据用户需求完成图片自动合成工作越来越受到人们的关注，图片自动合成系统应运而生。

发明内容

[0004] 本发明的目的在于提出了一种图片自动合成系统，本方法在海量互联网图片基础上，通过内容相似性筛选图片，并通过统计同类图片的前景分布推荐前景布局，将前景图片无缝融合拼接至对应位置，得到自动合成的图片。实验结果表明仅通过定义文本信息可实现图片的自动合成，可供不具备图像处理的专业技能人员使用。

[0005] 为实现上述目的，本发明采用的技术方案为基于互联网的图片自动合成系统，如图3所示，该方法的实现步骤如下：

[0006] 本发明的目的在于提出了一种图片自动合成系统，本方法在海量互联网图片基础上，通过内容相似性筛选图片，并通过统计同类型图片的元素分布推荐前景位置，将前景图片无缝融合拼接至对应位置，得到自动合成的图片。实验结果表明仅通过定义文本信息可实现图片的自动合成，可供不具备图像处理的专业技能人员使用。

[0007] 为实现上述目的，本发明采用的技术方案为基于互联网的图片自动合成系统，如图3所示，该方法的实现步骤如下：

[0008] 步骤(1)获取文本标签并建立前景图片集

[0009] 把图片中显著区域(即人类感兴趣的区域，通常是人物或物体)称为图片前景，图片其余部分称为图片背景。系统首先获取合成图片包含前景的文本标签。输入的文本标签可以是单独关键字短文本信息，也可以是长文本信息。当输入内容为长文本信息时，使用基于关键字提取技术提取长文本信息的关键字作为前景的文本标签。确定文本标签后，依托Google Image搜索引擎检索下载与文本标签一致图片，建立图片候选集用于后续的图片筛选。

[0010] 步骤(2)基于图片特征的一致性排序

[0011] 针对图片候选集，首先使用合理性检测，删除下载失败的图片；使用复杂性检测，删除背景复杂的图片；接着使用基于HSV颜色直方图的方法，提取图片的颜色信息用于表示视觉特征。利用图片的视觉特征进行一致性排序，构建前景图片集。

[0012] 步骤(2.1)合理性检测和复杂性检测

[0013] 合理性检测是为了筛除下载失败的图片，删除内容空白的图片。复杂性检测是为了筛除背景复杂的图片。使用显著性检测方法去除图片的背景内容。对于留下的前景区域，使用图像分割算法计算前景区域边缘的分割段数，丢弃段数大于10的图片。

[0014] 步骤(2.2)图片视觉特征建立

[0015] HSV空间是直方图最常用的颜色空间，它的三个分量分别代表色彩(Hue)、饱和度(Saturation)和值(Value)。使用H，S和V三个通道构造直方图，将各通道均匀地进行划分为20份，连接形成60维特征向量，每维特征是指落在该小区间内的像素数量。

[0016] 步骤(2.3)图片特征的一致性排序

[0017] 采用均值漂移算法对特征数据进行聚类，定义窗口半径即可对图片特征分类。选取数量最多的类，按照与类中心的距离对图片进行一致性排序，选取距离小的图片构成前景图片集。

[0018] 用卡方距离表示图片特征间距离，其中图片I，J的卡方距离定义如公式所示：

[0019]

[0020] 其中，K＝60，Ik，Jk分别表示图片I，J中的第k维特征。

[0021] 步骤(3)基于统计方法的收集前景分布信息

[0022] 前景图片和前景分布是完成图片合成的两个必需因素，所述前景分布是指前景图片在背景图片上的位置、大小信息，其中，背景图片可以人为选定，或者系统默认，前景分布由圆表示，具体使用(x，y，s)T三维特征记录布局信息，圆心在背景图片上的位置(x，y)确定了前景图片在背景图片中的位置，圆所覆盖的范围表示前景图片的大小，s表示圆的半径。

[0023] 建立一个具备良好图像分布的数据库，使用基于统计的方法从数据库中收集与目标图片属同类图片的前景分布用于前景分布推荐，同类图片是指含有相似背景和同种前景的图片；使用目标检测的方法，记录同类图片内前景的分布信息用于下一步前景分布推荐；

[0024] 步骤(4)为给定的背景图片生成前景布局推荐

[0025] 建立正规则和负规则来生成布局候选。正规则是指前景布局出现概率，出现概率越高，正分数越高；负规则是根据基于美学规则建立的(即前景不应该覆盖背景的灭点，背景上直线不应穿透前景)，通过负规则得到负分数。将正分数和负分数乘积作为最终得分，将得分高的布局作为推荐。

[0026] 步骤(4.1)建立正规则和负规则

[0027] 建立正规则和负规则来生成布局候选：正规则通过统计前景布局出现概率获得，通过步骤(3)获得的前景元素分布信息训练高斯混合模型，用于拟合生成概率，分布出现概率越高，该分布对应的正分数越高；

[0028] 负规则是基于美学中的标准构图规则构建的，负规则包括前景不应该覆盖背景的灭点；背景内直线不应穿透前景。对于给定背景图片，每条反向规则为背景内的像素评分，反向规则的总分是两个独立分数的乘积，反向规则的每个像素分数可表示为公式：

[0029] Score-＝Score(V)*Score(L)

[0030] 其中Score(V)表示灭点反向规则分数，可表示为公式：

[0031] Score(V)＝1-λ1×1

[0032] 将λ1设置为0.9，公式具体表现为若背景中像素检测为灭点该点分数为0.1，否则为1.

[0033] Score(L)直线反向规则分数，可表示为公式：

[0034] Score(L)＝1-λ2×1

[0035] 将λ2设置为0.7，公式具体表现为若背景中像素检测为直线该点分数为0.3，否则为1.

[0036] 步骤(4.2)位置推荐

[0037] 将概率分布与负规则乘积作为推荐位置的最终得分，得分可表示为公式[0038] Score＝p(x)*Score-其中p(x)为正规则得分，Score-为负规则得分，根据最终得分生成推荐布局。

[0039] 步骤(5)将前景拼接至背景布局推荐处

[0040] 使用步骤(2)获得的前景图片和步骤(4)获得的布局推荐将前景无缝融合至背景图片对应位置上。附图说明

[0041] 图1为关键字提取效果展示图。

[0042] 图2为显著性检测和图片分割效果图。图2a为图片原图，图2b为显著性图、图2c为图片分割效果图。

[0043] 图3为检索bride筛选后的图片集展示。

[0044] 图4为图片自动合成系统框架图。

[0045] 图5为前景分布检测效果图。

[0046] 图6为前景分布概率图。

[0047] 图7为背景直线、灭点检测图。左侧为图片原图，右侧为检测效果图。

[0048] 图8为无缝融合效果图。

具体实施方式

[0049] 以下结合附图和实施例对本发明进行详细说明。

[0050] 步骤(1)文本标签并建立图片候选集

[0051] 系统首先获取合成图片包含前景的文本标签。输入的文本标签可以是单独关键字短文本信息，也可以是长文本信息。当用户输入的是关键字短文本信息时，如soccer player或helicopter，将直接使用关键字作为文本标签。当输入内容为长文本信息时，如输入灰姑娘的长文本信息，系统将使用基于关键字提取技术提取长文本信息的关键字作为前景的文本标签。本文使用基于内外熵差的关键字提取方法提取关键字，关键字提取效果如图1所示，用户可手动在关键字提取结果中选择前景文本标签，如选择prince和bride作为文本标签。

[0052] 确定文本标签后，依托Google Image搜索引擎检索下载与文本标签一致图片，建立图片候选集用于后续的图片筛选。

[0053] 步骤(2)基于图片特征的一致性排序

[0054] 步骤(2.1)合理性检测和复杂性检测

[0055] 针对图片候选集，使用合理性检测和复杂性检测；合理性检测是为了筛除下载失败的图片，删除内容空白的图片。复杂性检测是为了筛除背景复杂的图片，具体的是指使用显著性检测方法去除图片的背景内容，对于留下的前景区域，使用图像分割算法计算前景区域边缘的分割段数，丢弃段数大于10的图片。

[0056] 系统使用了基于深度学习框架的显著性目标检测算法。显著性检测和图片分割效果如图2所示，从左至右依次为图片原图，显著性图和图片分割效果图。

[0057] 步骤(2.2)图片视觉特征建立

[0058] HSV空间是直方图最常用的颜色空间，它的三个分量分别代表色彩(Hue)、饱和度(Saturation)和值(Value)。色彩表示像素点中的颜色关于RGB的偏向，取值范围为0°～360°，从红色开始按逆时针方向计算，红色为0°，绿色为120°,蓝色为240°。；饱和度表示颜色接近光谱色的程度，通常取值范围为0％～100％，值越大，颜色越饱和；明度表示颜色明亮的程度，通常取值范围为0％(黑)到100％(白)。

[0059] 使用H，S和V三个通道构造直方图，将各通道均匀地进行划分为20份，连接形成60维特征向量，每维特征是指落在该小区间内的像素数量。

[0060] 步骤(2.3)图片特征的一致性排序

[0061] 采用均值漂移算法对特征数据进行聚类，定义窗口半径即可对图片特征分类。选取数量最多的类，按照与类中心的距离对图片进行一致性排序，选取距离中心距离top20的图片构成前景图片集。

[0062] 均值漂移算法关键操作是通过目标区域内的数据密度变化计算中心点的漂移向量，从而移动中心点进行下一次迭代，直到到达密度最大处。漂移向量计算公式如下：

[0063]其中yt是第t次迭代的球面中心，x是属于聚类集合，Θλ内半径为λ的球面内的特征点。

[0064] 用卡方距离表示图片特征间距离，卡方距离定义如公式所示：

[0065]

[0066] 其中K＝60，Ik，Jk分别表示图片I，J中的第k维特征。

[0067] 其图3为检索bride并经过一致性排序后结果，即前景图片候选集[0068] 步骤(3)基于统计方法的收集前景分布信息

[0069] 前景图片和前景分布是完成图片合成的两个必需因素，所述前景分布是指前景图片在背景图片上的位置、大小信息，其中，背景图片可以人为选定，或者系统默认，前景分布由圆表示，具体使用(x，y，s)T三维特征记录布局信息，圆心在背景图片上的位置(x，y)确定了前景图片在背景图片中的位置，圆所覆盖的范围表示前景图片的大小，s表示圆的半径。前景分布检测效果图如图5所示。

[0070] 建立具备良好图像分布的数据库，使用基于统计的方法从数据库中收集与目标图片属同类图片的前景分布用于前景分布推荐，同类图片是指含有相似背景和同种前景的图片；使用目标检测的方法，记录同类图片内前景的分布信息用于下一步前景分布推荐；

[0071] 步骤(4)为给定的背景图片生成前景布局推荐

[0072] 建立正规则和负规则来生成布局候选。正规则是指前景布局出现概率，出现概率越高，正分数越高；负规则是根据基于美学规则建立的(即前景不应该覆盖背景的灭点，背景上直线不应穿透前景)，通过负规则得到负分数。将正分数和负分数乘积作为最终得分，将得分高的布局作为推荐。

[0073] 步骤(4.1)建立正规则和负规则

[0074] 建立正规则和负规则来生成布局候选：正规则通过统计前景布局出现概率获得，通过步骤(3)获得的前景元素分布信息训练高斯混合模型，用于拟合生成概率，分布出现概率越高，该分布对应的正分数越高；概率分布可表示为公式：

[0075]

[0076] 其中，K表示高斯分量维度，通过贝叶斯信息准则确定N的大小。ω表示第i个高斯分量权重，称作选择第i个模型的先验概率，且 N(x|μ,∑)表示高斯分量，使用最大期望算法估计高斯混合模型的参数(ω,μ,∑)。前景分布概率如图6所示，用灰度图表示概率，像素点大小越大则该点前景出现概率越大。

[0077] 负规则是基于美学中的标准构图规则构建的，负规则包括前景不应该覆盖背景的灭点；背景内直线不应穿透前景区域。背景图的灭点和直线检测如图7所示，其中左侧为图片原图，右上图片白色区域为检测到的灭点，右下图片白色区域为检测到的直线。

[0078] 对于给定背景图片，每条反向规则为背景内的像素评分，反向规则的总分是两个独立分数的乘积，反向规则的每个像素分数可表示为公式：

[0079] Score-＝Score(V)*Score(L)

[0080] 其中Score(V)表示灭点反向规则分数，可表示为公式：

[0081] Score(V)＝1-λ1×1

[0082] 将λ1设置为0.9，公式具体表现为若背景中像素检测为灭点该点分数为0.1，否则为1，在图7右上内即为白色区域分数为0.1。

[0083] Score(L)直线反向规则分数，可表示为公式：

[0084] Score(L)＝1-λ2×1

[0085] 将λ2设置为0.7，公式具体表现为若背景中像素检测为直线该点分数为0.3，否则为1，在图7右下为表现为白色区域分数为0.7。

[0086] 步骤(4.2)位置推荐

[0087] 将概率分布与负规则乘积作为推荐位置的最终得分，得分可表示为公式[0088] Score＝p(x)*Score-

[0089] 其中p(x)为正规则得分，Score-为负规则得分，选取最终得分高的布局作为推荐布局。

[0090] 步骤(5)将前景拼接至背景布局推荐处

[0091] 使用步骤(2)获得的前景图片和步骤(4)获得的布局推荐将前景无缝融合至背景图片推荐位置上，融合效果如图8所示，左图为直接拼接效果，右图为使用无缝融合效果。

标题	发布/更新时间	阅读量
一种面向无人船组合导航信息融合的多尺度数据分块算法	2020-05-11	374
一种基于海洋环境噪声的声学监测系统及方法	2020-05-15	270
一种基于滤波最优平滑确定故障首达时刻的故障诊断方法	2020-05-16	371
一种基于遗传算法的视觉惯性组合的SLAM方法	2020-05-16	526
一种基于ECSA的高斯过程回归的4-NP还原催化剂建模预测方法	2020-05-13	501
一种基于异构能量获取的多用户多任务移动边缘计算节能方法	2020-05-15	153
性能退化产品可靠度置信区间估计数值仿真方法	2020-05-12	535
一种多MEMS传感器组合测姿方法	2020-05-14	393
一种CTA图像冠脉狭窄检测的方法及装置	2020-05-12	416
胎儿心电信号实时转换为胎儿胎音的计算机仿真转换方法	2020-05-14	117

基于互联网的图片自动合成系统

基于互联网的图片自动合成系统

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：