基于二维草图的三维模型检索方法
专利汇可以提供基于二维草图的三维模型检索方法专利检索，专利查询，专利分析的服务。并且基于二维草图的三维模型检索系统，需要预先对三维模型 数据库 进行处理，首先由三维模型数据库得到视图数据库，然后计算每幅视图的特征，最终生成特征数据库，检索系统的客户端提取二维草图的形状特征，并将特征提交给 服务器 ，服务器端程序首先将草图的特征与特征数据库中的特征匹配，匹配时根据草图特征的种类，选择不同的 算法 计算二维草图与每个三维模型的相似距离；然后将相似距离排序；最后根据系统 指定 的首页显示模型数，将排序靠前的三维模型的位次、索引图象、URL等，返回给客户端。为了能在组合检索时动态计算特征权重，还要根据已有分类信息构建训练集， 构建时 使得每一类别的模型数目相等，并且保证已知类别的模型集合属于模型数据库。本 发明 能增强轮廓特征描述的鲁棒性，还能通过自适应的特征组合检索方式提高检索的准确度。，下面是基于二维草图的三维模型检索方法专利的具体信息内容。
1、基于二维草图的三维模型检索方法，其特征在于通过以下步骤实现：
(1)对三维模型数据库中的每个模型进行处理，获取三维模型的投影图；
(2)将所有三维模型的投影图，生成视图数据库；
(3)对生成的视图数据库中每幅视图经过特征提取模块的处理，生成特 征数据库；
(4)对客户端的二维草图的形状特征提取，包括Zernike矩特征和傅立叶 轮廓描述符；
(5)将客户端提交的二维草图特征和特征数据库中的特征匹配，计算相似 距离并排序，最终生成检索结果。
2、根据权利要求1所述的基于二维草图的三维模型检索方法，其特征 在于：所述步骤(1)对三维模型数据库中的每个模型进行处理，获取三维 模型的投影图的具体步骤如下：
(1)模型坐标的标准化，包括平移变换标准化和旋转变换标准化，首 先进行平移变换标准化，计算模型的质心，将质心平移到坐标原点；然后采 用改进的连续PCA方法来确定模型的三个主轴，对它进行旋转变换标准化， 绕原点旋转模型使它的坐标轴和主轴重合；
(2)采用正投影方式投影，根据模型的最小包围球的大小计算视锥体 六个裁剪面的位置，保证投影时模型的最小包围球始终在视锥体内；
(3)依次定义视线方向为三个坐标轴的负方向，保存窗口中显示的内 容，即为模型的三幅投影图。
3、根据权利要求1所述的基于二维草图的三维模型检索方法，其特征在 于：所述的步骤(2)对于所有三维模型的投影图，通过投影图处理模块生成 视图数据库的方法如下：
(1)对投影图进行图象二值化，使其变为前景为1、背景为0的二值 图象；
(2)对图象进行二值形态滤波中的Close运算。
4、根据权利要求1所述的基于二维草图的三维模型检索方法，其特征 在于：所述的步骤(3)对生成的视图数据库中每幅视图经过特征提取模块 的处理，生成特征数据库的步骤如下：
(1)计算视图的Zernike矩特征；
(2)对适合的目标区域计算傅立叶轮廓描述符，作为轮廓特征。
5、根据权利要求4所述的基于二维草图的三维模型检索方法，其特征 在于：所述的步骤(1)中计算视图的Zernike矩特征的方法如下：
(a)采取二值形态滤波中的Close运算；
(b)将区域质心平移到坐标系原点，将区域边缘到质心的最大距离缩放 到1，这两步操作是为了保证目标区域特征不受平移、比例变换的影响；
(c)计算Zernike矩；
(d)对得到的复数系数求辐值，辐值标准化通过将辐值除以前景区域中 的象素个数来实现；
(e)最终将标准化后的辐值作为视图的Zernike矩特征。
6、根据权利要求4所述的基于二维草图的三维模型检索方法，其特征在 于：所述的步骤(2)中计算傅立叶轮廓描述符的方法如下：
(a)在跟踪区域轮廓前，采取二值形态滤波中的Bridge操作和Clean 操作来尽量保证目标对象的连通性，Bridge操作将目标区域的接近但不连通 的部分连接起来，Clean操作可以去除孤立的亮点；
(b)判断目标区域的连通性。对于经过这两步滤波操作后仍不连通的目 标区域，不计算傅立叶轮廓描述符；
(c)如果目标区域连通，则首先跟踪目标的外轮廓；然后对边缘象素序 列，依次计算它们到区域中心的距离；
(d)进行傅立叶变换；
(e)最后对傅立叶变换后得到一组复数系数{an}进行标准化，经标准化 得到{|bn|，n＝1，…N-1}，其中bn＝an/a0，作为视图的傅立叶轮廓描述符。
7、根据权利要求1所述的基于二维草图的三维模型检索方法，其特征在 于：所述的步骤(5)中的计算相似距离并排序的步骤如下：
(1)构建训练集，模型数据库中的部分模型已包含类别信息，从每一类 别中挑选K个典型模型组成训练集，K的取值范围为1-最小类别的模型总 数；
(2)当草图中的目标区域满足连通性要求时，草图特征包含Zernike矩和 傅立叶轮廓描述两种特征，则结合这两种特征求解检索结果，主要需要计算特 征的权重；
(3)当草图中的目标区域不满足连通性要求时，直接依据Zernike矩计算 相似距离、采用快速排序方法将三维模型排序。
8、根据权利要求7所述的基于二维草图的三维模型检索方法，其特征在 于：所述的步骤(2)中计算特征的权重主要步骤为：
(a)分别依据这两种特征计算二维草图与数据库中每个模型的相似距离， 采用草图与模型3个视图的特征距离的最小值来度量，设二维草图与模型的相 似距离为d(sketch，model)，则计算公式如下；
d(sketch，model)＝min(d(sketch，view1)，d(sketch，view2)，d(sketch，view3))
其中d(sketch，view1)，d(sketch，view2)，d(sketch，view3)分别是草图特征与模型的3个 视图的同种特征之间的距离。
(b)对于按照这两种特征得到的相似距离，分别采用快速排序方法将相似 距离升序排列；
(c)对于在排序中位次靠前的前K个检索结果，分析属于训练集中已知类 别的模型数目，确定模型数目最多的模型类别；
(d)如果依据这两种特征所得到的模型类别一致，设为类别C，Zernike矩 和傅立叶轮廓描述的特征权重分别用wz、wf表示，则
其中依据Zernike矩得到前K个检索结果中C类模型数目为kz，依据傅立 叶轮廓描述得到的前K个检索结果中C类模型数目为kf；
(e)如果由(c)中得到的模型类别不一致，则在用加权距离度量草图和模型 视图的相似距离时，采用如下计算公式：
wz=0.5，wf=0.5
至此，计算出特征组合检索时需要的权重；
(f)组合这两种特征，计算二维草图与模型的相似距离，在度量草图和每个 模型3幅视图的相似距离d(sketch，viewi)时采用加权距离，计算公式如下：
其中dz和df分别是依据Zernike矩和傅立叶轮廓描述得到的草图与模型 视图的相似距离，dzmax和dfmax分别是依据Zernike矩和傅立叶轮廓描述得到的 草图与模型视图的最大相似距离；
(g)采用快速排序方法将三维模型按照加权后的相似距离升序排列。
技术领域
本发明涉及一种基于内容的三维模型检索方法，特别是一种基于二维草 图的三维模型检索方法。
背景技术
三维模型广泛应用于计算机辅助设计(CAD)、虚拟现实、游戏、电影 特效制作、考古、生物、化学等很多领域。作为一种三维信息资源，互联网 上的三维模型的数量已经相当可观，且呈现快速增加的趋势。如何重用已有 的三维模型资源成为一个亟需解决的问题，基于Web的三维模型检索引擎 应运而生。三维模型检索对高效获取和重用网络上已有的三维模型数据资源 具有积极意义，能节省大量花费在构建三维模型过程中的时间和精力。三维 模型检索是基于内容的多媒体信息检索领域的热点问题，具有广泛的应用前 景，国内外很多机构正致力于这一方向的研究。
由于以二维草图来表示搜索目标的形状，符合人的使用习惯，普通用户 不受任何训练，即可用鼠标在屏幕上粗略地画出检索目标的几何形状，因此 利用二维草图来检索三维模型成为一种友好的三维模型检索方式，具有界面 友好、操作直观易用的优点。
目前国外公开的文献中，Loffler J.“Content-based retrieval of 3D models in distributed Web databases by visual shape information”In： Proceedings of IEEE International Conference on Information Visualization 2000，London，UK，2000：82-87中最早提出以二维方式在分 布式网络环境下检索三维模型。Okada Y.“3D model database system by hand sketch query”In：Proceedings of IEEE International Conference on Multimedia and Expo 2002，Lausanne，Switzerland，2002：889-892中给 出了一个以二维草图为搜索请求的三维模型检索系统，从3个主轴方向获取 模型的3幅投影图，特征提取采用了投影图轮廓上象素的距离分布。Min P.， Chen J.，Funkhourser T.“A 2D Sketch Interface for a 3D Model Search Engine”.In：Proceedings of SlGGRAPH 2002 Sketches&Applications， San Antonio，Texas，USA，2002：138中给出了以多幅用户绘制的二维草图 作为查询请求的方法。
但上述文献的解决思路有3点不足：(1)使用轮廓特征时没有预先判断 对象是否适合这种特征描述方法，易受连通性的影响，鲁棒性差；(2)有些 仅使用了单一特征，但由于每种特征仅考虑了对象形状某一方面的特性，因 此，仅根据单一特征搜索存在不足；(3)另一些虽然使用了多种特征，但对 每种特征同等对待，未能反映特征对不同类别的查询请求的检索精度差异。
发明内容
本发明的技术解决方案：基于二维草图的三维模型检索方法，其特征在 于：需要预先对三维模型数据库进行处理，首先由三维模型数据库得到视图 数据库，然后计算每幅视图的特征，最终生成特征数据库，检索系统的客户 端提取二维草图的形状特征，并将特征提交给服务器，服务器端程序首先将 草图的特征与特征数据库中的特征匹配，匹配时根据草图特征的种类，选择 不同的算法计算二维草图与每个三维模型的相似距离；然后将相似距离排 序；最后根据系统指定的首页显示模型数，将排序靠前的三维模型的位次、 索引图象、URL等，返回给客户端。为了能在组合检索时动态计算特征权 重，还要根据已有分类信息构建训练集，构建时使得每一类别的模型数目相 等，并且保证已知类别的模型集合属于模型数据库。
具体通过步骤如下：
(1)对三维模型数据库中的每个模型进行处理，获取三维模型的投影图；
(2)将所有三维模型的投影图，生成视图数据库；
(3)对生成的视图数据库中每幅视图经过特征提取模块的处理，生成特 征数据库；
(4)对客户端的二维草图的形状特征提取，包括Zernike矩特征和傅立叶 轮廓描述符，与步骤(3)中视图的形状特征提取方法相同；
(5)模型搜索模块负责将客户端提交的二维草图特征和特征数据库中的特 征匹配，计算相似距离并排序，最终生成检索结果。
本发明与现有技术相比的优点在于：
(1)针对轮廓特征比区域特征的鲁棒性差的问题，在跟踪目标对象的轮 廓之前，采取了二值滤波中的Bridge操作和Clean操作来提高鲁棒性。
(2)在描述目标对象的特征时，采用了区域Zernike矩为主、傅立叶轮 廓描述为辅的方法。对目标区域是否适合采用傅立叶轮廓描述做出预先判 断。
(3)利用模型数据库中的已有分类信息，构建训练集，在搜索时，利用 训练集来自动计算特征的权重，从而提高检索的准确度。本发明能根据查询 请求对特征权重进行自动调整，可以反映不同特征对于不同类别的查询对象 的检索精度差异，扬长避短。
附图说明
图1为本发明的基于二维草图的三维模型检索系统的主要模块和流程；
图2为本发明的一个飞机模型和它的三个视图；
图3为本发明的视图的Zernike矩的计算流程；
图4为本发明的视图的傅立叶轮廓描述符的计算流程；
图5为本发明中的特征组合检索时的特征权重的计算流程；
图6为本发明中的二维绘图工具集和用户描绘的二维草图示例；
图7为本发明的一个以用户绘制的人的二维草图作为查询请求的检索 实例。
具体实施方式
1.对三维模型数据库中的每个模型进行处理，获取三维模型的投影图。
原始的三维模型数据库中并不包含模型的投影图，本发明通过模型投影 图生成模块来获取三维模型的投影图。该模块基于OpenGL实现，具体步 骤如下：
(1)模型坐标的标准化，包括平移变换标准化和旋转变换标准化。首 先进行平移变换标准化，计算模型的质心，将质心平移到坐标原点。然后采 用改进的连续PCA方法来确定模型的三个主轴，对它进行旋转变换标准化， 绕原点旋转模型使它的坐标轴和主轴重合。
(2)采用正投影方式投影，根据模型的最小包围球的大小计算视锥体 六个裁剪面的位置，保证投影时模型的最小包围球始终在视锥体内。
(3)依次定义视线方向为三个坐标轴的负方向，保存窗口中显示的内 容，即为模型的三幅投影图。
2.对于所有模型的投影图，通过投影图处理模块生成视图数据库。
投影图处理模块的目的是：对投影图实施一系列图象处理操作，包括图 象二值化和二值形态滤波中的Close运算，以避免颜色、光照、纹理、内部 细节和不良的三角网格结构等其他因素的干扰。由此，通过对三维模型数据 库的处理，得到了模型的视图数据库，三维模型数据库中每个模型对应三个 视图，视图均为二值图象，并且保证前景为1，背景为0。
具体方法如下：
(1)对投影图进行图象二值化，使其变为前景为1、背景为0的二值 图象。
(2)对图象进行二值形态滤波中的Close运算，避免内部细节过多和 区域填充不充分这两个可能出现的问题的影响。
图2给出一个飞机模型和它的3幅视图。从y轴观察飞机，得到右上图； 从z轴观察飞机，得到右中图；从x轴观察飞机，得到右下图。
3.对生成的视图数据库中每幅视图经过特征提取模块的处理，生成特 征数据库。
特征提取模块的功能是：对每幅视图计算视图特征，本发明在计算视图 特征阶段的特点是：仅对适合的目标区域计算傅立叶轮廓描述符，这是由于 傅立叶轮廓描述符属于轮廓特征，Zernike矩属于区域特征，区域特征计算 时使用了区域内的所有象素点，受噪声等的影响小，鲁棒性优于轮廓特征。
具体步骤如下：
(1)计算视图的Zernike矩特征。
如图3，计算视图的Zernike矩特征的算法流程可详细描述为：
(a)采取二值形态滤波中的Close运算。
(b)将区域质心平移到坐标系原点，将区域边缘到质心的最大距离缩放 到1，这两步操作是为了保证目标区域特征不受平移、比例变换的影响。
(c)计算Zernike矩。
(d)对得到的复数系数求辐值，辐值标准化通过将辐值除以前景区域中 的象素个数来实现。
最终将标准化后的辐值作为视图的Zernike矩特征。
(2)对适合的目标区域计算傅立叶轮廓描述符，作为轮廓特征。
如图4，计算傅立叶轮廓描述符的算法流程可详细描述为：
(a)在跟踪区域轮廓前，采取二值形态滤波中的Bridge操作和Clean 操作来尽量保证目标对象的连通性。Bridge操作将目标区域的接近但不连通 的部分连接起来，Clean操作可以去除孤立的亮点。这两步形态滤波操作都 是为了提高算法的鲁棒性。
(b)判断目标区域的连通性。对于经过前两步滤波操作后仍不连通的目 标区域，本发明认为，此种目标不适合使用轮廓特征。因为如果目标区域仍 不连通，说明视图中的对象断裂或存在多个对象，因此不适合采用傅立叶轮 廓描述符作为特征。
(c)如果目标区域连通，则首先跟踪目标的外轮廓；然后对边缘象素序 列，依次计算它们到区域中心的距离；接下来，进行傅立叶变换；最后对傅 立叶变换后得到一组复数系数{an}，但{an}与图象中目标的旋转、缩放和不同 的轮廓起始点的选择有关，因此必须进行标准化，经标准化得到 {|bn|，n＝1，…N-1}，其中bn＝an/a0，作为视图的傅立叶轮廓描述符。
4.客户端的二维草图的形状特征提取方法(包括Zernike矩特征和傅立 叶轮廓描述符)与步骤3中视图的形状特征提取方法类似。首先对二维草图进 行二值化处理和二值形态滤波中的Close运算，然后计算Zernike矩特征， 对于经过Bridge操作和Clean操作后符合连通性要求的目标，计算傅立叶 轮廓描述。
为了减轻服务器端的负担，将二维草图的特征提取放在客户端计算，仅向 服务器提交计算出的特征向量数据。这样做的另一优点是：特征向量数据量远 小于二维草图的图象数据量，网络传输的数据量小，有助于提高系统的响应速 度。
5.模型搜索模块负责将客户端提交的二维草图特征和特征数据库中的特征 匹配，计算相似距离并排序，最终生成检索结果。
其中，特征匹配和相似距离计算和排序是本发明的重点，具体步骤如下：
(1)构建训练集。模型数据库中的部分模型已包含类别信息(或者人 为地对部分模型进行分类)，这里的类别指的是依据人的认知的语义类，从 每一类别中挑选K个典型模型组成训练集，K的取值范围为[1，最小类别的 模型总数]。
(2)当草图中的目标区域满足连通性要求时，草图特征包含Zemike矩和 傅立叶轮廓描述两种特征，则结合这两种特征求解检索结果，主要需要计算特 征的权重，主要步骤为：
(a)分别依据这两种特征计算二维草图与数据库中每个模型的相似距离， 采用草图与模型3个视图的特征距离的最小值来度量，设二维草图与模型的相 似距离为d(sketch，model)，则计算公式如下；
d(sketch，model)＝min(d(sketch，view1)，d(sketch，view2)，d(sketch，view3))
其中d(sketch，view1)，d(sketch，view2)，d(sketch，view3)分别是草图特征与模型的3个 视图的同种特征之间的距离。
(b)对于按照这两种特征得到的相似距离，分别采用快速排序方法将相似 距离升序排列；
(c)对于在排序中位次靠前的前K个检索结果，分析属于训练集中已知类 别的模型数目，确定模型数目最多的模型类别；
(d)如果依据这两种特征所得到的模型类别一致，设为类别C，Zernike矩 和傅立叶轮廓描述的特征权重分别用wz、wf表示，则
其中依据Zernike矩得到前K个检索结果中C类模型数目为kz，依据傅立 叶轮廓描述得到的前K个检索结果中C类模型数目为kf。
(e)如果由(c)中得到的模型类别不一致，则在用加权距离度量草图和模型 视图的相似距离时，采用如下计算公式：
wz＝0.5，wf＝0.5
至此，计算出特征组合检索时需要的权重，算法流程如图5。
(f)组合这两种特征，计算二维草图与模型的相似距离，在度量草图和模型 视图的相似距离d(sketch，viewi)时采用加权距离，计算公式如下：
其中dz和df分别是依据Zernike矩和傅立叶轮廓描述得到的草图与模型 视图的相似距离，dzmax和dfmax分别是依据Zernike矩和傅立叶轮廓描述得到的 草图与模型视图的最大相似距离。
(g)采用快速排序方法将三维模型按照加权后的相似距离升序排列。
(3)当草图中的目标区域不满足连通性要求时，直接依据Zernike矩计算 相似距离、采用快速排序方法将三维模型排序。
生成检索结果时，根据客户端对首页显示模型检索结果数量的限制和内容 的要求，将排序靠前的模型的索引图象、名称、URL等返回给客户端。
6.使用Java Applet技术实现二维绘图工具集，最终的界面和一个用 户绘制的草图示例如图6。图6所示的绘制工具集除了提供基本图形(线段、 矩形、椭圆、圆角矩形)的绘制功能之外，还提供了擦除、填充、撤销上一 步操作、清空作图区域等功能；作图区域内为用这些工具绘制的一辆小汽车。
基于二维草图的三维模型检索系统的界面如图7，左边是二维草图绘制 区域，右边显示的是从服务器返回的检索结果。图7中给出以一个用户绘制 的人作为查询请求的检索实例，检索结果中显示的是三维模型的索引图象， 每一幅索引图象代表一个三维模型，首页显示了排序在前20位的三维模型， 点击“Next page”可以浏览排在后面的三维模型。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 仅位置着色管线 | 2020-05-26 | 112 |
| 虚拟现实下的海量模型数据动态调度与实时异步加载方法 | 2020-05-29 | 545 |
| 一种应用在大规模地形渲染中的视锥体投影裁剪方法 | 2020-05-30 | 774 |
| 一种用于简单监控对象的摄像机空间覆盖面积获取方法 | 2020-05-17 | 996 |
| 使用相机的平面阵列的沉浸式观看 | 2020-05-11 | 492 |
| 一种面向实时绘制的大规模场景组织与调度技术及仿真系统 | 2020-05-28 | 759 |
| 一种用于简单监控对象的摄像机空间覆盖面积获取方法 | 2020-06-10 | 427 |
| 基于三维空间视口信息的球机联动方法 | 2020-05-16 | 722 |
| 一种基于镜面反射的移动增强现实型卡片识别方法 | 2020-05-18 | 541 |
| 一种阴影图的生成方法及装置 | 2020-05-19 | 945 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
