基于3D技术的图像数据库建立方法和系统专利检索- 一般的图像数据处理或产生专利检索查询-专利查询网

基于3D技术的图像数据库建立方法和系统
申请号	CN201710575945.X	申请日	2017-07-14	公开(公告)号	CN107463629A	公开(公告)日	2017-12-12
申请人	青岛海尔智能技术研发有限公司; 青岛海尔股份有限公司;			发明人	苏明月;
摘要	本发明公开了一种基于3D技术的图像数据库建立方法和系统，包括构建虚拟场景和目标3D模型，将目标3D模型显示于虚拟场景内，获取目标3D模型在虚拟场景中的采集图像，并在采集图像上对目标3D模型进行标定，进而存储采集图像以构成图像数据库。相比现有人为采集图像进行标定来建立图像数据库的方式，采用3D构建的方式来模拟真实场景中放置真实目标，省去了人为获取图像的步骤，并通过二维平面映射目标3D模型进行标定的方式省去了人为标定的步骤，解决了现有人为采集建立图像数据库存在工作量大和难度大的技术问题，还能够根据需求增加采集方向和采集角度而得到目标3D模型的大量训练图像，进而起到提高图像识别率的效果。
权利要求	1.基于3D技术的图像数据库建立方法，其特征在于，包括：构建虚拟场景和目标3D模型；将所述目标3D模型显示于所述虚拟场景内；获取所述目标3D模型在所述虚拟场景中的采集图像；在所述采集图像上对所述目标3D模型进行标定；存储所述采集图像以构成图像数据库。 2.根据权利要求1所述的基于3D技术的图像数据库建立方法，其特征在于，所述目标3D模型为多个，则将所述目标3D模型显示于所述虚拟场景内，具体为：将所述虚拟场景划分为多个区域；按照设定对应关系分别将所述多个目标3D模型显示于所述多个区域内；其中，所述设定对应关系至少为一组。 3.根据权利要求1所述的基于3D技术的图像数据库建立方法，其特征在于，获取所述目标3D模型在所述虚拟场景中的采集图像，具体为：将所述目标3D模型视为正方体，依次调整采集方法为正方体的六个面方向；每次调整方向后获取所述目标3D模型在所述虚拟场景中的采集图像。 4.根据权利要求1所述的基于3D技术的图像数据库建立方法，其特征在于，获取所述目标3D模型在所述虚拟场景中的采集图像，具体为：按照设定角度间隔分次调整采集角度；每次调整方向后获取所述目标3D模型在所述虚拟场景中的采集图像。 5.根据权利要求1所述的基于3D技术的图像数据库建立方法，其特征在于，在所述采集图像上对所述目标3D模型进行标定，具体为：以所述采集图像的设定点作为二维坐标系的原点构建二维平面；在所述二维平面内更新所述目标3D模型的位置；以更新的所述目标3D模型的最大X轴坐标点、最小X轴坐标点、最大Y轴坐标点和最小Y轴坐标点建立矩形标定框以标定所述目标3D模型。 6.基于3D技术的图像数据库建立系统，其特征在于，包括3D构建模块、显示模块、采集图像获取模块、标定模块和存储模块；所述3D构建模块，用于构建虚拟场景和目标3D模型；所述显示模块，用于将所述目标3D模型显示于所述虚拟场景内；所述采集图像获取模块，用于获取所述目标3D模型在所述虚拟场景中的采集图像；所述标定模块，用于在所述采集图像上对所述目标3D模型进行标定；所述存储模块，用于存储所述采集图像以构成图像数据库。 7.根据权利要求6所述的基于3D技术的图像数据库建立系统，其特征在于，所述系统还包括虚拟场景划分模块；所述虚拟场景划分模块，用于将所述虚拟场景划分为多个区域；则所述显示模块，还用于按照设定对应关系分别将所述多个目标3D模型显示于所述多个区域内；其中，所述设定对应关系至少为一组。 8.根据权利要求6所述的基于3D技术的图像数据库建立系统，其特征在于，所述采集图像获取模块包括采集方向调整单元；所述采集方向调整单元，用于将所述目标3D模型视为正方体，并依次调整采集方向为正方体的六个面方向，以使得所述采集图像获取模块在每次调整方向后获取所述目标3D模型在所述虚拟场景中的采集图像。 9.根据权利要求6所述的基于3D技术的图像数据库建立系统，其特征在于，所述采集图像获取模块包括采集角度调整单元；所述采集角度调整单元，用于按照设定角度间隔分次调整采集角度，以使得所述采集图像获取模块在每次调整方向后获取所述目标3D模型在所述虚拟场景中的采集图像。 10.根据权利要求6所述的基于3D技术的图像数据库建立系统，其特征在于，所述标定模块包括二维平面建立单元、位置更新单元和标定单元；所述二维平面建立单元，用于以所述采集图像的设定点作为二维坐标系的原点构建二维平面；所述位置更新单元，用于在所述二维平面内更新所述目标3D模型的位置；所述标定单元，用于以更新的所述目标3D模型的最大X轴坐标点、最小X轴坐标点、最大Y轴坐标点和最小Y轴坐标点建立矩形标定框以标定所述目标3D模型。
说明书全文	基于3D技术的图像数据库建立方法和系统技术领域 [0001] 本发明属于神经网络算法技术领域，具体地说，是涉及一种基于3D技术的图像数据库建立方法和系统。背景技术 [0002] 基于神经网络的算法中，对图像识别的准确率取决于有效的训练样本集，有效样本越丰富识别率就越高。 [0003] 目前对于图像数据库的建立都是采用人工采集的方式，也即，人为采集各种样本图像，以冰箱食品图像的采集为例，需要人为购买尽可能多种类的食材，人为放到冰箱内部搁物架上，然后使用摄像设备进行拍照，并后期通过专人对照片上的食材进行标定，采用矩形框或者其他方式标出图片中区域与食材的对应关系，形成可供训练的图像数据库，从而才能够实现冰箱对各种食材的识别，进而实现冰箱对应的功能。 [0004] 为了保证图像识别的准确率，对于同一食材，通常需要将食材放置在不用状态进行图像采集，这导致这种人为采集图像训练集的工作方式存在工作量大的技术问题，而人为采集过程中，还不可避免的存在采集状态遗漏的情况，导致人为采集图像训练集的工作方式还存在难度大的技术问题。发明内容 [0005] 本申请提供了一种基于3D技术的图像数据库建立方法和系统，解决现有人为采集建立图像数据库存在工作量大和难度大的技术问题。 [0006] 为解决上述技术问题，本申请采用以下技术方案予以实现：提出一种基于3D技术的图像数据库建立方法，包括：构建虚拟场景和目标3D模型；将所述目标3D模型显示于所述虚拟场景内；获取所述目标3D模型在所述虚拟场景中的采集图像；在所述采集图像上对所述目标3D模型进行标定；存储所述采集图像以构成图像数据库。 [0007] 进一步的，所述目标3D模型为多个，则将所述目标3D模型显示于所述虚拟场景内，具体为：将所述虚拟场景划分为多个区域；按照设定对应关系分别将所述多个目标3D模型显示于所述多个区域内；其中，所述设定对应关系至少为一组。 [0008] 进一步的，获取所述目标3D模型在所述虚拟场景中的采集图像，具体为：将所述目标3D模型视为正方体，依次调整采集方法为正方体的六个面方向；每次调整方向后获取所述目标3D模型在所述虚拟场景中的采集图像。 [0009] 进一步的，获取所述目标3D模型在所述虚拟场景中的采集图像，具体为：按照设定角度间隔分次调整采集角度；每次调整方向后获取所述目标3D模型在所述虚拟场景中的采集图像。 [0010] 进一步的，在所述采集图像上对所述目标3D模型进行标定，具体为：以所述采集图像的设定点作为二维坐标系的原点构建二维平面；在所述二维平面内更新所述目标3D模型的位置；以更新的所述目标3D模型的最大X轴坐标点、最小X轴坐标点、最大Y轴坐标点和最小Y轴坐标点建立矩形标定框以标定所述目标3D模型。 [0011] 提出一种基于3D技术的图像数据库建立系统，包括3D构建模块、显示模块、采集图像获取模块、标定模块和存储模块；所述3D构建模块，用于构建虚拟场景和目标3D模型；所述显示模块，用于将所述目标3D模型显示于所述虚拟场景内；所述采集图像获取模块，用于获取所述目标3D模型在所述虚拟场景中的采集图像；所述标定模块，用于在所述采集图像上对所述目标3D模型进行标定；所述存储模块，用于存储所述采集图像以构成图像数据库。 [0012] 进一步的，所述系统还包括虚拟场景划分模块；所述虚拟场景划分模块，用于将所述虚拟场景划分为多个区域；则所述显示模块，还用于按照设定对应关系分别将所述多个目标3D模型显示于所述多个区域内；其中，所述设定对应关系至少为一组。 [0013] 进一步的，所述采集图像获取模块包括采集方向调整单元；所述采集方向调整单元，用于将所述目标3D模型视为正方体，并依次调整采集方向为正方体的六个面方向，以使得所述采集图像获取模块在每次调整方向后获取所述目标3D模型在所述虚拟场景中的采集图像。 [0014] 进一步的，所述采集图像获取模块包括采集角度调整单元；所述采集角度调整单元，用于按照设定角度间隔分次调整采集角度，以使得所述采集图像获取模块在每次调整方向后获取所述目标3D模型在所述虚拟场景中的采集图像。 [0015] 进一步的，所述标定模块包括二维平面建立单元、位置更新单元和标定单元；所述二维平面建立单元，用于以所述采集图像的设定点作为二维坐标系的原点构建二维平面；所述位置更新单元，用于在所述二维平面内更新所述目标3D模型的位置；所述标定单元，用于以更新的所述目标3D模型的最大X轴坐标点、最小X轴坐标点、最大Y轴坐标点和最小Y轴坐标点建立矩形标定框以标定所述目标3D模型。 [0016] 与现有技术相比，本申请的优点和积极效果是：本申请提出的基于3D技术的图像数据库建立方法和系统中，有别于现有技术中在真实场景中放置真实目标后获取图像并人为标定目标来建立图像数据库的方式，采用建立虚拟场景和目标3D模型的方式，将目标3D模型显示在虚拟场景中，通过采集方向变换和采集角度变换等方式，从不同方向和角度采集目标3D模型的采集图像，并通过建立二维平面，在二维平面上更新目标3D模型的位置后，根据目标3D模型在二维平面的X轴和Y轴最大、最小坐标点的范围来对目标3D模型在采集图像上进行标定，进而存储采集图像形成图像数据库；上述所有过程都无需人工参与，且不会存在人工采集过程中存在角度、位置遗漏的情况，解决了现有人为采集建立图像数据库存在工作量大和难度大的技术问题，且相对人工采集的方式，上述提供的方法通过虚拟场景和目标3D模型的构建，能够真实且准确的反映真实场景和目标的状态，还能够根据需求增加采集方向和采集角度而得到目标3D模型的大量训练图像，进而起到提高图像识别率的效果。 [0017] 结合附图阅读本申请实施方式的详细描述后，本申请的其他特点和优点将变得更加清楚。附图说明 [0018] 图1 为本申请提出的基于3D技术的图像数据库建立方法的流程图；图2为本申请提出的基于3D技术的图像数据库建立系统的系统框图。具体实施方式 [0019] 下面结合附图对本申请的具体实施方式作进一步详细地说明。 [0020] 本申请为解决现有技术中人为采集图像构建用于申请网络算法的图像数据库的方式存在工作量大和难度大的技术问题，提出一种基于3D技术的图像数据库建立方法，包括如下步骤：步骤S11：构建虚拟场景和目标3D模型。 [0021] 以在冰箱中实现对冰箱内的食材进行识别，进而提醒用户食材新鲜度的功能为例，根据冰箱内搁架的实景构建对应的虚拟场景，并对各种食材进行3D扫描获取食材的目标3D模型数据。 [0022] 步骤S12：将目标3D模型显示于虚拟场景内。 [0023] 根据食材的目标3D模型数据可以构建食材的目标3D模型，进而将目标3D模型显示于虚拟场景中。 [0024] 步骤S13：获取目标3D模型在虚拟场景中的采集图像。 [0025] 作为食材的种类众多，因此构建的目标3D模型也为多个，实际操作中，首先将各个食材的目标3D模型分别单独的显示于虚拟场景的中心区域，然后从设定的方向和/或角度分别获取多张虚拟场景中单个目标3D模型的采集图像。 [0026] 而对于多种食材堆积放置的情况，则采用将虚拟场景划分为多个区域的方式，按照设定对应关系分别将多个目标3D模型显示于多个区域内，该设定对应关系根据实际需求设定，至少为一组。以食材为三种为例，分别对应第一目标3D模型、第二目标3D模型和第三目标3D模型，相应的，将虚拟场景划分为第一区域、第二区域和第三区域，也可以更多，本申请不予限制；设定三组设定对应关系，第一种设定对应关系中：第一目标3D模型显示于第一区域中、第二目标3D模型显示于第二区域中、以及第三目标3D模型显示于第三区域中；第二种设定对应关系中：第一目标3D模型显示于第二区域中、第二目标3D模型显示于第三区域中、以及第三目标3D模型显示于第一区域中；第三种设定对应关系中：第一目标3D模型显示于第三区域中、第二目标3D模型显示于第一区域中、以及第三目标3D模型显示于第一区域中；针对三种显示关系，每种设定对应关系显示时，都从设定的方向和/或角度分别获取多张虚拟场景中多个目标3D模型的采集图像。 [0027] 具体的，在获取目标3D模型在虚拟场景中的采集图像时，可通过将目标3D模型视为正方体的方式来实现对目标3D模型在不同方向上的图像采集，也即，依次调整采集方向为正方体的六个面方向，在每调整一次方向后获取目标3D模型在虚拟场景中的采集图像；或者，通过按照设定角度间隔分次调整采集角度的方式来实现对目标3D模型在不同角度上的图像采集，也即，按照设定角度间隔分次调整采集方向，在每调整一次采集方向后获取目标3D模型在虚拟场景中的采集图像；或者，可以在按照正方体的六个面方向调整一次采集方向后，再以设定角度间隔分次调整采集角度的结合方式获取目标3D模型在虚拟场景中的采集图像。 [0028] 以上，从不同方向、不同角度获取采集图像，都是为了实现多方位多角度的采集图像的收集，以更多的采集图像作为训练集，进而实现更准确的图像识别率。设定角度可根据实际情况设定，设定角度越小，获取的采集图像越多，训练样本越多，则识别率越高。本申请也不限定仅从正方体的六个面方向对采集方向进行调整，实际应用中，可以根据需求从更多方向获取采集图像。 [0029] 上述采集图像的获取，都是以摄像头视角来实现。 [0030] 步骤S14：在采集图像上对目标3D模型进行标定。 [0031] 现有技术中，标定工作都是人为的对图像采用矩形框或其他方式标出目标来实现，而本申请实施例中则有系统自动完成，无需人工参与，具体的，在每获取一张采集图像后，以采集图像的设定点作为二维坐标系的原点构建二维平面，该设定点例如采集图像的左下角第一像素点；进而在二维平面内更新目标3D模型的位置，例如，更新一个目标3D模型在采集图像的位置像素点蔟为（mx1，my1）、（mx2，my2）、（mx3，my3）….（mxn，myn）,其中n表示该二维平面上目标3D模型的像素点数，并以此方式依次构建该二维平面内出现的其他目标3D模型的对应像素点；最后，以更新的目标3D模型的最大X轴坐标点max(mx1,mx2,….mxn)、最小X轴坐标点min(mx1,mx2,….mxn)、最大Y轴坐标点max(my1,my2,….myn)和最小Y轴坐标点min(my1,my2,….myn)建立矩形标定框以标定目标3D模型。 [0032] 步骤S15：存储采集图像以构成图像数据库。 [0033] 将标定后的采集图像进行存储，构成用于神经网络计算使用的图像数据库。 [0034] 采用上述步骤提出的方法构建的图像数据库，所有过程都无需人工参与，且不会存在人工采集过程中存在角度、位置遗漏的情况，解决了现有人为采集建立图像数据库存在工作量大和难度大的技术问题，且相对人工采集的方式，上述提供的方法通过虚拟场景和目标3D模型的构建，能够真实且准确的反映真实场景和目标的状态，还能够根据需求增加采集方向和采集角度而得到目标3D模型的大量训练图像，进而起到提高图像识别率的效果。人为采集图像过程中，由于目标反光、遮挡等原因，也会降低图像作为训练样本的有效性，会降低识别率，而本申请的3D构建采集方式则不存在上述问题。 [0035] 基于上述提出的基于3D技术的图像数据库建立方法，本申请还提出一种基于3D技术的图像数据库建立系统，如图2所示，包括3D构建模块21、显示模块22、采集图像获取模块23、标定模块24和存储模块25。3D构建模块21用于构建虚拟场景和目标3D模型；显示模块22用于将目标3D模型显示于虚拟场景内；采集图像获取模块23用于获取目标3D模型在虚拟场景中的采集图像；标定模块24用于在采集图像上对目标3D模型进行标定；存储模块25用于存储采集图像以构成图像数据库。 [0036] 本申请提出的基于3D技术的图像数据库建立系统还包括虚拟场景划分模块26，用于将虚拟场景划分为多个区域；则显示模块22还用于按照设定对应关系分别将多个目标3D模型显示于多个区域内；其中，设定对应关系至少为一组。 [0037] 本申请实施例中，采集图像获取模块23包括采集方向调整单元231和/或采集角度调整单元232；采集方向调整单元231用于将目标3D模型视为正方体，并依次调整采集方向为正方体的六个面方向，以使得采集图像获取模块在每次调整方向后获取目标3D模型在虚拟场景中的采集图像。采集角度调整单元232用于按照设定角度间隔分次调整采集方向，以使得采集图像获取模块在每次调整方向后获取目标3D模型在虚拟场景中的采集图像。 [0038] 本申请实施例中，标定模块24具体包括二维平面建立单元241、位置更新单元242和标定单元243；二维平面建立单元241用于以采集图像的设定点作为二维坐标系的原点构建二维平面；位置更新单元242用于在二维平面内更新目标3D模型的位置；标定单元243用于以更新的目标3D模型的最大X轴坐标点、最小X轴坐标点、最大Y轴坐标点和最小Y轴坐标点建立矩形标定框以标定目标3D模型。 [0039] 具体的基于3D技术的图像数据库建立系统建立图像数据库的方式，已经在上述提出的基于3D技术的图像数据库建立方法中详述，此处不予赘述。 [0040] 上述本申请提出的基于3D技术的图像数据建立方法和系统中，构建虚拟场景和目标3D模型，将目标3D模型显示于虚拟场景中，并变换采集方向和/或采集角度来获取目标3D模型在虚拟场景中的采集图像，采用3D构建的方式来模拟真实场景中放置真实目标的方式，省去了人为摆放拍照的步骤，并通过二维平面映射目标3D模型进行标定的方式省去了人为标定的步骤，解决了现有人为采集建立图像数据库存在工作量大和难度大的技术问题，且相对人工采集的方式，上述提供的方法通过虚拟场景和目标3D模型的构建，能够真实且准确的反映真实场景和目标的状态，还能够根据需求增加采集方向和采集角度而得到目标3D模型的大量训练图像，进而起到提高图像识别率的效果。 [0041] 应该指出的是，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

意见反馈