用于识别对象的方法和设备
阅读：405发布：2020-05-08
专利汇可以提供用于识别对象的方法和设备专利检索，专利查询，专利分析的服务。并且公开了一种通过使用诸如 深度学习 的 机器学习 算法 来模拟人脑的诸如识别和判断的功能的 人工智能 (AI)系统及其应用。特别地，公开了一种用于根据AI系统及其应用来识别对象的方法，所述方法包括以下步骤：从不同类型的多个 传感器 获得关于对象的多条 传感器数据 ；将所述多个传感器数据中的至少一部分转换为二维传感器数据；基于从作为多个传感器之一的图像传感器获得的二维图像数据和转换后的二维传感器数据，使用预先生成的学习网络模型来识别对象。，下面是用于识别对象的方法和设备专利的具体信息内容。
1.一种识别对象的方法，所述方法包括：
从不同类型的多个传感器获得关于所述对象的多条传感器数据；
将所述多条传感器数据中的至少一些转换为二维2D传感器数据；
基于2D传感器数据以及从作为所述多个传感器之一的图像传感器获得的2D图像数据，通过使用先前生成的学习网络模型来识别所述对象。
2.如权利要求1所述的方法，其中，转换步骤包括：通过使用用于传感器数据的转换的学习网络模型将所述多条传感器数据中的至少一些转换为2D传感器数据，其中，所述用于传感器数据的转换的学习网络模型是作为学习用于将一维1D传感器数据转换为2D传感器数据的参考的结果而生成的。
3.如权利要求2所述的方法，还包括：
通过再转换2D传感器数据获得1D传感器数据；
基于将作为获得的所述多条传感器数据的至少一部分的1D传感器数据与作为再转换结果而获得的1D传感器数据进行比较的结果，确定在传感器数据的转换中发生的误差；
基于确定的误差，更新构成所述用于传感器数据的转换的学习网络模型的多个层的参数。
4.如权利要求1所述的方法，其中，转换步骤包括：
从所述多个传感器中的至少一个获得沿第一轴向的1D传感器数据；
通过在第二轴向上对沿第一轴向的1D传感器数据进行上采样来生成2D传感器数据。
5.如权利要求1所述的方法，其中，识别所述对象的步骤包括：
通过使用作为学习用于从至少一条图像数据获得图像特征信息的参考的结果而生成的学习网络模型，从2D图像数据获得表示所述对象的图像特征信息；
基于图像特征信息和2D传感器数据，通过使用所述先前生成的学习网络模型来识别所述对象。
6.如权利要求1所述的方法，其中，所述先前生成的学习网络模型包括多个层，并且其中，所述多个层中的每个层的参数是基于学习用于从图像数据和2D传感器数据中选择用于对象识别的至少一条数据并将选择的所述至少一条数据进行组合的参考的结果而被确定的。
7.如权利要求1所述的方法，还包括：
基于将识别出的对象的类别与所述对象的类别进行比较的结果，确定在对象识别中发生的误差；
基于确定的误差，更新构成所述先前生成的学习网络模型的多个层的参数。
8.一种用于识别对象的设备，所述设备包括：
存储器，存储一个或更多个指令；
显示器；
多个传感器，被配置为获得关于所述对象的多条传感器数据；
处理器，被配置为执行所述存储器中存储的所述一个或更多个指令以进行以下操作：
从所述多个传感器获得关于所述对象的所述多条传感器数据；
将所述多条传感器数据中的至少一些转换为二维2D传感器数据；
基于2D传感器数据以及从作为所述多个传感器之一的图像传感器获得的2D图像数据，通过使用先前生成的学习网络模型来识别所述对象。
9.如权利要求8所述的设备，其中，所述处理器还被配置为执行所述一个或更多个指令以进行以下操作：通过使用用于传感器数据的转换的学习网络模型将所述多条传感器数据中的至少一些转换为2D传感器数据，其中，所述用于传感器数据的转换的学习网络模型是作为学习用于将一维1D传感器数据转换为2D传感器数据的参考的结果而生成的。
10.如权利要求9所述的设备，其中，所述处理器还被配置为执行所述一个或更多个指令以进行以下操作：
通过再转换2D传感器数据获得1D传感器数据；
基于将作为获得的所述多条传感器数据的至少一部分的1D传感器数据与作为再转换结果而获得的1D传感器数据进行比较的结果，确定在传感器数据的转换中发生的误差；
基于确定的误差，更新构成所述用于传感器数据的转换的学习网络模型的多个层的参数。
11.如权利要求8所述的设备，其中，所述处理器还被配置为执行所述一个或更多个指令以进行以下操作：
从所述多个传感器中的至少一个获得沿第一轴向的1D传感器数据；
通过在第二轴向上对沿第一轴向的1D传感器数据进行上采样来生成2D传感器数据。
12.如权利要求8所述的设备，其中，所述处理器还被配置为执行所述一个或更多个指令以进行以下操作：
通过使用作为学习用于从至少一条图像数据获得图像特征信息的参考的结果而生成的学习网络模型，从2D图像数据获得表示所述对象的图像特征信息；
基于图像特征信息和2D传感器数据，通过使用所述先前生成的学习网络模型来识别所述对象。
13.如权利要求8所述的设备，其中，所述先前生成的学习网络模型包括多个层，并且其中，所述多个层中的每个层的参数是基于学习用于从图像数据和2D传感器数据中选择用于对象识别的至少一条数据并将选择的至少一条数据进行组合的参考的结果而被确定的。
14.如权利要求8所述的设备，其中，所述处理器还被配置为执行所述一个或更多个指令以进行以下操作：
基于将识别出的对象的类别与所述对象的类别进行比较的结果，确定在对象识别中发生的误差；
基于确定的误差，更新构成所述先前生成的学习网络模型的多个层的参数。
15.一种计算机可读记录介质，其中，在所述计算机可读记录介质上记录有用于在计算机上执行如权利要求1所述的方法的程序。
用于识别对象的方法和设备
技术领域
[0001] 实施例涉及一种对象识别方法、一种对象识别设备以及一种其上记录有用于执行所述对象识别方法的程序的记录介质。
背景技术
[0002] 人工智能(AI)系统是具有人类水平智能的计算机系统。与现有的基于规则的智能系统不同，AI系统是一种自主地进行自我训练、做出决策并变得越来越智能的系统。AI系统被使用得越多，AI系统的识别率就可以提高得越多，并且AI系统可以更准确地理解用户偏好，因此，现有的基于规则的智能系统正逐渐被基于深度学习的AI系统取代。
[0003] AI技术是指机器学习(深度学习)和利用机器学习的元技术。
[0005] AI技术被应用于如下各种领域。语言理解是一种识别并应用/处理人类语言/字符的技术，并且包括自然语言处理、机器翻译、对话系统、查询响应、语音识别/合成等。视觉理解是一种像人类视觉一样识别并处理对象的技术，并且包括对象识别、对象跟踪、图像搜索、人类识别、场景理解、空间理解、图像增强等。推理预测是一种获取信息并对所述信息进行逻辑推断和预测的技术，并且包括基于知识/概率的推理、优化预测、基于偏好的计划、推荐等。知识表示是一种将人类经验信息自动化为知识数据的技术，并且包括知识构建(数据生成/分类)、知识管理(数据利用)等。运动控制是一种控制车辆的自主行驶和机器人的运动的技术，并且包括运动控制(导航、避免碰撞和行驶)、操作控制(行为控制)等。发明内容
[0006] 技术问题
[0008] 问题的解决方案
[0009] 本公开涉及一种人工智能(AI)系统以及根据所述AI系统的应用来识别对象的方法，所述方法包括：从不同类型的多个传感器获得关于对象的多条传感器数据；将所述多条传感器数据中的至少一些转换为二维(2D)传感器数据；基于2D传感器数据以及从所述多个传感器之中的一个图像传感器获得的2D图像数据，通过使用先前生成的学习网络模型来识别对象。附图说明
[0010] 图1是用于说明根据实施例的由对象识别设备执行的对象识别方法的概念图。
[0011] 图2是根据实施例的对象识别方法的流程图。
[0012] 图3是用于描述根据实施例的由对象识别设备执行的将图像数据和转换后的二维(2D)传感器数据进行组合的方法的示图。
[0013] 图4是用于说明根据实施例的由对象识别设备执行的基于通过使用学习网络模型从图像数据获得的特征信息来识别对象的方法的流程图。
[0014] 图5是用于说明根据实施例的由对象识别设备执行的基于通过使用学习网络模型从图像数据获得的特征信息来识别对象的方法的示图。
[0015] 图6是用于说明根据实施例的由对象识别设备执行的通过使用学习网络模型将一维(1D)传感器数据转换为2D传感器数据的方法的流程图。
[0016] 图7是用于说明根据实施例的由对象识别设备执行的训练将1D传感器数据转换为2D传感器数据的学习网络模型的方法的示图。
[0017] 图8是用于说明根据实施例的由对象识别设备执行的通过使用多个学习网络模型来识别对象的方法的流程图。
[0018] 图9是用于说明根据实施例的由对象识别设备执行的通过使用多个学习网络模型来识别对象的方法的示图。
[0019] 图10是用于说明根据实施例的训练用于识别对象的多个学习网络模型中的第一学习网络模型的方法的示图。
[0020] 图11是用于说明根据实施例的训练用于识别对象的多个学习网络模型中的第三学习网络模型的方法的示图。
[0021] 图12是根据实施例的用于识别对象的对象识别设备的框图。
[0022] 图13是用于说明根据实施例的处理器的示图。
[0023] 图14是根据实施例的数据学习器的框图。
[0024] 图15是根据实施例的数据确定器的框图。
[0025] 图16是根据另一实施例的对象识别设备的框图。
[0026] 最佳方式
[0027] 根据本公开的实施例，一种识别对象的方法包括：从不同类型的多个传感器获得关于对象的多条传感器数据；将所述多条传感器数据中的至少一些转换为二维(2D)传感器数据；基于2D传感器数据以及从作为所述多个传感器之一的图像传感器获得的2D图像数据，通过使用先前生成的学习网络模型来识别对象。
[0029] 转换步骤可包括：通过使用用于传感器数据的转换的学习网络模型将所述多条传感器数据中的至少一些转换为2D传感器数据，其中，所述用于传感器数据的转换的学习网络模型是作为学习用于将一维(1D)传感器数据转换为2D传感器数据的参考的结果而生成的。
[0030] 所述方法还可包括：通过再转换2D传感器数据获得1D传感器数据；基于将作为获得的所述多条传感器数据的至少一部分的1D传感器数据与作为再转换结果而获得的1D传感器数据进行比较的结果，确定在传感器数据的转换中发生的误差；基于确定的误差，更新构成所述用于传感器数据的转换的学习网络模型的多个层的参数。
[0031] 所述方法还可包括：基于将识别出的对象的类别与对象的类别进行比较的结果，确定在对象识别中发生的误差；基于确定的误差，更新构成所述先前生成的学习网络模型的多个层的参数。
[0032] 转换步骤可包括：从所述多个传感器中的至少一个获得沿第一轴向的1D传感器数据；通过在第二轴向上对沿第一轴向的1D传感器数据进行上采样来生成2D传感器数据。
[0033] 识别对象的步骤可包括：通过向2D传感器数据应用预设权重来将2D传感器数据和2D图像数据进行组合，其中，所述预设权重可以是构成被生成以用于转换2D传感器数据的学习网络模型的多个层的参数，并且可基于作为将识别出的对象的类别与对象的实际类别进行比较的结果而获得的识别结果的误差被更新。
[0034] 识别对象的步骤可包括：通过使用作为学习用于从至少一条图像数据获得图像特征信息的参考的结果而生成的学习网络模型，从2D图像数据获得表示对象的图像属性信息；基于图像特征信息和2D传感器数据，通过使用所述先前生成的学习网络模型来识别对象。
[0035] 所述先前生成的学习网络模型可包括多个层，并且所述多个层中的每个层的参数是可基于学习用于从图像数据和2D传感器数据中选择用于对象识别的至少一条数据并且将选择的所述至少一条数据进行组合的参考的结果而被确定。
[0036] 所述方法还可包括：基于将识别出的对象的类别与对象的类别进行比较的结果，确定在对象识别中发生误差；基于确定的误差，更新构成所述先前生成的学习网络模型的多个层的参数。
[0037] 根据本公开的另一实施例，一种用于识别对象的设备包括：存储器，存储一个或更多个指令；显示器；多个传感器，被配置为获得关于对象的多条传感器数据；处理器，被配置为执行所述存储器中存储的一个或更多个指令以进行以下操作：从所述多个传感器获得关于对象的多条传感器数据；将所述多个传感器数据中的至少一些转换为二维(2D)传感器数据；并且基于2D传感器数据以及从作为所述多个传感器之一的图像传感器获得的2D图像数据，通过使用先前生成的学习网络模型来识别对象。
具体实施方式
[0038] 将简要描述本文使用的术语，并且将详细描述本公开。
[0039] 尽管本公开中使用的术语是在考虑到本公开中的功能的情况下利用当前流行使用的通用术语而选择的，但是这些术语可根据本领域普通技术人员的意图、司法判例或新技术的引入而变化。另外，在特定情况下，申请人可自愿选择术语，并且在这种情况下，术语的含义在本公开的相应描述部分中被公开。因此，在本公开中使用的术语不应由术语的简单名称来定义，而应由术语的含义和在整个公开中的内容来定义。
[0040] 如本文所使用的，包括诸如“第一”或“第二”的序数的术语可用于描述各种元件，但是这些元件不应受到术语的限制。这些术语仅用于将一个元件与另一元件区分开的目的。例如，在不脱离本公开的范围的情况下，第一元件可被称为第二元件，并且类似地，第二元件可被称为第一元件。如本文所使用的，术语“和/或”包括一个或更多个关联的所列项目的任何组合和所有组合。
[0041] 在整个说明书中，除非另有说明，否则当一部分“包括”一个元件时，还可包括另一元件，而不是排除其他元件的存在。本文中使用的术语“单元”可指诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)的软件或硬件，并且“单元”可执行一些功能。然而，“单元”可不限于软件或硬件。“单元”可被配置为存在于可寻址存储介质中，或者可被配置为再现一个或更多个处理器。因此，作为示例，“单元”可包括诸如软件元素、面向对象的软件元素、类元素和任务元素、处理、功能、属性、过程、子例程、程序代码段、驱动器、固件、微代码、电路、数据、数据库、数据结构、表、数组和变量的各种元素。“单元”和元素中提供的功能可被组合为较少数量的“单元”和元素，或者可被划分为其他“单元”和元素。
[0042] 为了充分传达本公开的范围并使本领域的普通技术人员能够实施和实践本公开，将详细描述本公开的实施例。然而，本公开可以以许多不同的形式来实施，并且不应被解释为限于本文阐述的实施例。此外，附图中与详细描述无关的部分被省略以确保本公开的清楚性。附图中相同的附图标号表示相同的元件。
[0043] 图1是用于说明根据实施例的由对象识别设备100执行的对象识别方法的概念图。
[0044] 参照图1，对象识别设备100可包括多个传感器111至117。这里，多个传感器111至117可包括接近传感器111、图像传感器112、深度传感器113、压力传感器114、磁性传感器
115、加速度传感器116和陀螺仪传感器117。
115、加速度传感器116和陀螺仪传感器117。
[0045] 接近传感器111可通过使用红外线等获得位于对象识别设备100周围的对象的位置数据。图像传感器112可获得位于对象识别设备100周围的对象的图像数据。另外，深度传感器113可获得与对象识别设备100和对象之间的距离有关的传感器数据，压力传感器114可获得与施加到对象识别设备100的压力有关的传感器数据。磁性传感器115可通过检测第三轴上的磁场强度来获得关于朝向的传感器数据，并且加速度传感器116可获得关于对象识别设备110的运动的传感器数据。陀螺仪传感器117可通过检测对象识别设备100在第三轴上的旋转状态来获得关于对象识别设备100的倾斜度的传感器数据。
[0046] 对象识别设备100可将从多个传感器111至117中的至少两个或更多个传感器获得的传感器数据进行组合，以提高对象识别的准确性。例如，对象识别设备100可通过将从图像传感器112获得的二维(2D)图像数据20和从诸如加速度传感器116和陀螺仪传感器117的运动传感器获得的传感器数据30进行组合来识别对象10。
[0047] 从图像传感器112获得的图像数据20可以是2D图像数据，而从运动传感器获得的传感器数据30可以是一维(1D)传感器数据。因此，对象识别设备100可将从运动传感器获得的1D传感器数据30转换为2D传感器数据35。例如，对象识别设备100可以通过使用先前生成的用于转换传感器数据30的学习网络将1D传感器数据30转换为2D传感器数据35。根据另一示例，对象识别设备100可通过在第二轴上对第一轴向的1D传感器数据30进行上采样来获得2D传感器数据35。
[0048] 另外，根据实施例的对象识别设备100可将图像数据20和转换后的传感器数据35进行组合。例如，对象识别设备100可通过使用作为基于用于对象识别的多条传感器数据进行训练的结果的先前生成的学习网络模型40，基于图像数据20和转换后的传感器数据35来识别对象10。
[0049] 另外，对象识别设备100可通过使用作为进行训练以提取图像特征信息的结果的先前生成的学习网络模型40将从图像数据20获得的图像特征信息与转换后的传感器数据35进行组合来识别对象10。这里，可通过学习网络模型40基于构成图像数据20的属性信息(诸如颜色、边缘、多边形、饱和度、亮度、色温、模糊度、清晰度、对比度等)来获得从图像数据20获得的图像特征信息。
[0050] 根据实施例的对象识别设备100可基于将图像数据20与转换后的传感器数据35进行组合的结果，将对象10的识别结果作为概率值输出。对象识别设备100可基于输出的概率值识别出对象10是小狗。
[0051] 另外，对象识别设备100可以是智能电话、平板PC、PC、智能TV、移动电话、个人数字助理(PDA)、膝上型计算机、媒体播放器、微型服务器、电子书对象识别设备、信息亭、MP3播放器、数码相机、机器人吸尘器、家用电器、或其他移动或非移动计算装置，但不限于此。另外，对象识别设备100可以是具有通信功能和数据处理功能的可穿戴装置(诸如手表、眼镜、发带和戒指)。
[0052] 图2是根据实施例的对象识别方法的流程图。
[0053] 在操作S210，对象识别设备可从不同类型的多个传感器获得关于对象的多条传感器数据。
[0054] 对象识别设备可使用至少两种或更多种不同类型的运动传感器(诸如图像传感器、深度传感器、压力传感器、磁性传感器、接近传感器、加速度传感器、陀螺仪传感器等)获得关于对象的多条传感器数据。上述类型的传感器仅是实施例，并且对象识别设备中包括的传感器不限于上述示例。
[0055] 在操作S220，对象识别设备可将多条传感器数据中的至少一些转换为2D传感器数据。
[0056] 根据实施例的对象识别设备可将从图像传感器获得的2D图像数据和从不同类型的传感器获得的传感器数据进行组合，以提高对象识别的准确性。另外，在将图像数据和传感器数据进行组合之前，对象识别设备需要使图像数据和从不同类型的传感器获得的传感器数据的维度匹配。例如，从运动传感器和深度传感器获得的传感器数据可以是1D传感器数据。因此，对象识别设备可将1D传感器数据转换为2D传感器数据，以将2D图像数据和1D传感器数据进行组合。
[0057] 例如，对象识别设备可在第二轴向上对在第一轴上呈数值排列的形式的1D传感器数据进行上采样。另外，对象识别设备可随着第二轴向上的距离增加将较低的权重设置为与图像数据组合应用，从而减小由于作为上采样结果生成的2D传感器数据而发生误差的可能性。根据另一示例，与图像数据组合应用的权重是构成用于将1D传感器数据转换为2D传感器数据而生成的学习网络模型的多个层的参数，并且可基于作为将识别出的对象的类别和对象的实际类别进行比较的结果而获得的识别结果的误差被更新。
[0058] 根据另一示例，对象识别设备可通过使用先前生成的用于传感器数据的转换的学习网络模型，基于1D传感器数据获得2D传感器数据。稍后将参照图7更详细地描述。
[0059] 在操作S230，对象识别设备可基于2D传感器数据以及从作为多个传感器之一的图像传感器获得的2D图像数据，通过使用先前生成的学习网络模型来识别对象。
[0060] 根据实施例的对象识别设备可将2D图像数据和2D传感器数据输入到作为基于用于对象识别的不同类型的传感器数据进行训练的结果的先前生成的学习网络模型。对象识别设备可基于先前生成的学习网络模型根据输入的输出来识别检测到的对象。
[0061] 图3是用于描述根据实施例的由对象识别设备执行的将图像数据和转换后的2D传感器数据进行组合的方法的示图。
[0062] 参照图3，对象识别设备可分别从运动传感器310、深度传感器330和图像传感器获得关于对象的运动的传感器数据315、关于对象与对象识别设备之间的距离的传感器数据335以及对象的图像数据350。
[0063] 对象识别设备可将关于对象的运动的传感器数据315和关于对象与对象识别设备之间的距离的传感器数据335转换为2D传感器数据，以将2D传感器数据和2D图像数据350进行组合。由对象识别设备执行的将1D图像数据转换成2D传感器数据的方法可与以上参照图1和图2描述的方法对应。
[0064] 对象识别设备可将转换后的传感器数据320和340以及图像数据350输入到先前生成的学习网络模型360中。这里，作为在对象识别之前基于图像数据和2D传感器数据对对象识别进行训练的结果，学习网络模型360可确定构成学习网络模型360的多个层361至367中的哪一层被用于将不同类型的传感器数据进行组合。另外，学习网络模型360可基于训练结果来确定将不同类型的传感器数据进行组合的结果方法。
[0065] 在图3中，示出了在学习网络模型360的每一层中获得的对象的特征信息370和380，作为将图像数据和转换后的传感器数据进行组合的结果。对象识别设备可基于从学习网络模型360最终输出的概率值将对象识别为汽车。
[0066] 图4是用于说明根据实施例的由对象识别设备执行的基于通过使用学习网络模型从图像数据获得的特征信息来识别对象的方法的流程图。
[0067] 在操作S410，对象识别设备可从不同类型的多个传感器获得关于对象的多条传感器数据。
[0068] 另外，操作S410可与以上参照图2描述的操作S210对应。
[0069] 在操作S420，对象识别设备可将多条传感器数据中的至少一些转换为2D传感器数据。
[0070] 另外，操作S420可与以上参照图2描述的操作S220对应。
[0071] 在操作S430，对象识别设备可基于从作为多个传感器之一的图像传感器获得的2D图像数据，通过使用第一学习网络模型来获得图像的特征信息。
[0072] 这里，第一学习网络模型是先前训练出的用于获得表示图像数据中包括的对象的特征信息的网络模型。第一学习网络模型可基于2D图像数据的属性获得对象的图像的特征信息。可以以2D矢量的形式获得图像的特征信息，但这仅是示例，并且本公开中获得的图像的特征信息的形式不限于上述示例。
[0073] 在操作S440，对象识别设备可基于2D传感器数据以及来自作为多个传感器之一的图像传感器的图像的特征信息，使用第二学习网络模型来识别对象。
[0074] 这里，第二学习网络模型是先前训练的用于通过将不同类型的传感器数据进行组合来识别对象的网络模型。当通过第二学习网络模型将传感器数据和图像的特征信息进行组合时，对象识别设备可确定提高对象识别率的传感器数据的类型和组合方法。例如，当2D传感器数据和图像数据之间存在冲突值时，对象识别设备可比较每个数据的准确度来选择具有相对较高准确度的传感器数据或图像数据。根据另一示例，第二学习网络模型可为具有相对高准确度的传感器数据或图像数据设置较高的权重。
[0075] 图5是用于说明根据实施例的由对象识别设备执行的基于通过使用学习网络模型从图像数据获得的特征信息来识别对象的方法的示图。
[0076] 参照图5，对象识别设备可通过图像传感器获得包括对象的2D图像数据510。对象识别设备可使用先前生成的第一学习网络模型530从图像数据510获得表示对象的图像特征信息。
[0077] 根据实施例的第一学习网络模型530可对输入到第一学习网络模型530的图像数据510中包括的各种图像属性进行抽象，从而获得表示包括在图像数据510中的对象的图像特征信息。这里，对图像属性进行抽象可从图像数据510检测图像属性，并在检测到的图像属性中确定可表示对象的核心属性。
[0078] 另外，第一学习网络模型530可包括多个层。图像数据510中包括的图像属性可通过多个层中的每个层被检测和组合。这里，通过第一学习网络模型530获得的图像特征信息可以是2D的形式。
[0079] 此外，对象识别设备可从诸如运动传感器的另一传感器获得1D传感器数据520。对象识别设备可将获得的1D传感器数据520转换为2D传感器数据525。
[0080] 根据实施例的对象识别设备可通过将2D传感器数据525和图像特征信息输入到第二学习网络模型540来获得对象识别结果。根据实施例的第二学习网络模型540可包括多个层。第二学习网络模型540可通过对包括在2D传感器数据525中的各种属性和图像特征信息进行抽象来获得表示对象的特征信息。第二学习网络模型540可通过除了使用用于对象识别的图像特征信息之外还另外使用从另一传感器获得的传感器数据来提高对象识别的准确性。
[0081] 因此，对象识别设备可识别出图像数据510中包括的对象是小狗。
[0082] 图6是用于说明根据实施例的由对象识别设备执行的使用学习网络模型将1D传感器数据转换为2D传感器数据的方法的流程图。
[0083] 在操作S610，对象识别设备可从不同类型的多个传感器获得关于对象的多条传感器数据。
[0084] 另外，操作S610可与以上参照图2描述的操作S210对应。
[0085] 在操作S620，对象识别设备可通过使用第一学习网络模型将多条传感器数据中的至少一些条传感器数据中的1D传感器数据转换为2D传感器数据。
[0086] 根据实施例的第一学习网络模型可作为基于在对象识别之前获得的关于至少一个对象的至少一种类型的传感器数据进行训练的结果而被生成。
[0087] 例如，对象识别设备可通过将从加速度传感器获得的关于运动的传感器数据输入到第一学习网络模型中来获得2D传感器数据。这里，假设被输入的传感器数据是1D传感器数据。对象识别设备可通过对再将2D传感器数据转换为1D传感器数据的结果与输入的1D传感器数据进行比较来评估第一学习网络模型的训练。对象识别设备可重复执行上述训练和训练评估过程，直到输入的1D传感器数据与从2D传感器数据再转换回的1D传感器数据之间的差小于预设值为止。
[0088] 另外，第一学习网络模型可被存储在除对象识别设备之外的外部设备中。在这种情况下，对象识别设备可在将多个传感器中的至少一些传感器的1D传感器数据发送到外部设备的情况下请求外部设备对1D传感器数据进行转换。因此，对象识别设备可从外部设备获得2D传感器数据。
[0089] 在操作S630，对象识别设备可基于2D传感器数据以及从作为多个传感器之一的图像传感器获得的2D图像数据，使用第二学习网络模型来识别对象。
[0090] 这里，第二学习网络模型可作为基于用于对象识别的不同类型的传感器数据进行训练的结果而被生成。另外，操作S630可与以上参照图2描述的操作S230对应。
[0091] 图7是用于说明根据实施例的由对象识别设备执行的训练将1D传感器数据转换为2D传感器数据的学习网络模型的方法的示图。
[0092] 参照图7，对象识别设备可通过包括图像传感器(未示出)、加速度传感器712、深度传感器714、红外(IR)传感器716、陀螺仪传感器718等的多个传感器获得不同类型的传感器数据722、724、726和728。
[0093] 另外，由除了图像传感器(未示出)以外的传感器712、714、716和718获得的传感器数据722、724、726和728可以是在第一轴上呈数值排列的形式的1D传感器数据。对象识别设备可将从图像传感器获得的2D传感器数据与由传感器712、714、716和718获得的被从1D传感器数据转换为2D传感器数据的传感器数据722、724、726和728进行组合，以提高对象识别的准确度。
[0094] 为此，根据实施例的对象识别设备可使用先前生成的第一学习网络模型730来对传感器数据进行转换。这里，第一学习网络模型730可作为对用于将1D传感器数据转换为2D传感器数据的标准进行训练的结果而被生成。
[0095] 根据实施例的对象识别设备可通过将实际对象与通过将2D传感器数据742、744和746以及从图像传感器获得的图像数据输入到先前生成的第二学习网络模型750中而获得的识别对象的结果进行比较，获得针对对象识别的误差760(分类损失)。当针对对象识别的误差760在预设范围内时，对象识别设备可确定成功地执行了对第一学习网络模型730的训练。
[0096] 根据另一实施例，对象识别设备可通过将从第一学习网络模型730输出的2D传感器数据742、744和746输入到具有与第一学习网络模型730相反方向结构的另一学习网络模型770中，将2D传感器数据742、744和746再转换为1D传感器数据。例如，当第一学习网络模型730被配置为解卷积网络时，用于再转换的学习网络模型770可被配置为具有与解卷积网络相反的结构的卷积网络。
[0097] 通过将通过再转换获得的1D传感器数据与输入到第一学习网络模型730的1D传感器数据进行比较，对象识别设备可获得针对转换的误差790(L1损失)。当获得的误差790在预设范围内时，对象识别设备可确定成功地执行了对第一学习网络模型730的训练。
[0098] 图8是用于说明根据实施例的由对象识别设备执行的使用多个学习网络模型来识别对象的方法的流程图。
[0099] 在操作S810，对象识别设备可从不同类型的多个传感器获得关于对象的多条传感器数据。
[0100] 另外，操作S810可与以上参照图2描述的操作S210对应。
[0101] 在操作S820，对象识别设备可使用第一学习网络模型将多条传感器数据中的至少一些条传感器数据中的1D传感器数据转换为2D传感器数据。
[0102] 根据实施例的对象识别装置可通过使用以上参照图7描述的作为针对传感器数据的转换进行训练的结果而生成的第一学习网络模型，将从运动传感器和深度传感器获得的1D传感器数据转换为2D传感器数据。
[0103] 在操作S830，对象识别设备可基于从作为多个传感器之一的图像传感器获得的2D图像数据，通过使用第二学习网络模型来获得图像特征信息。
[0104] 根据实施例的对象识别设备可通过使用以上参照图5描述的被训练用于获得图像特征信息的第二学习网络模型从图像数据获得对象的图像特征信息。
[0105] 在操作S840，对象识别设备可基于获得的图像特征信息和2D传感器数据，使用第三学习网络模型来识别对象。
[0106] 这里，第三学习网络模型可作为基于针对至少一个对象的从不同类型的传感器获得的传感器数据对所述至少一个对象进行训练的结果而被生成。另外，操作S840可与以上参照图2描述的操作S230对应。
[0107] 图9是用于说明根据实施例的由对象识别设备执行的使用多个学习网络模型930、940和950来识别对象的方法的示图。
[0108] 参照图9，对象识别设备可通过使用对象识别设备中包括的不同类型的传感器来获得关于对象的多条传感器数据910和920。例如，对象识别设备可获得关于对象的运动的传感器数据910和包括对象的图像数据910。
[0109] 另外，在将用于对象识别的不同类型的传感器数据910和920进行组合之前，对象识别设备可使不同类型的传感器数据910和920的维度相匹配。这里，假设关于运动的传感器数据910是1D传感器数据。例如，对象识别设备可通过使用作为针对传感器数据的转换进行训练的结果而生成的第一学习网络模型930，将关于对象的运动的传感器数据910转换为2D传感器数据。
[0110] 另外，对象识别设备可使用第二学习网络模型940从图像数据920获得表示对象的图像特征信息。这里，图像特征信息940可被预先训练为输出表示对象的图像特征信息940，作为使用第二学习网络模型940对图像数据920中的图像属性进行抽象的结果。这里，通过第二学习网络模型940获得的图像特征信息可以是2D的形式。
[0111] 对象识别设备可基于分别从第一学习网络模型930和第二学习网络模型940输出的转换后的传感器数据和图像特征信息，通过使用第三学习网络模型950来识别对象。第三学习网络模型950可与以上参照图8描述的第三学习网络模型对应。
[0112] 图10是用于说明根据实施例的训练用于识别对象的多个学习网络模型1020、1060和1070中的第一学习网络模型1020的方法的示图。
[0113] 参照图10，对象识别设备可从运动传感器获得1D传感器数据1010。对象识别设备可使用第一学习网络模型1020将1D传感器数据1010转换为2D传感器数据。
[0114] 根据实施例，对象识别设备可将传感器的针对2D传感器数据和1D传感器数据1010的类别标签1015进行比较，以评估第一学习网络模型1020的训练结果。对象识别设备可通过根据比较结果应用反向传播算法的第一学习评估模块1030更新设置给构成第一学习网络模型1020的多个层中的每个层的参数。例如，对象识别设备可将设置给第一学习网络模型1020的每个参数影响误差的程度计算为值，并且作为比较的结果，应用计算出的值来更新设置给多个层中的每个层的参数。
[0115] 另外，对象识别设备可通过将从第一学习网络模型1020输出的2D传感器数据输入到具有与第一学习网络模型1020相反方向结构的第二学习网络模块1040中，将使用第一学习网络模型1020得到的2D传感器数据再转换为1D传感器数据。例如，当第一学习网络模型1020被配置为解卷积网络时，第二学习评估模块1040的学习网络模型可被配置为具有与解卷积网络相反的结构的卷积网络。
[0116] 对象识别设备可通过第二学习评估模块1040，基于将作为再转换的结果而获得的1D传感器数据与输入到第一学习网络模型1020的1D传感器数据进行比较的结果，更新设置给构成第一学习网络模型1020的多个层中的每个层的参数。
[0117] 根据实施例的对象识别设备，基于第一学习评估模块1030和第二学习评估模块1040中的至少一个，作为评估2D传感器数据的结果，当误差在预设范围内时，可将2D传感器数据和图像特征信息进行组合。这里，可基于从图像传感器获得的图像数据1050通过第二学习网络模型1060获得图像特征信息。
[0118] 对象识别设备可基于分别从第一学习网络模型1020和第二学习网络模型1060输出的转换后的传感器数据和图像特征信息，使用第三学习网络模型1070来识别对象。
[0119] 图11是用于说明根据实施例的训练用于识别对象的多个学习网络模型1120、1140和1150中的第三学习网络模型1150的方法的示图。
[0120] 参照图11，对象识别设备可从运动传感器获得1D传感器数据1110。对象识别设备可使用第一学习网络模型1120将1D传感器数据1110转换为2D传感器数据。
[0121] 另外，根据实施例的对象识别设备可基于从图像传感器获得的2D图像数据1130，使用第二学习网络模型1140获得图像特征信息。
[0122] 对象识别设备可将2D传感器数据和从2D图像数据1050获得的图像特征信息输入到组合模块1150。这里，组合模块1150可包括第三学习网络模型1150和学习评估模块1195，其中，第三学习网络模型1150包括多个层单元1160、1170和1180。这里，多个层单元1160、1170和1180可包括从输入的图像特征信息和2D传感器数据获得表示对象的特征信息的第一层单元1160、第二层单元1170和第三层单元1180。
[0123] 根据实施例的第一层单元1160可包括特征生成层1162、按元素相乘层1164和至少一个卷积层1166。
[0124] 特征生成层1162是用于处理2D传感器数据的特征信息的层，并且可通过应用权重等从2D传感器数据的特征信息中提取对于对象识别最有效的特征信息，使得该特征信息可与图像特征信息进行组合。另外，按元素相乘层1164可通过将通过特征生成层1162获得的特征信息与图像特征信息按元素相乘来将不同传感器的特征信息进行组合。至少一个卷积层1166可从通过按元素相乘层1164组合的特征信息获得适合于对象识别的类型的特征信息。在这种情况下，可基于稍后将描述的学习评估模块1195的结果来执行确定所述类型是否适合于对象识别。然而，这仅是实施例，并且第一层单元1160不限于上述示例。根据另一示例，至少一个卷积层1166可被构造为从不同传感器的特征信息推导非线性组合的修正线性单元(ReLU)。
[0125] 根据实施例的第二层单元1170可包括按元素相加层1172和至少一个卷积层1174。按元素相加层1172可线性地组合2D传感器数据和图像数据。另外，至少一个卷积层1174可从通过按元素相加层1172组合的特征信息获得适合于对象识别的类型的特征信息。如上所述，可基于稍后将描述的学习评估模块1195的结果来执行确定所述类型是否适合于对象识别。另外，根据另一示例，至少一个卷积层1174可被构造为ReLU。
[0126] 根据实施例的第三层单元1180可包括至少一个卷积层，其中，所述至少一个卷积层从自第一层单元1160和第二层单元1170中的每一个获得的特征信息获得适合于对象识别的类型的特征信息。例如，当分别从第一层单元1160和第二层单元1170获得了五个通道的特征信息和三个通道的特征信息时，第三层单元1180可从八个通道的特征信息获得适合于对象识别的类型的特征信息。
[0127] 另外，上述示例仅是第三学习网络模型1150的实施例，并且构成第三学习网络模型1150的层不限于上述示例。
[0128] 根据实施例的对象识别设备可将获得的实际对象的信息1190与对象识别结果进行比较。对象识别设备可通过根据比较结果应用反向传播算法的学习评估模块1195来更新设置给构成第三学习网络模型1150的多个层单元1160、1170和1180中的每个层单元的参数(例如权重)。例如，对象识别设备可将设置给第三学习网络模型1150的每个参数影响误差的程度计算为值，并且作为比较的结果，应用计算出的值来更新设给多个层单元1160、1170和1180中的每一个层单元的参数。
[0129] 图12是根据实施例的用于识别对象的对象识别设备100的框图。
[0130] 参照图12，对象识别设备100可包括感测单元110、处理器120、输出器130和存储器140。
[0131] 感测单元110可检测位于对象识别设备100周围的对象，并将作为检测结果而获得的传感器数据发送到处理器120。感测单元110可包括接近传感器、图像传感器、深度传感器、压力传感器、磁性传感器、加速度传感器和陀螺仪传感器中的至少两个或更多个传感器，但是不限于此。
[0133] 根据实施例，处理器120可执行对象识别设备100的以上参照图1至图11描述的操作。
[0134] 例如，处理器120可从不同类型的多个传感器获得关于对象的多条传感器数据。另外，处理器120可将多条传感器数据中的至少一些转换为2D传感器数据。处理器120可使用先前生成的学习网络模型，基于2D传感器数据以及从作多个传感器之一的图像传感器获得的2D图像数据来识别对象。
[0135] 同时，处理器120还可包括用于临时和/或永久地存储在其中处理的信号(或数据)的随机存取存储器(RAM)(未示出)和只读存储器(ROM)(未示出)。另外，处理器120可被实现为包括图形处理器、RAM和ROM中的至少一个的片上系统(SOC)。
[0136] 输出器130可显示关于对象识别的信息。例如，输出器130可显示从多个传感器获得的传感器数据。根据另一示例，输出器130可显示从处理器120获得的对象识别结果。
[0137] 存储器140可存储用于处理和控制处理器120的程序(一个或更多个指令)。存储在存储器140中的程序可根据它们的功能被划分为多个模块。根据实施例，存储器140可被配置为软件模块以及稍后将参照图13描述的数据学习器和数据确定器。另外，数据学习器和数据确定器可各自独立地包括学习网络模型，或者共享一个学习网络模型。
[0138] 图13是用于说明根据实施例的处理器120的示图。
[0139] 参照图13，根据实施例，处理器120可包括数据学习器1310和数据确定器1320。
[0140] 数据学习器1310可学习用于从图像数据和2D传感器数据识别对象的参考。另外，根据另一实施例，数据学习器1310可学习用于从图像数据检测图像特征信息的参考。根据另一实施例，数据学习器1310可学习用于将从多条传感器数据中的至少一些获得的1D传感器数据转换为2D传感器数据的参考。
[0141] 数据确定器1320可基于通过数据学习器1310训练出的参考，从图像数据检测特征信息或者将1D传感器数据转换为2D传感器数据。另外，数据确定器1320可基于通过数据学习器1310训练出的参考，从图像数据和2D传感器数据识别对象。
[0142] 数据学习器1310或数据确定器1320中的至少一个可以以至少一个硬件芯片的形式被制造，并被安装在对象识别设备上。例如，数据学习器1310或数据确定器1320中的至少一个可以以用于AI的专用硬件芯片的形式被制造，或者可被制造为现有通用处理器(例如，CPU或应用处理器)或纯图形处理器(例如，GPU)的一部分，并被安装在对象识别设备上。
[0143] 在这种情况下，数据学习器1310和数据确定器1320可被安装在一个电子设备上，或者可被安装在单独的对象识别设备上。例如，数据学习器1310和数据确定器1320中的一个可被包括在对象识别设备中，而另一个可被包括在服务器中。数据学习器1310和数据确定器1320可通过有线或无线方式将由数据学习器1310构建的模型信息提供给数据确定器1320，并且将输入到数据确定器1320的数据作为附加训练数据提供给数据学习器1310。
[0144] 另外，数据学习器1310或数据确定器1320中的至少一个可被实现为软件模块。当数据学习器1310或数据确定器1320中的至少一个被实现为软件模块(或包括指令的程序模块)时，软件模块可被存储在非暂时性计算机可读介质中。另外，在这种情况下，可由操作系统(OS)或预定应用提供至少一个软件模块。可选地，所述至少一个软件模块中的一个软件模块可由OS提供，而另一个软件模块可由预定应用提供。
[0145] 图14是根据实施例的数据学习器1310的框图。
[0146] 参照图14，根据实施例的数据学习器1310可包括数据获得器1310、预处理器1320、训练数据选择器1430、模型学习器1440和模型评估器1450。然而，这仅是实施例，并且数据学习器1310可包括比上述元件更少的元件，或者与上述元件相比还可包括其他元件。
[0147] 数据获得器1310可获得从不同类型的传感器获得的关于至少一个对象的多条传感器数据，作为训练数据。例如，数据获得器1310可获得对象的图像数据、关于对象的运动和位置的传感器数据等，作为训练数据。
[0148] 另外，由数据获得器1310获得的传感器数据可以是根据对象的类别分类的传感器数据之一。例如，数据获得器1310可基于根据对象的类型分类的传感器数据来执行训练。
[0149] 预处理器1320可对获得的传感器数据进行预处理，使得获得的传感器数据可用于传感器数据的转换、图像特征信息的提取或用于对象识别的训练。预处理器1320可以以预定格式处理获得的至少一条传感器数据，使得稍后将描述的模型学习器1440可将获得的至少一条传感器数据用于学习。
[0150] 训练数据选择器1430可从经过预处理的数据中选择学习所需的传感器数据。选择的传感器数据可被提供给模型学习器1440。训练数据选择器1430可根据设置的参考从经过预处理的传感器数据中选择训练所需的传感器数据。
[0151] 模型学习器1440可学习用于通过在学习网络模型中的多个层中使用图像数据和2D传感器数据中的哪些信息来识别对象的参考。例如，模型学习器1440可学习关于学习网络模型中包括的多个层中的哪个层应该被应用于识别对象的第一参考。这里，第一参考可包括由对象识别设备用来识别对象的图像数据或2D传感器数据的类型和数量、组合操作的类型和级别等。
[0152] 根据各种实施例，当存在多个预先建立的数据识别模型时，模型学习器1440可将与输入的训练数据和基本训练数据高度相关的数据识别模型确定为要学习的数据识别模型。在这种情况下，可针对每种类型的数据对基本训练数据进行预先分类，并且可针对每种类型的数据预先建立数据识别模型。例如，可基于诸如生成训练数据的区域、生成训练数据的时间、训练数据的大小、训练数据的类型、训练数据的创建者以及训练数据中对象的类型的各种参考对基本训练数据进行预先分类。
[0153] 另外，模型学习器1440可通过例如使用关于根据学习而所识别的对象是否正确的反馈的增强学习来训练用于数据识别的学习网络模型。
[0154] 此外，当学习网络模型被训练完成时，模型学习器1440可存储训练出的学习网络模型。在这种情况下，模型学习器1440可将训练出的学习网络模型存储在包括数据确定器1320的对象识别设备的存储器中。可选地，模型学习器1440可将训练出的学习网络模型存储在包括稍后将描述的数据确定器1320的对象识别设备的存储器中。可选地，模型学习器
1440可将训练出的学习网络模型存储在通过有线或无线网络连接到对象识别设备的服务器的存储器中。
1440可将训练出的学习网络模型存储在通过有线或无线网络连接到对象识别设备的服务器的存储器中。
[0155] 在这种情况下，存储有训练出的学习网络模型的存储器还可存储例如与对象识别设备的至少一个其他元件有关的命令或数据。存储器还可存储软件和/或程序。程序可包括例如内核、中间件、应用程序编程接口(API)和/或应用程序(或“应用”)。
[0156] 模型评估器1450可将评估数据输入到学习网络模型，并且当从评估数据输出的识别结果不满足预定参考时，模型评估器1450可使模型学习器1440再次被训练。在这种情况下，评估数据可以是用于评估学习网络模型的预定数据。这里，评估数据可包括基于学习网络模型识别出的对象的类别与实际对象的类别之间的匹配率。
[0157] 另外，当存在训练出的多个学习网络模型时，模型评估器1450可评估训练出的多个学习网络模型中的每个是否满足预定参考，并将满足预定参考的模型确定为最终的学习网络模型。例如，如以上参照图10和图11所述，根据实施例的多个学习网络模型可包括在用于转换传感器数据的第一学习网络模型、用于检测图像特征信息的第二学习网络模型和用于对象识别的第三学习网络模型中的至少两个或更多个学习网络模型。
[0158] 另外，数据学习器1310中的数据获得器1310、预处理器1320、训练数据选择器1430、模型学习器1440或模型评估器1450中的至少一个可以以至少一个硬件芯片的形式被制造，并可被安装在对象识别设备上。例如，数据获得器1310、预处理器1320、训练数据选择器1430、模型学习器1440或模型评估器1450中的至少一个可以以用于AI的专用硬件芯片的形式被制造，或者可被制造为现有通用处理器(例如，CPU或应用处理器)或纯图形处理器(例如，GPU)的一部分，并被安装在对象识别设备上。
[0159] 另外，数据获得器1310、预处理器1320、训练数据选择器1430、模型学习器1440或模型评估器1450可被安装在一个对象识别设备上或可被安装在单独的对象识别设备上。例如，数据获得器1310、预处理器1320、训练数据选择器1430、模型学习器1440和模型评估器1450中的一些可被包括在对象识别设备中，而其他的可被包括在服务器中。
[0160] 另外，数据获得器1310、预处理器1320、训练数据选择器1430、模型学习器1440或模型评估器1450中的至少一个可被实现为软件模块。当数据获得器1310、预处理器1320、训练数据选择器1430、模型学习器1440或模型评估器1450中的至少一个被实现为软件模块(或包括指令的程序模块)时，软件模块可被存储在非暂时性计算机可读介质中。此外，在这种情况下，可由OS或预定应用提供至少一个软件模块。可选地，所述至少一个软件模块中的一个软件模块可由OS提供，而另一个软件模块可由预定应用提供。
[0161] 图15是根据实施例的数据确定器1320的框图。
[0162] 参照图15，根据某些实施例的数据确定器1320可包括数据获得器1510、预处理器1520、识别数据选择器1530、识别结果提供器1540和模型修正器1550。
[0163] 数据获得器1510可获得从不同类型的传感器获得的关于至少一个对象的多条传感器数据，并且预处理器1520可对获得的传感器数据进行预处理，使得针对识别对象而获得的至少一个图像可被使用。预处理器1520可将获得的图像处理成预设格式，使得稍后将描述的识别结果提供器1540可将获得的传感器数据用于对象识别。识别数据选择器1530可从经过预处理的传感器数据中选择对象识别所需的传感器数据。选择的数据可被提供给识别结果提供器1540。
[0164] 根据实施例，识别结果提供器1540可通过将选择的传感器数据应用于学习网络模型来识别对象。通过将选择的传感器数据应用于学习网络模型来识别对象的方法可与以上参照图1至图11描述的方法对应。
[0165] 识别结果提供器1540可基于传感器数据提供识别对象的结果。
[0166] 模型修正器1550可基于对由识别结果提供器1540提供的对象识别结果的评估，将评估信息提供给以上参照图14描述的模型学习器1440，使得包括在学习网络模型中的分类网络或至少一个特征提取层的参数被修正。
[0167] 另外，数据确定器1320中的数据获得器1510、预处理器1520、识别数据选择器1530、识别结果提供器1540和模型修正器1550中的至少一个可以以至少一个硬件芯片的形式被制造并被安装在对象识别设备上。例如，数据获得器1510、预处理器1520、识别数据选择器1530、识别结果提供器1540和模型修正器1550中的至少一个可以以用于AI的专用硬件芯片的形式被制造，或者可被制造为现有通用处理器(例如，CPU或应用处理器)或纯图形处理器(例如，GPU)的一部分，并被安装在对象识别设备上。
[0168] 另外，数据获得器1510、预处理器1520、识别数据选择器1530、识别结果提供器1540和模型修正器1550可被安装在一个对象识别设备上，或者可被安装在单独的对象识别设备上。例如，数据获得器1510、预处理器1520、识别数据选择器1530、识别结果提供器1540和模型修正器1550中的一些可被包括在对象识别设备中，而其他的可被包括在服务器中。
[0169] 另外，数据获得器1510、预处理器1520、识别数据选择器1530、识别结果提供器1540和模型修正器1550中的至少一个可被实现为软件模块。当数据获得器1510、预处理器
1520、识别数据选择器1530、识别结果提供器1540和模型修正器1550中的至少一个被实现为软件模块(或包括指令的程序模块)时，软件模块可被存储在非暂时性计算机可读介质中。此外，在这种情况下，可由OS或预定应用提供至少一个软件模块。可选地，所述至少一个软件模块中的一个软件模块可由OS提供，而另一个软件模块可由预定应用提供。
1520、识别数据选择器1530、识别结果提供器1540和模型修正器1550中的至少一个被实现为软件模块(或包括指令的程序模块)时，软件模块可被存储在非暂时性计算机可读介质中。此外，在这种情况下，可由OS或预定应用提供至少一个软件模块。可选地，所述至少一个软件模块中的一个软件模块可由OS提供，而另一个软件模块可由预定应用提供。
[0170] 图16是根据另一实施例的对象识别设备1600的框图。
[0171] 参照图16，除了分别对应于图12的感测单元110、处理器120、输出器130和存储器140的感测单元1610、处理器1620、输出器1630和存储器1640之外，根据另一实施例的对象识别设备1600可包括通信器1650、音频/视频(A/V)输入器1660和用户输入器1670。
[0172] 感测单元1610可包括磁性传感器1611、加速度传感器1612、温度/湿度传感器1613、红外传感器1614、陀螺仪传感器1615、位置传感器1616、压力传感器1617、接近传感器
1618或图像传感器1619，但这仅是实施例，并且包括在感测单元1610中的传感器不限于上述示例。
1618或图像传感器1619，但这仅是实施例，并且包括在感测单元1610中的传感器不限于上述示例。
[0173] 处理器1620通常控制对象识别设备1600的所有操作以及对象识别设备1600的内部元件之间的信号流，并执行处理数据的功能。例如，处理器1620通常可通过执行存储在存储器1640中的程序(一个或更多个指令)来控制输入器1610、输出器1630、通信器1650、A/V输入器1660和用户输入器1670。
[0174] 根据实施例，处理器1620可基于使用不同类型的多个传感器获得的关于对象的多条传感器数据，使用至少一个学习网络模型来识别对象，以执行以上参照图1至图11描述的对象识别设备100的功能。处理器1620与图12的处理器120对应，因此下面将省略其详细描述。
[0175] 输出器1630可将获得的传感器数据输出到感测单元1610。另外，输出器1630可输出由处理器1620确定的识别对象的结果。输出器1630可包括显示器1631和声音输出器1632。
[0177] 声音输出器1632可输出从通信器1650接收的或存储在存储器1640中的音频数据。
[0178] 存储器1640可存储由处理器1620执行的处理或控制操作所必需的程序(例如，一个或更多个指令、第一学习网络模型、第二学习网络模型和第三网络模型)，或者存储输入到对象识别设备1600或从对象识别设备1600输出的数据(例如，对象识别结果)。
[0179] 存储在存储器1640中的程序可根据它们的功能被分类为多个模块，并且可包括例如UI模块1641和触摸屏模块1642等。
[0180] UI模块1641可提供针对每个应用的与对象识别设备1600交互的专用UI、GUI等。触摸屏模块1642可感测触摸屏上的用户的触摸手势，并且可将关于触摸手势的信息发送到处理器1620。根据实施例的触摸屏模块1642可识别并分析触摸代码。触摸屏模块1642可被配置为包括控制器的单独的硬件。
[0181] 存储器1640可包括闪存型、硬盘型、多媒体卡微型、卡型存储器(例如，SD或XD存储器)、RAM(随机存取存储器)、SRAM(静态随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦可编程只读存储器)、PROM(可编程只读存储器)、磁性存储器、磁盘或光盘的至少一种类型的存储介质。
[0182] 通信器1650可包括用于与外部设备通信的一个或更多个元件。例如，通信器1650可包括短距离无线通信器1651、移动通信器1652和广播接收器1653。
[0183] 短距离无线通信器1651可包括蓝牙通信器、蓝牙低功耗(BLE)通信器、近场通信器、WLAN通信器、WLAN(WiFi)通信器、Zigbee通信器、红外数据协会(IrDA)通信器、Wi-Fi直连(WFD)通信器、超宽带(UWB)通信器、Ant+通信器等，但是本公开不限于此。
[0185] 广播接收器1653可通过广播信道从外部接收广播信号和/或广播相关信息。根据实施例，对象识别设备1600可不包括广播接收器1653。
[0186] 根据实施例，当学习网络模型被存储在外部设备中时，通信器1650可通过将传感器数据发送到外部设备来请求对象的识别，并且从外部设备接收对象识别结果。
[0188] 相机1661捕获相机识别范围内的图像。根据实施例，由相机1661捕获的图像可由处理器1620处理，并在显示器1631上被显示和输出。
[0189] 用户输入器1670是用于用户输入用于控制对象识别设备1600的数据的装置。例如，用户输入器1670可包括键板、圆顶开关、触摸板(接触电容型、压阻型、红外线检测型、表面超声波传导型、积分张力测量型、压电效应型等)、滚轮、轻摇开关等，但是本公开不限于此。
[0190] 根据实施例，用户输入器1670可通过使用触摸板接收请求感测对象识别设备1600周围的对象的用户输入。然而，这仅是实施例，并且用户输入器1670可通过诸如遥控器的输入装置从用户接收请求感测对象的用户输入。
[0191] 图16中所示的对象识别设备1600的配置仅是实施例，并且可根据实际实施的对象识别设备的规格来集成、添加或省略对象识别设备1600的元件中的每个元件。换句话说，可将两个或更多个元件组合为单个元件，或者可将单个元件划分为两个或更多个元件。由每个元件(或模块)执行的功能旨在描述实施例，并且与功能有关的特定操作或设备不限制本公开的范围。
[0192] 本公开的实施例可被编写为在计算机上可执行的程序，并且可在使用计算机可读记录介质执行程序的通用数字计算机中被实现。
[0193] 计算机可读记录介质的示例包括诸如磁性存储介质(例如，ROM、软盘、硬盘等)、光学记录介质(例如，CD-ROM或DVD)和载波(例如，通过互联网传输)的存储介质。
[0194] 虽然已经参照附图描述了本公开的实施例，但是本领域普通技术人员将理解，在不脱离本公开的技术精神或本质特征的情况下，可以以其他特定形式来实施本公开。因此，应当理解，本公开的上述实施例在所有方面都是示例性的而不是限制性的。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种通过检测距离实现直线跟随的康复减重步行训练车及控制方法 | 2020-10-28 | 1 |
| 一种新式延缓磨损延长固态硬盘使用寿命的方法 | 2022-05-13 | 0 |
| 高速列车动态行为主动控制系统 | 2022-09-30 | 2 |
| 低密度奇偶校验码的译码方法和译码器 | 2020-06-16 | 1 |
| 一种S=8编码方式的低功耗蓝牙维特比联合解调解码算法 | 2020-05-20 | 3 |
| 一种确定矿井巷网火灾灭火封堵位置的方法 | 2020-07-06 | 1 |
| 一种氢能燃料电池车的能量管理方法 | 2020-07-16 | 2 |
| 基于xgboost算法的工业设计匹配服务方预测方法 | 2020-12-20 | 0 |
| 一种从人体X射线图像中自动提取膝关节部分图像的方法 | 2020-11-16 | 2 |
| 一种基于大数据构建知识图谱的反欺诈系统 | 2022-10-04 | 1 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈