专利汇可以提供基于语音辅助的视听协同学习机器人及学习方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于语音辅助的视听协同学习 机器人 ,其特征在于,包括视觉系统、语音系统、综合学习系统和控制系统,本方案直接通过语言来获得大量打好语音标签的数据集可以解决传统繁琐而低效率的打标签现状,其次将打好语音标签的数据集导入神经网络进行训练,引导机器人对新对象进行自主学习,将提取到的特征信息存入使用知识图谱方法建立起的 知识库 中,这种通过知识图谱建立起的 数据库 可以用于推理,相对传统知识库的存储方式,更有利于机器人的实时学习。,下面是基于语音辅助的视听协同学习机器人及学习方法专利的具体信息内容。
1.一种基于语音辅助的视听协同学习机器人,其特征在于,包括视觉系统、语音系统、综合学习系统和控制系统,所述视觉系统包括激光雷达、360°旋转摄像头和图像预处理模块,所述语音系统包括语音输入模块、语音输出模块和语音处理模块,所述综合学习系统包括搭载有神经网络模型和知识图谱的主控板和GPU云集群,所述控制系统包括主控板、机器人操作系统和控制指令集;
所述视觉系统与主控板连接,激光雷达扫描环境中障碍物信息,然后利用SLAM建立该区域环境下的地图,实现在该区域的避障与自主导航,自主运动到建好地图范围内的任意地点;
所述360°旋转摄像头拍摄需要学习区域的图片,通过图像处理OpenCV检测图片中的对象信息,并将检测对象信息后的图片直接输入到综合学习系统;
所述语音系统与控制系统的主控板连接,所述语音接收模块接收外界的语音输入,语音输入为人们描述的学习区域所需学习的对象信息,利用语音识别将语音信息转化为文字信息,再输入到语言处理模块中使用QA&NLP对其理解处理,并将处理后的语音信息输入到综合学习模块;所述语音输出模块负责机器人的语言输出,实现机器人与人之间的语音交互;
所述综合学习系统接收视觉系统和语音系统的输入,利用语音系统发送的语音信息识别视觉系统输入的图片信息,学习图片信息中的新目标。
2.根据权利要求1所述的基于语音辅助的视听协同学习机器人的新目标学习方法,其特征在于,包括以下步骤:
S1:输入经过OpenCV处理后的图片Pin和经过QA&NLP处理后的语言信息Vin,假定经过映射f,得到图片中的两个点坐标(x1,y1)和(x2,y2)且满足x1≠x2,y1≠y2,由两个点所构成的长方形区域将拍摄的学习区域的图片中需要学习的新对象给框选出来,即生成语音标签PVLab((x1,y1),(x2,y2)),此时有:
PVLab((x1,y1),(x2,y2))=f(Pin,Vin) x1≠x2,y1≠y2;
S2:将打好语音标签的图片保存至机器人的内存中;
S3:机器人以语音标签中需要学习的对象为中心,移动车身并转动360°旋转摄像头,获取新对象若干角度的图像信息,并保存在机器人内存中;
S4:利用内存中打好语音标签的图片对若干角度的图像信息进行图像增广,获得图像的数据集;
S5:将图像的数据集导入神经网络,在神经网络中提取新对象的颜色、大小和形状特征,然后通过softmax函数对图像中标注的新对象特征进行分类;
S6:将新对象的特征信息存入知识图谱中。
3.根据权利要求2所述的基于语音辅助的视听协同学习机器人的新目标学习方法,其特征在于,还包括以下步骤:
S7:设定阈值W,利用余弦相似度量法计算两幅图像特征之间的距离,度量该学习的新对象与知识图谱中同类对象的相似度:
其中,学习对象提取的特征为I1=(x1,x2,x3,...,xn),知识图谱中已存储同类对象的特征记为I2=(y1,y2,y3,...,ym),xi为需要学习的新对象的第i个特征,yi为知识图谱中已存储同类对象的第i个特征;
S8:若W≥cosθ,判定已经学过此新对象,综合学习系统直接反馈给语音系统,通过语音输出模块输出该学习对象的信息;
S9:若W<cosθ,判定未学过此新对象或者未完全学会该新对象,提取新对象的特征信息存入知识图谱中。
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
风电机组变桨轴承智能装配方法 | 2020-05-11 | 33 |
一种智能提高机器人乘坐电梯可靠性的电梯控制方法及系统 | 2020-05-08 | 713 |
一种可实时检测关节磨损程度的工业机器人 | 2020-05-08 | 710 |
机器学习装置、机器人控制系统和机器学习方法 | 2020-05-11 | 122 |
一种扫地机的智能控制系统 | 2020-05-11 | 737 |
机器人控制柜装配辅助系统及方法 | 2020-05-08 | 77 |
一种轮毂表面二维码的激光刻录读取设备与方法 | 2020-05-08 | 737 |
脉冲磁场多位向批量再制造高性能刀具的生产线及其方法 | 2020-05-08 | 873 |
用于运行机器人控制系统的方法、设备和计算机程序 | 2020-05-08 | 1011 |
一种带有两个双目视觉系统智能移动机器人 | 2020-05-08 | 92 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。