机器人设备,控制机器人设备的方法,计算机程序和程序存储介质

申请号 CN201280023849.X 申请日 2012-04-16 公开(公告)号 CN103561917A 公开(公告)日 2014-02-05
申请人 索尼公司; 发明人 泽田务;
摘要 提供一种能够最好地检测摄像机镜头上的污垢和划痕之间的差异,和手上的污垢和划痕之间的差异的极好的 机器人 设备。机器人设备100通过利用借助摄像机305拍摄的手的图像作为基准图像,检测存在污垢或划痕的部位。此外,机器人设备100通过移动手,判定检测到的污垢或划痕是归因于摄像机305的镜头还是归因于手。假定检测到污垢,机器人设备100进行清洁工作,随后取决于所述污垢是否被除去,机器人设备100检测污垢和划痕之间的差异。
权利要求

1.一种机器人设备,包括:
摄像机;
手;以及
控制器,所述控制器处理利用摄像机拍摄的图像,并控制手的操作,其中所述控制器
获得通过对相对于摄像机放在特定位置处的手拍照而得到的基准图像,在污垢检测时,通过比较通过对放在所述特定位置处的手拍照而获得的第一检测图像和基准图像,检测摄像机镜头或手上是否有污垢,以及
当检测到摄像机镜头或手上的污垢时,通过比较对移离所述特定位置的手拍照而得到的第二检测图像和第一检测图像,判定污垢在摄像机镜头和手之中的哪一个上。
2.按照权利要求1所述的机器人设备,其中
当在整个图像内第一检测图像和基准图像之间的相关性高时,控制器判定在摄像机镜头和手上没有污垢,而当在图像上存在具有低相关性的低相关性部位时,控制器检测到在低相关性部位处的摄像机镜头或手上的污垢。
3.按照权利要求2所述的机器人设备,其中
当比较第二检测图像和第一检测图像时,当在图像上的低相关性部位处相关性高时,控制器判定摄像机镜头上有污垢,而当图像上的低相关性部位处相关性低时,控制器判定手上有污垢。
4.按照权利要求1所述的机器人设备,其中
当判定摄像机镜头上有污垢时,控制器擦拭摄像机镜头上的肮脏部分,随后比较通过对放在所述特定位置处的手拍照而获得的第三检测图像和基准图像,以检测摄像机镜头上是否有划痕。
5.按照权利要求1所述的机器人设备,其中
当确定手上有污垢时,控制器擦拭手上的肮脏部分,随后比较通过对放在所述特定位置处的手拍照而获得的第四检测图像和基准图像,以检测手上是否有划痕。
6.一种控制机器人设备的方法,包括:
获得通过对相对于机器人的摄像机放在特定位置处的手拍照而得到的基准图像的步骤;
在污垢检测时,通过比较通过对放在所述特定位置处的手拍照而获得的第一检测图像和基准图像,检测摄像机镜头或手上是否有污垢的污垢检测步骤;以及当在污垢检测步骤检测到摄像机镜头或手上的污垢时,通过比较对移离所述特定位置的手拍照而得到的第二检测图像和第一检测图像,判定污垢在摄像机镜头和手之中的哪一个上的判定步骤。
7.一种控制机器人设备的计算机程序,所述计算机程序允许计算机执行:
获得通过对相对于摄像机,放在特定位置的手拍照而得到的基准图像的步骤;
在污垢检测时,通过比较通过对放在所述特定位置的手拍照而获得的第一检测图像和基准图像,检测摄像机镜头或手上是否有污垢的污垢检测步骤;和
当在污垢检测步骤,检测到摄像机镜头或手上的污垢时,通过比较对移离所述特定位置的手拍照而得到的第二检测图像和第一检测图像,判定污垢在摄像机镜头和手之中的哪一个上的判定步骤。
8.一种保存机器人设备的控制程序的程序存储介质,所述控制程序允许计算机执行:
获得通过对相对于摄像机,放在特定位置的手拍照而得到的基准图像的步骤;
在污垢检测时,通过比较通过对放在所述特定位置的手拍照而获得的第一检测图像和基准图像,检测摄像机镜头或手上是否有污垢的污垢检测步骤;和
当在污垢检测步骤,检测到摄像机镜头或手上的污垢时,通过比较对移离所述特定位置的手拍照而得到的第二检测图像和第一检测图像,判定污垢在摄像机镜头和手之中的哪一个上的判定步骤。

说明书全文

机器人设备,控制机器人设备的方法,计算机程序和程序存

储介质

技术领域

[0001] 本说明书中公开的技术涉及在人类生活环境中工作,与人类交流或者进行诸如抓握物体之类工作的机器人设备,控制所述机器人设备的方法,计算机程序和程序存储介质,尤其涉及检测摄像机镜头上的污垢和划痕之间的差异,和手上的污垢和划痕之间的差异的机器人设备,控制所述机器人设备的方法,计算机程序和程序存储介质。

背景技术

[0002] 随着老龄化社会的快速到来,需要其中老年人可以尽可能不需要护理地享受健康积极的生活,并且需要护理的老年人可以尽可能地独立生活,而不会恶化健康状况的社会。未来,随着对护理和家务照顾的需求的增长,护工的数量变得短缺,如果一个护工照顾一个用户的话。于是,对目的在于主要在老年护理机构和有老年人的家庭中,通过与人类交流和进行诸如物体的抓握之类工作,为人类做家务和护理的机器人之类的机电一体化设备的需求不断增长。
[0003] 这种机器人设备大多具备摄像机,根据摄像机拍摄的图像,检测或识别工作区中的物体,并进行诸如抓握之类的工作。于是,当摄像机镜头上有污垢或划痕时,这显著影响检测/识别物体的能,会导致工作效率降低。当在诸如手之类的物体抓握单元上有污垢时,抓握的物体变脏,会对接收该物体的人产生不利的心理影响。
[0004] 例如,提出了比较相同区域中的多个图像,以根据相同区域中的图像之间的差异,检测摄像机镜头上是否有污垢的机器人设备(例如,参见专利文献1)。然而,这种机器人设备不能检测相同区域中的图像之间的差异是由摄像机镜头上的污垢还是划痕引起的,换句话说,这种机器人设备不能检测摄像机镜头上的污垢和划痕之间的差异。另外,机器人设备不能检测手上的污垢,或者检测手上的污垢和划痕之间的差异。
[0005] 引文列表
[0006] 专利文献
[0007] 专利文献1:日本专利申请公开No.2008-160635发明内容
[0008] 在本说明书中公开的技术的目的是提供一种能够最好地检测摄像机镜头上的污垢和划痕之间的差异,和手上的污垢和划痕之间的差异的极好的机器人设备,和控制所述机器人设备的方法。
[0009] 鉴于上述问题实现了本申请,权利要求1中记载的技术是
[0010] 一种机器人设备,包括:
[0011] 摄像机;
[0012] 手;和
[0013] 控制器,所述控制器处理利用摄像机拍摄的图像,并控制手的操作,其中[0014] 所述控制器
[0015] 获得通过对相对于摄像机,放在特定位置的手拍照而得到的基准图像,[0016] 在污垢检测时,通过比较通过对放在所述特定位置的手拍照而获得的第一检测图像和基准图像,检测摄像机镜头或手上是否有污垢,和
[0017] 当检测到摄像机镜头或手上的污垢时,通过比较对移离所述特定位置的手拍照而得到的第二检测图像和第一检测图像,判定污垢在摄像机镜头和手之中的哪一个上。
[0018] 按照在本申请的权利要求2中记载的技术,按照权利要求1所述的机器人设备的控制器被配置成当在整个图像内,第一检测图像和基准图像之间的相关性高时,确定在摄像机镜头和手上没有污垢,而当在图像上,存在具有低相关性的低相关性部位时,检测到在低相关性部位处的摄像机镜头或手上的污垢。
[0019] 按照在本申请的权利要求3中记载的技术,按照权利要求2所述的机器人设备的控制器被配置成当比较第二检测图像和第一检测图像时,当在图像上的低相关性部位处,相关性高时,确定摄像机镜头上有污垢,而当图像上的低相关性部位处,相关性小时,确定手上有污垢。
[0020] 按照在本申请的权利要求4中记载的技术,按照权利要求1所述的机器人设备的控制器被配置成当确定摄像机镜头上有污垢时,擦拭摄像机镜头上的肮脏部分,随后比较通过对放在所述特定位置的手拍照而获得的第三检测图像和基准图像,以检测摄像机镜头上是否有划痕。
[0021] 按照在本申请的权利要求5中记载的技术,按照权利要求1所述的机器人设备的控制器被配置成当确定手上有污垢时,擦拭手上的肮脏部分,随后比较通过对放在所述特定位置的手拍照而获得的第四检测图像和基准图像,以检测手上是否有划痕。
[0022] 在本申请的权利要求6中记载的技术是
[0023] 一种控制机器人设备的方法,包括:
[0024] 通过对相对于机器人的摄像机,放在特定位置的手拍照而得到基准图像的步骤;
[0025] 在污垢检测时,通过比较通过对放在所述特定位置的手拍照而获得的第一检测图像和基准图像,检测摄像机镜头或手上是否有污垢的污垢检测步骤;和
[0026] 当在污垢检测步骤,检测到摄像机镜头或手上的污垢时,通过比较对移离所述特定位置的手拍照而得到的第二检测图像和第一检测图像,判定污垢在摄像机镜头和手之中的哪一个上的判定步骤。
[0027] 在本申请的权利要求7中记载的技术是
[0028] 一种控制机器人设备的计算机程序,所述计算机程序允许计算机执行:
[0029] 获得通过对相对于摄像机,放在特定位置的手拍照而得到的基准图像的步骤;
[0030] 在污垢检测时,通过比较通过对放在所述特定位置的手拍照而获得的第一检测图像和基准图像,检测摄像机镜头或手上是否有污垢的污垢检测步骤;和
[0031] 当在污垢检测步骤,检测到摄像机镜头或手上的污垢时,通过比较对移离所述特定位置的手拍照而得到的第二检测图像和第一检测图像,判定污垢在摄像机镜头和手之中的哪一个上的判定步骤。
[0032] 按照本申请的权利要求7所述的计算机程序定义按照计算机可读格式描述的,以便在计算机上实现预定处理的计算机程序。换句话说,通过把按照本申请的权利要求7所述的计算机程序安装在计算机上,在计算机上进行协同动作,以致获得与按照本申请的权利要求6所述的控制机器人设备的方法类似的功能效果。
[0033] 在本申请的权利要求8中记载的技术是
[0034] 一种保存机器人设备的控制程序的程序存储介质,所述控制程序允许计算机执行:
[0035] 获得通过对相对于摄像机,放在特定位置的手拍照而得到的基准图像的步骤;
[0036] 在污垢检测时,通过比较通过对放在所述特定位置的手拍照而获得的第一检测图像和基准图像,检测摄像机镜头或手上是否有污垢的污垢检测步骤;和
[0037] 当在污垢检测步骤,检测到摄像机镜头或手上的污垢时,通过比较对移离所述特定位置的手拍照而得到的第二检测图像和第一检测图像,判定污垢在摄像机镜头和手之中的哪一个上的判定步骤。
[0038] 按照在本说明书中公开的技术,可以提供能够最好地检测摄像机镜头上的污垢和划痕之间的差异,和手上的污垢和划痕之间的差异的极好的机器人设备,控制所述机器人设备的方法,计算机程序和程序存储介质。
[0039] 依据基于下面说明的实施例附图的更详细说明,在本说明书中公开的技术的其它目的、特征和优点将更清楚。

附图说明

[0040] 图1是图解说明本说明书中公开的技术可适用于的机器人设备100的外观的示图。
[0041] 图2是图解说明本说明书中公开的技术可适用于的机器人设备100的关节的自由度结构的示意图。
[0042] 图3是图解说明本说明书中公开的技术可适用于的机器人设备100的功能结构的示意图。
[0043] 图4是图解说明控制单元320的结构的示图。
[0044] 图5是图解说明机器人设备100的检测摄像机镜头上的污垢和划痕之间的差异,和手上的污垢和划痕之间的差异的过程的流程图
[0045] 图6是图解说明把手移动到更靠近头上的立体摄像机镜头之处,以获得手的图像A的状态的示图。
[0046] 图7是图解说明把手移动到更靠近头上的鱼眼摄像机镜头之处,以获得手的图像A的状态的示图。
[0047] 图8是图解说明作为基准图像获得的手的图像A的例子的示图。
[0048] 图9是图解说明相互相邻的手的图像A和包含部位X的手的图像B的示图。
[0049] 图10是图解说明其中归因于摄像机镜头上的污垢或划痕,在手的图像B和手的图像C上,在部位X中相关性都变高的状态的示图。
[0050] 图11是图解说明其中归因于手表面上的污垢或划痕,由于污垢或划痕随着手的移动而移动,在手的图像B和手的图像C上,在部位X中相关性都变低的状态的示图。
[0051] 图12是图解说明其中机器人设备100擦去头部上的鱼眼摄像机镜头上的污垢的状态的示图。

具体实施方式

[0052] 下面参考附图,详细说明在本说明书中公开的技术的实施例。
[0053] 图1图解说明在本说明书中公开的技术可适用于的机器人设备100的外观。机器人设备100是通过利用关节,连接多个链节而获得的链节结构,其中每个关节由致动器操作。图2示意地图解说明机器人设备100的关节的自由度结构。图解所示的机器人设备100主要设置在家庭环境中,用于提供家务、护理等;机器人设备100也可用于各种用途,比如工业用途。
[0054] 图解所示的机器人设备100具备作为移动装置,在底座部分上彼此相对的两个驱动轮101R和101L。驱动轮101R和101L由分别绕俯仰轴转动的驱动轮致动器102R和102驱动。同时在图2中,附图标记151、152和153表示不存在的欠驱动的关节,所述欠驱动的关节对应于机器人设备100相对于地板表面,分别在X方向(前后方向)的平移自由度,在Y方向(左右方向)的平移自由度,和绕偏转轴的转动自由度,以表示机器人设备100在虚拟世界中来回移动。
[0055] 移动装置通过髋关节连接到上身。腰关节由绕俯仰轴转动的腰关节俯仰轴致动器103驱动。上身由通过颈关节连接的左右双臂和头部构成。左右臂都具有总共7个自由度,包括肩关节的3个自由度,肘关节的2个自由度,和腕关节的2个自由度。肩关节的3个自由度由肩关节俯仰轴致动器104R/L,肩关节滚转轴致动器105R/L和肩关节偏转轴致动器
106R/L驱动。肘关节的2个自由度由肘关节俯仰轴致动器107R/L和肘关节偏转轴致动器
108R/L驱动。腕关节的2个自由度由腕关节滚转轴致动器109R/L和腕关节俯仰轴致动器
110R/L驱动。颈关节的2个自由度由颈关节俯仰轴致动器111和颈关节偏转轴致动器112驱动。手关节的1个自由度由手关节滚转轴致动器113R/L驱动。
[0056] 同时,尽管图解所示的机器人设备100具备对置两轮式移动装置,不过在本说明书中公开的技术的范围并不局限于对置两轮式移动装置。例如,在本说明书中公开的技术也可类似于应用于具备腿式移动装置的机器人设备100。
[0057] 图3示意地图解说明机器人设备100的功能结构。机器人设备100由整体控制全部操作,并进行其它数据处理的控制单元320,输入/输出单元340,驱动单元350和电源单元360构成。下面说明各个单元。
[0058] 输入/输出单元340包括对应于机器人设备100的眼睛的摄像机305,对应于机器人设备100的朵的麦克306,作为输入单元布置在诸如头部和背部之类部位,用于检测用户触摸等的压敏传感器308。作为输出单元,包括对应于嘴的扬声器307,借助照明的闪烁和定时的组合,产生面部表情的LED指示器(眼睛灯)309,等等。同时,除了对应于左眼和右眼的立体摄像机之外,摄像机305还包括具有大体在头部中央的鱼眼镜头的摄像机。
[0059] 驱动单元350是实现机器人设备100的各个关节的自由度的功能模,由在各个关节分别为滚转轴、俯仰轴和偏转轴设置的多个驱动单元构成。每个驱动单元由进行绕预定轴的转动操作的电动机351,检测电动机351的转动位置的编码器352,和根据编码器352的输出,自适应地控制电动机351的转动位置和转动速度的驱动器353组合构成。
[0060] 电源单元360是向机器人设备100中的各个电路供电的功能模块,由可再充电电池361和充/放电控制器362构成,充/放电控制器362管理可再充电电池361的充/放电状态。
[0061] 图4更详细地图解说明控制单元320的结构。如图中图解所示,控制单元320具有其中作为主控制器的CPU(中央处理器)401通过总线连接到存储器和其它电路组件,以及外设的结构。CPU401可以通过指定每个装置的地址,在总线408上与每个装置通信。
[0062] RAM(随机存取存储器)402用于载入CPU401执行的程序代码,和临时保存运行的程序的工作数据。ROM(只读存储器)403永久保存当通电时执行的自检测试程序,和定义机器人设备100的操作的控制程序。非易失性存储器404由电可擦可重写存储器件,比如EEPROM(电可擦可编程ROM)构成,用于非易失性地保存将被连续更新的数据,比如加密密钥和其它安全信息,和出厂后待安装的控制程序。
[0063] 机器人设备100的控制程序包括处理摄像机305、麦克风306、压敏传感器308等的传感器输入,以进行识别的识别处理程序,控制诸如每个关节电动机351的驱动和扬声器307的音频输出之类的操作的控制程序,等等。
[0064] 接口405是与控制单元320中的装置互连,以便实现数据交换的装置。接口405实现控制单元320与摄像机305、麦克风306和扬声器307之间的数据输入/输出。接口405还进行控制单元和驱动单元350中的各个驱动器353-1…之间的数据和命令的输入/输出。接口25具备用于连接计算机的外设的通用接口,比如诸如IEEE1394之类的并行接口,USB(通用串行总线)接口,和存储卡接口(卡槽),可在计算机和本地连接的外部设备之间转移程序和数据。
[0065] 此外,控制单元320包括无线通信接口406、网络接口卡(NIC)407等,可通过诸如TM蓝牙 之类的邻近无线数据通信,诸如IEEE802.11之类的无线网络和诸如因特网之类的广域网,与各个外部主计算机进行数据通信。
[0066] 按照本实施例的机器人设备100具备利用自主操作,检测摄像机305的镜头上的污垢和划痕的功能;其主要特征是通过利用借助摄像机305拍摄的机器人设备100的特定部位,比如手的图像作为基准图像,检测摄像机305的镜头上的污垢和划痕。这里,当借助摄像机305拍摄的手的图像被用作基准图像时,在检测时检测到的污垢和划痕可能归因于摄像机305的镜头和手两者;不过如后所述,按照本实施例的机器人设备100可以检测污垢和划痕是归因于摄像机305的镜头还是归因于手,并且可检测污垢和划痕之间的差异。
[0067] 当在诸如手之类的物体抓握单元上存在污垢时,抓握的物体变脏,这会对接收该物体的人产生不良的心理影响。相反,按照本实施例的机器人设备100可检测手上的污垢,然后借助自主清洁操作等,除去所述污垢,以致不会对用户产生不良的心理影响。
[0068] 图5图解说明机器人设备100的检测摄像机镜头上的污垢和划痕之间的差异和手上的污垢和划痕之间的差异的过程的流程图。
[0069] 作为开始该过程的先决条件,预先获得基准图像。当如上所述,把通过对手拍照而获得的图像用作基准图像时,通过对相对于摄像机305放在特定位置的手拍照而获得的手的图像被登记为基准图像。下面把用作基准图像的手的图像称为“手的图像A”。
[0070] 当除了对应于左眼和右眼的立体摄像机之外,摄像机305还包括大体在头部中央的具有鱼眼镜头的摄像机时,为立体摄像机镜头和鱼眼摄像机镜头都获得并登记手的图像A。图6图解说明把手移到更靠近头部的立体摄像机镜头,以获得手的图像A的状态。图7图解说明把手移到更靠近头部的鱼眼摄像机镜头,以获得手的图像A的状态。图8图解说明作为基准图像而获得的手的图像A的例子(图中的虚线围绕的区域对应于手的图像A)。
[0071] 在检测处理中,首先获得检测图像(步骤S501)。通过按照如图6和7中图解所示,当获得基准图像时采取的相同姿势,分别利用头部的立体摄像机和头部的具有鱼眼镜头的摄像机对手拍照获得检测图像。下面把作为检测图像获得的手的图像称为“手的图像B”。
[0072] 之后,计算手的图像A和手的图像B之间的相关性(步骤S502)。当在摄像机镜头和手表面上都没有污垢和划痕时,在整个图像内,手的图像A和手的图像B之间的相关性必定较高。于是,当作为步骤S502的计算图像之间的相关性的结果,在整个图像内相关性较高时,判定在摄像机镜头和手表面上都没有污垢和划痕(步骤S503),然后结束该处理例程。
[0073] 另一方面,当在获得手的图像A之后,摄像机镜头变脏或者被擦伤,和当手表面变脏或者被擦伤时,在具有污垢或划痕的部位处,图像之间的相关性变低。于是,当通过在步骤S502,计算图像之间的相关性,检测到具有低相关性的部位时,判定在摄像机镜头和/或手表面上存在污垢或划痕,从而执行后续处理。下面把图像之间的相关性低的部位称为“部位X”。图9图解说明相互相邻的手的图像A和包括部位X的手的图像B(图中用虚线围绕的区域对应于手的图像A和手的图像B)。可以理解就该附图来说,在部位X中,图像之间的相关性变低。
[0074] 当在步骤S502,判定在摄像机镜头和/或手表面上存在污垢或划痕时,随后进行确定摄像机镜头和手表面之中的哪一个导致部位X中的低相关性的处理。
[0075] 首先,按照如图6和7中图解所示,当获得基准图像时采取的相同姿势,相对于摄像机移动手,以对手的另一个位置拍照(步骤S504)。下面把此时获得的图像称为“手的图像C”。随后,计算手的图像B和手的图像C之间的相关性(步骤S505)。
[0076] 如果其中当计算手的图像A和手的图像B之间的相关性时,所述相关性较低的地点X归因于摄像机镜头上的污垢或划痕,那么即使当移动手之后,在图像上的部位X中的相关性仍然较高。于是,当作为步骤S505的计算手的图像B和手的图像C之间的相关性的结果,在图像上的部位X中的相关性仍然较高时,判定在摄像机镜头上存在污垢或划痕(步骤S506)。图10图解说明其中归因于摄像机镜头上的污垢或划痕,在手的图像B和手的图像C上的部位X中,相关性都变高的状态(图中用虚线围绕的区域对应于手的图像B和手的图像C)。
[0077] 另一方面,如果手的图像B的部位X归因于手表面上的污垢或划痕,那么在手被移动之后,在手的图像上该部位也移动。于是,当作为计算手的图像B和手的图像C之间的相关性的结果,在图像上的部位X中的相关性变低时,判定在手表面上存在污垢或划痕(步骤S507)。图11图解说明其中在手表面上存在污垢或划痕,以致污垢或划痕随着手的移动而移动,从而在手的图像B和手的图像C上的部位X中,相关性变低的状态(图中用虚线围绕的区域对应于手的图像B和手的图像C)。
[0078] 当确定在摄像机镜头上存在污垢或划痕时,这首先被假定是污垢,从而清洁镜头上与部位X对应的具有污垢的部分(步骤S508)。尽管镜头的清洁工作可由用户手动完成,不过在本实施例中,机器人设备100进行自主工作,从而利用手,用镜头清洗器等擦去污垢。图12图解说明其中机器人设备100擦去头部的鱼眼摄像机镜头上的污垢的状态。
[0079] 在擦去镜头上的污垢之后,按照如图6和7中图解所示,当获得基准图像时采取的相同姿势,分别利用头部的立体摄像机和头部的具有鱼眼镜头的摄像机,再次对手拍照(步骤S509)。下面把擦拭之后获得的手的图像称为“手的图像B'”。随后,重新计算手的图像A和手的图像B'之间的相关性(步骤S510)。
[0080] 在摄像机镜头上存在污垢的情况下,通过清洁除去在部位X的镜头上的污垢,以致手的图像B'接近作为基准图像的手的图像A。当作为计算手的图像A和手的图像B'之间的相关性的结果,在整个图像内相关性较高时,推测完成了摄像机镜头的清洁,从而结束该处理例程(步骤S512)。
[0081] 另一方面,清洁不能除去摄像机镜头上的划痕,从而在部位X中,手的图像B'和手的图像A之间的相关性仍然较低。当通过计算手的图像A和手的图像B'之间的相关性,检测到具有低相关性的部位时,判定在摄像机镜头上存在划痕(步骤S511)。当在摄像机镜头上存在划痕时,在要求用户更换镜头之后,机器人设备100可结束该处理例程(步骤S513)。
[0082] 当判定在手表面上,存在污垢或划痕时,这首先被假定为污垢,从而清洁手表面上与部位X对应的具有污垢的部分(步骤S514)。尽管手的清洁工作可由用户手动完成,不过在本实施例中,机器人设备100进行自主工作。
[0083] 在擦去手表面上的污垢之后,按照如图6和7中图解所示,当获得基准图像时采取的相同姿势,分别利用头部的立体摄像机和头部的具有鱼眼镜头的摄像机,再次对手拍照(步骤S515),以获得手的图像B'。随后,重新计算手的图像A和手的图像B'之间的相关性(步骤S516)。
[0084] 在手表面上存在污垢的情况下,通过清洁除去在部位X的手表面上的污垢,以致手的图像B'接近作为基准图像的手的图像A。当作为计算手的图像A和手的图像B'之间的相关性的结果,在整个图像内相关性较高时,推测完成了手表面的清洁,从而结束该处理例程(步骤S518)。
[0085] 另一方面,清洁不能除去手表面上的划痕,以致在部位X中,手的图像B'和手的图像A之间的相关性仍然较低。当通过计算手的图像A和手的图像B'之间的相关性,检测到具有低相关性的部位时,判定在手表面上存在划痕(步骤S517)。当在手表面上存在划痕时,在要求用户更换手之后,机器人设备100可结束该处理例程(步骤S519)。
[0086] 同时,尽管图5中未例示,不过在步骤S511完成摄像机镜头的清洁之后,或者在步骤S516完成手表面的清洁之后,机器人设备100可按照如图6和7中图解所示的姿势对手拍照,以更新基准图像。
[0087] 如上所述,按照本实施例的机器人设备100可自动检测摄像机镜头上的污垢,并清除该污垢。另外,通过自动检测摄像机镜头上的污垢,并清除所述污垢,这可减少图像的错误检测。此外,机器人设备100可自动检测摄像机镜头上的划痕,并要求用户更换镜头。
[0088] 按照本实施例的机器人设备100可自动检测手表面上的污垢,并清洁手。另外,通过自动检测手表面上的污垢,并清洁所述污垢,这可使用手抓握的物体保持清洁。此外,机器人设备100可自动检测手表面上的划痕,并要求用户更换手。
[0089] 同时,在本说明书中公开的技术也具有以下结构。
[0090] (1)一种机器人设备,包括:摄像机;手;和控制器,所述控制器处理利用摄像机拍摄的图像,并控制手的操作,其中
[0091] 所述控制器
[0092] 获得通过对相对于摄像机,放在特定位置的手拍照而得到的基准图像,[0093] 在污垢检测时,通过比较通过对放在所述特定位置的手拍照而获得的第一检测图像和基准图像,检测摄像机镜头或手上是否有污垢,和
[0094] 当检测到摄像机镜头或手上的污垢时,通过比较对移离所述特定位置的手拍照而得到的第二检测图像和第一检测图像,判定污垢在摄像机镜头和手之中的哪一个上。
[0095] (2)按照(1)所述的机器人设备,其中当在整个图像内,第一检测图像和基准图像之间的相关性较高时,控制器判定在摄像机镜头和手上没有污垢,而当在图像上,存在具有低相关性的低相关性部位时,控制器检测在低相关性部位处的摄像机镜头或手上的污垢。
[0096] (3)按照(2)所述的机器人设备,其中当比较第二检测图像和第一检测图像时,当在图像上的低相关性部位处,相关性较高时,控制器判定摄像机镜头上有污垢,而当图像上的低相关性部位处,相关性较小时,控制器判定手上有污垢。
[0097] (4)按照(1)所述的机器人设备,其中当判定摄像机镜头上有污垢时,控制器擦拭摄像机镜头上的肮脏部分,随后比较通过对放在所述特定位置的手拍照而获得的第三检测图像和基准图像,以检测摄像机镜头上是否有划痕。
[0098] (5)按照(1)所述的机器人设备,其中当确定手上有污垢时,控制器擦拭手上的肮脏部分,随后比较通过对放在所述特定位置的手拍照而获得的第四检测图像和基准图像,以检测手上是否有划痕。
[0099] (6)一种控制机器人设备的方法,包括:
[0100] 获得通过对相对于摄像机,放在特定位置的手拍照而得到的基准图像的步骤;
[0101] 在污垢检测时,通过比较通过对放在所述特定位置的手拍照而获得的第一检测图像和基准图像,检测摄像机镜头或手上是否有污垢的污垢检测步骤;和
[0102] 当在污垢检测步骤,检测到摄像机镜头或手上的污垢时,通过比较对移离所述特定位置的手拍照而得到的第二检测图像和第一检测图像,判定污垢在摄像机镜头和手之中的哪一个上的判定步骤。
[0103] (7)一种控制机器人设备的计算机程序,所述计算机程序允许计算机执行:获得通过对相对于摄像机,放在特定位置的手拍照而得到的基准图像的步骤;在污垢检测时,通过比较通过对放在所述特定位置的手拍照而获得的第一检测图像和基准图像,检测摄像机镜头或手上是否有污垢的污垢检测步骤;和当在污垢检测步骤,检测到摄像机镜头或手上的污垢时,通过比较对移离所述特定位置的手拍照而得到的第二检测图像和第一检测图像,判定污垢在摄像机镜头和手之中的哪一个上的判定步骤。
[0104] (8)一种保存机器人设备的控制程序的程序存储介质,所述控制程序允许计算机执行:获得通过对相对于摄像机,放在特定位置的手拍照而得到的基准图像的步骤;在污垢检测时,通过比较通过对放在所述特定位置的手拍照而获得的第一检测图像和基准图像,检测摄像机镜头或手上是否有污垢的污垢检测步骤;和当在污垢检测步骤,检测到摄像机镜头或手上的污垢时,通过比较对移离所述特定位置的手拍照而得到的第二检测图像和第一检测图像,判定污垢在摄像机镜头和手之中的哪一个上的判定步骤。
[0105] 上面关于具体实施例,详细说明了在本说明书中公开的技术。然而,显然本领域的技术人员可以修改或替换实施例,而不脱离在本说明书中公开的技术的范围。
[0106] 尽管在本说明书中,主要说明了适用于对置两轮式机器人设备,不过在本说明书中公开的技术的范围并不局限于此。本技术也可类似于应用于具备摄像机和手的机器人设备,即使该机器人设备具备另一个移动装置,或者不具备移动装置。
[0107] 尽管在本说明书中,通过对机器人设备的手拍照而获得的图像被用作基准图像,不过通过对机器人设备的除手以外的部位拍照而获得的图像也可用作基准图像。
[0108] 尽管在本说明书中,主要说明了关于家务机器人的实施例,不过本技术显然也可类似地应用于用于各种用途的机器人设备,包括工业机器人
[0109] 总之,举例公开了本技术,从而不应限制地理解本说明书的内容。为了确定本技术的范围,应考虑权利要求书。
[0110] 附图标记列表
[0111] 100机器人设备,101驱动轮,102驱动轮致动器,103腰关节俯仰轴致动器,104肩关节俯仰轴致动器,105肩关节滚转轴致动器,106肩关节偏转轴致动器,107肘关系俯仰轴致动器,108肘关节偏转轴致动器,109腕关节滚转轴致动器,110颈关节俯仰轴致动器,111颈关节俯仰轴致动器,113手关节滚转轴致动器,151、152、153欠驱动的关节,305摄像机,306麦克风,307扬声器,308压敏传感器,309LED指示器,320控制单元,340输入/输出单元,350驱动单元,351电动机,352编码器,353驱动器,360电源单元,361可再充电电池,
362充/放电控制器,401CPU,402RAM,403ROM,404非易失性存储器,405接口,406无线通信接口,407网络接口卡,408总线。
QQ群二维码
意见反馈