清洁设备的控制方法和装置、存储介质及电子装置

申请号 CN202211277621.5 申请日 2022-10-18 公开(公告)号 CN117941991A 公开(公告)日 2024-04-30
申请人 追觅创新科技(苏州)有限公司; 发明人 耿文峰; 孙佳佳; 朱晨阳;
摘要 本 申请 提供了一种清洁设备的控制方法和装置、存储介质及 电子 装置,上述方法包括:获取目标对象的语音控制数据,其中,所述语音控制数据用于控制所述清洁设备对所述目标对象所处的 位置 区域进行区域清洁;根据所述语音控制数据以及所述清洁设备所处的环境信息对所述目标对象进行 定位 ,得到所述目标对象的第一方位信息;按照所述第一方位信息控制所述清洁设备转向所述目标对象;控制所述清洁设备向所述目标对象移动,并对所述目标对象所处的位置区域进行区域清洁。采用上述技术方案,可以提高区域清洁的灵活性。
权利要求

1.一种清洁设备的控制方法,其特征在于,包括:
获取目标对象的语音控制数据,其中,所述语音控制数据用于控制所述清洁设备对所述目标对象所处的位置区域进行区域清洁;
根据所述语音控制数据以及所述清洁设备所处的环境信息对所述目标对象进行定位,得到所述目标对象的第一方位信息;
按照所述第一方位信息控制所述清洁设备转向所述目标对象;
控制所述清洁设备向所述目标对象移动,并对所述目标对象所处的位置区域进行区域清洁。
2.根据权利要求1所述的方法,其特征在于,所述根据所述语音控制数据以及所述清洁设备所处的环境信息对所述目标对象进行定位,得到所述目标对象的第一方位信息,包括:
根据所述清洁设备所处的环境信息,确定与所述语音控制数据对应的语音干扰信息;
使用所述语音干扰信息对所述语音控制数据进行校正,得到校正的所述语音控制数据;
对校正的所述语音控制数据进行语音特征提取,得到目标语音特征;
根据所述目标语音特征进行声源定位,得到所述第一方位信息。
3.根据权利要求2所述的方法,其特征在于,所述使用所述语音干扰信息对所述语音控制数据进行校正,得到校正的所述语音控制数据,包括:
使用与所述语音控制数据对应的回声信息对所述语音控制数据执行回声消除操作,得到校正的所述语音控制数据,其中,所述语音干扰信息包括与所述语音控制数据对应的回声信息。
4.根据权利要求3所述的方法,其特征在于,所述根据所述清洁设备所处的环境信息,确定与所述语音控制数据对应的语音干扰信息,包括:
根据所述清洁设备所处位置区域内的障碍物信息和所述清洁设备所处位置区域内的墙体信息,确定与所述语音控制数据对应的语音干扰信息,其中,所述清洁设备所处的环境信息包括所述障碍物信息和所述墙体信息。
5.根据权利要求2所述的方法,其特征在于,校正的所述语音控制数据包括与所述清洁设备的麦克阵列中的多路麦克风一一对应的多路语音数据;所述对校正的所述语音控制数据进行语音特征提取,得到目标语音特征,包括:
对所述多路语音数据中的每路语音数据分别进行语音特征提取,得到与所述每路语音数据对应的语音特征;
根据所述每路语音数据的接收时间,确定所述多路语音数据中的任意两路语音数据的接收时间差,其中,所述目标语音特征包括与所述每路语音数据对应的语音特征以及所述任意两路语音数据的接收时间差。
6.根据权利要求1所述的方法,其特征在于,在所述控制所述清洁设备向所述目标对象移动之前,所述方法还包括:
通过所述清洁设备上的图像采集部件进行图像采集,得到第一采集图像,以及通过点采集部件进行点云数据采集,得到所述目标对象的对象点云数据;
对所述第一采集图像进行对象识别,得到所述目标对象的第二方位信息;
对所述对象点云数据进行对象识别,得到所述目标对象的参考方位信息;
使用所述参考方位信息对所述第二方位信息进行校正,得到校正的所述第二方位信息,其中,校正的所述第二方位信息用于控制所述清洁设备向所述目标对象移动。
7.根据权利要求1所述的方法,其特征在于,所述按照所述第一方位信息控制所述清洁设备转向所述目标对象,包括:
根据所述第一方位信息,确定所述清洁设备待旋转的目标度,其中,所述目标角度为所述目标对象与所述清洁设备的相对角度;
控制所述清洁设备旋转所述目标角度,以将所述清洁设备转向所述目标对象。
8.根据权利要求7所述的方法,其特征在于,所述根据所述第一方位信息,确定所述清洁设备待旋转的目标角度,包括:
根据所述第一方位信息,确定与顺时针方向对应的第一旋转角度,其中,所述第一旋转角度为所述清洁设备沿着顺时针方向转向所述目标对象所需旋转的角度;
根据所述第一方位信息,确定与逆时针方向对应的第二旋转角度,其中,所述第二旋转角度为所述清洁设备沿着逆时针方向转向所述目标对象所需旋转的角度;
将所述第一旋转角度和所述第二旋转角度中较小的角度,确定为所述目标角度。
9.根据权利要求7所述的方法,其特征在于,在所述控制所述清洁设备旋转所述目标角度之后,所述方法还包括:
通过所述清洁设备上的图像采集部件进行图像采集,得到第二采集图像;
在从所述第二采集图像中未识别到所述目标对象的情况下,控制所述清洁设备沿着预设方向持续旋转,直到从所述图像采集部件采集到的图像中识别到所述目标对象。
10.根据权利要求9所述的方法,其特征在于,在所述通过所述清洁设备上的图像采集部件进行图像采集,得到第二采集图像之后,所述方法还包括:
对所述第二采集图像进行人形对象检测,得到人形对象检测结果,所述人形对象检测结果用于指示从所述第二采集图像中识别到的人形对象;
在所述人形对象检测结果指示从所述第二采集图像中识别到人形对象的情况下,确定从所述第二采集图像中识别到所述目标对象;
在所述人形对象检测结果指示从所述第二采集图像中未识别到人形对象的情况下,确定从所述第二采集图像中未识别到所述目标对象。
11.根据权利要求10所述的方法,其特征在于,在所述对所述第二采集图像进行人形对象检测,得到人形对象检测结果之后,所述方法还包括:
在所述人形对象检测结果指示从所述第二采集图像中识别到多个人形对象的情况下,确定与所述多个人形对象中的每个人形对象对应的对象位置;
将所述多个人形对象中,对象方位与所述目标对象的方位信息匹配的人形对象,确定为所述目标对象。
12.根据权利要求1至11中任一项所述的方法,其特征在于,在所述控制所述清洁设备向所述目标对象移动之后,所述方法还包括:
在检测到所述清洁设备与所述目标对象之间的距离小于或者等于预设距离阈值的情况下,控制所述清洁设备停止向所述目标对象移动,并控制所述清洁设备执行清洁操作,直到在所述清洁设备的目标检测部件的检测范围内未检测到待清洁对象。
13.一种清洁设备的控制装置,其特征在于,包括:
获取单元,用于获取目标对象的语音控制数据,其中,所述语音控制数据用于控制所述清洁设备对所述目标对象所处的位置区域进行区域清洁;
定位单元,用于根据所述语音控制数据以及所述清洁设备所处的环境信息对所述目标对象进行定位,得到所述目标对象的第一方位信息;
第一控制单元,用于按照所述第一方位信息控制所述清洁设备转向所述目标对象;
第一执行单元,用于控制所述清洁设备向所述目标对象移动,并对所述目标对象所处的位置区域进行区域清洁。
14.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行权利要求1至12中任一项所述的方法。
15.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行权利要求1至12中任一项所述的方法。

说明书全文

清洁设备的控制方法和装置、存储介质及电子装置

【技术领域】

[0001] 本申请涉及智能家居领域,具体而言,涉及一种清洁设备的控制方法和装置、存储介质及电子装置。【背景技术】
[0002] 目前,用户可以通过与清洁设备匹配的应用端设置清洁设备的清洁区域、清洁时间等。当需要使用清洁设备清洁其所在位置附近的区域时,用户需要在应用端的区域地图上设置清洁设备的清洁区域,并召唤清洁设备移动至设置的清洁区域进行清洁。
[0003] 然而,上述清洁设备的控制方式,需要在应用端的区域地图内根据用户所在位置规划清洁区域,该清洁区域不是一个规则区域,区域规划的过程复杂,区域清洁的灵活性差。由此可见,相关技术中的清洁设备的控制方法,存在由于区域规划的过程复杂导致的区域清洁的灵活性差的问题。【发明内容】
[0004] 本申请的目的在于提供一种清洁设备的控制方法和装置、存储介质及电子装置,以至少解决相关技术中的清洁设备的控制方法存在由于区域规划的过程复杂导致的区域清洁的灵活性差的问题。
[0005] 本申请的目的是通过以下技术方案实现:
[0006] 根据本申请实施例的一个方面,提供了一种清洁设备的控制方法,包括:获取目标对象的语音控制数据,其中,所述语音控制数据用于控制所述清洁设备对所述目标对象所处的位置区域进行区域清洁;根据所述语音控制数据以及所述清洁设备所处的环境信息对所述目标对象进行定位,得到所述目标对象的第一方位信息;按照所述第一方位信息控制所述清洁设备转向所述目标对象;控制所述清洁设备向所述目标对象移动,并对所述目标对象所处的位置区域进行区域清洁。
[0007] 根据本申请实施例的另一个方面,还提供了一种清洁设备的控制装置,包括:获取单元,用于获取目标对象的语音控制数据,其中,所述语音控制数据用于控制所述清洁设备对所述目标对象所处的位置区域进行区域清洁;定位单元,用于根据所述语音控制数据以及所述清洁设备所处的环境信息对所述目标对象进行定位,得到所述目标对象的第一方位信息;第一控制单元,用于按照所述第一方位信息控制所述清洁设备转向所述目标对象;第一执行单元,用于控制所述清洁设备向所述目标对象移动,并对所述目标对象所处的位置区域进行区域清洁。
[0008] 在一个示例性实施例中,第一确定模,用于根据所述清洁设备所处的环境信息,确定与所述语音控制数据对应的语音干扰信息;校正模块,用于使用所述语音干扰信息对所述语音控制数据进行校正,得到校正的所述语音控制数据;提取模块,用于对校正的所述语音控制数据进行语音特征提取,得到目标语音特征;定位模块,用于根据所述目标语音特征进行声源定位,得到所述第一方位信息。
[0009] 在一个示例性实施例中,所述校正模块包括:执行子模块,用于使用与所述语音控制数据对应的回声信息对所述语音控制数据执行回声消除操作,得到校正的所述语音控制数据,其中,所述语音干扰信息包括与所述语音控制数据对应的回声信息。
[0010] 在一个示例性实施例中,所述第一确定模块包括:第一确定子模块,用于根据所述清洁设备所处位置区域内的障碍物信息和所述清洁设备所处位置区域内的墙体信息,确定与所述语音控制数据对应的语音干扰信息,其中,所述清洁设备所处的环境信息包括所述障碍物信息和所述墙体信息。
[0011] 在一个示例性实施例中,校正的所述语音控制数据包括与所述清洁设备的麦克阵列中的多路麦克风一一对应的多路语音数据;所述提取模块包括:提取子模块,用于对所述多路语音数据中的每路语音数据分别进行语音特征提取,得到与所述每路语音数据对应的语音特征;第二确定子模块,用于根据所述每路语音数据的接收时间,确定所述多路语音数据中的任意两路语音数据的接收时间差,其中,所述目标语音特征包括与所述每路语音数据对应的语音特征以及所述任意两路语音数据的接收时间差。
[0012] 在一个示例性实施例中,所述装置还包括:第一采集单元,用于在所述控制所述清洁设备向所述目标对象移动之前,通过所述清洁设备上的图像采集部件进行图像采集,得到第一采集图像,以及通过点采集部件进行点云数据采集,得到所述目标对象的对象点云数据;第一识别单元,用于对所述第一采集图像进行对象识别,得到所述目标对象的第二方位信息;第二识别单元,用于对所述对象点云数据进行对象识别,得到所述目标对象的参考方位信息;校正单元,用于使用所述参考方位信息对所述第二方位信息进行校正,得到校正的所述第二方位信息,其中,校正的所述第二方位信息用于控制所述清洁设备向所述目标对象移动。
[0013] 在一个示例性实施例中,所述第一执行单元包括:第二确定模块,用于根据所述第一方位信息,确定所述清洁设备待旋转的目标度,其中,所述目标角度为所述目标对象与所述清洁设备的相对角度;控制模块,用于控制所述清洁设备旋转所述目标角度,以将所述清洁设备转向所述目标对象。
[0014] 在一个示例性实施例中,所述第二确定模块包括:第三确定子模块,用于根据所述第一方位信息,确定与顺时针方向对应的第一旋转角度,其中,所述第一旋转角度为所述清洁设备沿着顺时针方向转向所述目标对象所需旋转的角度;第四确定子模块,用于根据所述第一方位信息,确定与逆时针方向对应的第二旋转角度,其中,所述第二旋转角度为所述清洁设备沿着逆时针方向转向所述目标对象所需旋转的角度;第五确定子模块,用于将所述第一旋转角度和所述第二旋转角度中较小的角度,确定为所述目标角度。
[0015] 在一个示例性实施例中,所述装置还包括:第二采集单元,用于在所述控制所述清洁设备旋转所述目标角度之后,通过所述清洁设备上的图像采集部件进行图像采集,得到第二采集图像;第二控制单元,用于在从所述第二采集图像中未识别到所述目标对象的情况下,控制所述清洁设备沿着预设方向持续旋转,直到从所述图像采集部件采集到的图像中识别到所述目标对象。
[0016] 在一个示例性实施例中,所述装置还包括:检测单元,用于在所述通过所述清洁设备上的图像采集部件进行图像采集,得到第二采集图像之后,对所述第二采集图像进行人形对象检测,得到人形对象检测结果,所述人形对象检测结果用于指示从所述第二采集图像中识别到的人形对象;第一确定单元,用于在所述人形对象检测结果指示从所述第二采集图像中识别到人形对象的情况下,确定从所述第二采集图像中识别到所述目标对象;第二确定单元,用于在所述人形对象检测结果指示从所述第二采集图像中未识别到人形对象的情况下,确定从所述第二采集图像中未识别到所述目标对象。
[0017] 在一个示例性实施例中,所述装置还包括:第三确定单元,用于在所述对所述第二采集图像进行人形对象检测,得到人形对象检测结果之后,在所述人形对象检测结果指示从所述第二采集图像中识别到多个人形对象的情况下,确定与所述多个人形对象中的每个人形对象对应的对象位置;第四确定单元,用于将所述多个人形对象中,对象方位与所述目标对象的方位信息匹配的人形对象,确定为所述目标对象。
[0018] 在一个示例性实施例中,所述装置还包括:第三控制单元,用于在所述控制所述清洁设备向所述目标对象移动之后,在检测到所述清洁设备与所述目标对象之间的距离小于或者等于预设距离阈值的情况下,控制所述清洁设备停止向所述目标对象移动,并控制所述清洁设备执行清洁操作,直到在所述清洁设备的目标检测部件的检测范围内未检测到待清洁对象。
[0019] 根据本申请实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述清洁设备的控制方法。
[0020] 根据本申请实施例的又一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述的清洁设备的控制方法。
[0021] 在本申请实施例中,采用基于语音控制数据结合环境信息进行声源定位、并控制清洁设备移动至声源位置进行区域清洁的方式,获取目标对象的语音控制数据,其中,语音控制数据用于控制清洁设备对目标对象所处的位置区域进行区域清洁;根据语音控制数据以及清洁设备所处的环境信息对目标对象进行定位,得到目标对象的第一方位信息;按照第一方位信息控制清洁设备转向目标对象;控制清洁设备向目标对象移动,并对目标对象所处的位置区域进行区域清洁。由于通过语音直接召唤清洁设备进行区域清洁,不需要提前进行区域规划,同时在进行声源定位时结合了清洁设备所处的环境信息,可以避免环境因素对声源定位的影响,提高声源定位的准确性,可以实现在提高待清洁区域定位的准确性的同时,降低区域规划过程的复杂性的目的,达到提高区域清洁的灵活性的技术效果。【附图说明】
[0022] 此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
[0023] 为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
[0024] 图1是根据本申请实施例的一种可选的清洁设备的控制方法的硬件环境的示意图;
[0025] 图2是根据本申请实施例的一种可选的清洁设备的控制方法的流程示意图;
[0026] 图3是根据本申请实施例的另一种可选的清洁设备的控制方法的流程示意图;
[0027] 图4是根据本申请实施例的一种可选的清洁设备的控制装置的结构框图
[0028] 图5是根据本申请实施例的一种可选的电子装置的结构框图。【具体实施方式】
[0029] 下文中将参考附图并结合实施例来详细说明本申请。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
[0030] 需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
[0031] 根据本申请实施例的一个方面,提供了一种清洁设备的控制方法。可选地,在本实施例中,上述清洁设备的控制方法可以应用于如图1所示的由清洁设备102、基站104和服务器106所构成的硬件环境中。如图1所示,清洁设备102可以通过网络与基站104和/或服务器106(例如,语音云平台)进行连接,以实现清洁设备102与基站104和/或服务器106之间的交互。
[0032] 上述网络可以包括但不限于以下至少之一:有线网络,无线网络。上述有线网络可以包括但不限于以下至少之一:广域网,城域网,局域网,上述无线网络可以包括但不限于以下至少之一:WIFI(Wireless Fidelity,无线保真),蓝牙,红外。清洁设备102与基站104和/或服务器106进行通信所使用的网络与基站104与服务器106进行通信所使用的网络可以是相同的,也可以是不同的。清洁设备102可以包括但不限于:扫地机器人(简称为扫地机)、洗地机器人(简称为洗地机)、集洗、扫为一体的机器人、自清洁机器人等。
[0033] 本申请实施例的清洁设备的控制方法可以由清洁设备102、服务器106单独来执行,也可以由清洁设备102和服务器106共同执行。其中,清洁设备102执行本申请实施例的清洁设备的控制方法也可以是由安装在其上的客户端来执行。
[0034] 以由清洁设备102执行本实施例中的清洁设备的控制方法为例,图2是根据本申请实施例的一种可选的清洁设备的控制方法的流程示意图,如图2所示,该方法的流程可以包括以下步骤:
[0035] 步骤S202,获取目标对象的语音控制数据,其中,语音控制数据用于控制清洁设备对目标对象所处的位置区域进行区域清洁。
[0036] 本实施例中的清洁设备的控制方法可以应用到召唤清洁设备对目标对象所处的位置区域进行区域清洁的场景中。上述目标对象可以用于标识有区域清洁需求的用户。上述目标对象所处的位置区域可以是室内区域,例如,用户家庭房间、办公室、工厂车间等,也可以是室外区域,例如,露营区域。上述清洁设备可以是上述扫地机、洗地机等。本实施例中对此不作限定。
[0037] 相关技术中,用户如果需要使用清洁设备清洁其所在位置附近的区域,通常需要在与清洁设备绑定的应用端的区域地图上设置待清洁区域,并召唤清洁设备移动至设置的待清洁区域进行区域清洁。然而,多数情况下,上述待清洁区域并不是一个固定的规划区域,往往需要目标对象在应用端的区域地图内进行待清洁区域的规划,而区域规划的过程较为复杂,耗费的时间较长,从而导致清洁设备的使用感受较差。此外,由于清洁区域为人为规划,在应用端上规划出的清洁区域可能与目标对象真正想要清洁的区域之间存在误差,从而导致清洁设备的区域清洁的灵活性较差。
[0038] 为了至少解决上述部分问题,在本实施例中,通过语音下发召唤清扫任务的指令、基于语音数据和环境信息进行声源定位、并基于声源定位结果控制清洁设备移动至声源位置进行区域清洁。由于通过语音直接召唤清洁设备进行区域清洁,不需要提前进行区域规划,同时,在进行声源定位时结合了清洁设备所处的环境信息,可以避免环境因素对声源定位的影响,提高声源定位的准确性,可以实现在提高待清洁区域定位的准确性的同时,降低区域规划过程的复杂性的目的。
[0039] 清洁设备上可以安装有用于进行语音采集的语音采集部件,可以使用语音采集部件进行语音采集。上述语音采集部件可以是清洁设备上用于进行语音数据采集的部件,其可以是麦克风、麦克风阵列、声音采集卡或者其他的收音部件。在语音采集部件为麦克风阵列时,麦克风阵列可以包括多路麦克风,每路麦克风均可进行语音数据采集,得到对应的语音数据,不同路麦克风的安装位置可以是不同的,语音数据的采集方向也可以是不通的,以保证清洁设备能够接收到不同方向的语音信息,并基于采集到的语音数据进行声源定位。
[0040] 在本实施例中,目标对象需要清洁设备对所处的位置区域进行区域清洁时,可以通过语音对清洁设备进行召唤,控制清洁设备进行移动并进行区域清洁。清洁设备上的语音采集部件可以进行语音数据采集,得到上述语音控制数据。在获取到上述语音控制数据的情况下,可以触发清洁设备的召唤清扫功能。这里,语音控制数据可以用于控制清洁设备对目标对象所处的位置区域进行区域清洁。
[0041] 可选地,在采集到语音控制数据之后,可以对语音控制数据进行语音识别,得到语音控制指令,该语音控制指令可以用于控制清洁设备对目标对象所处的位置区域进行区域清洁,即,基于从语音控制数据中识别到的语音控制指令,控制清洁设备对目标对象所处的位置区域进行区域清洁。语音控制指令可以是预设的控制指令,也可以是基于对语音控制数据进行解析所得到控制指令,本实施例中对于语音控制数据和语音控制指令不做限定。
[0042] 步骤S204,根据语音控制数据以及清洁设备所处的环境信息对目标对象进行定位,得到目标对象的第一方位信息。
[0043] 根据获取到语音控制数据,可以进行声源的定位,以确定目标对象相对于清洁设备的方位,这里的方位可以是指方向,其可以是目标对象相对于清洁设备的角度。以清洁设备的语音采集部件为麦克风阵列为例,由于各路麦克风的位置不同,不同路麦克风接收到语音的时间以及获取到的语音数据也有不同,根据不同路麦克风获取到的语音数据,可以进行声源定位,得到目标对象的方位信息,这里的方位信息可以是目标对象相对于清洁设备的角度信息,例如,包括方位角、俯仰角等。
[0044] 例如,可以沿清洁设备的机身主体的周侧布置多个麦克风,每一麦克风即作为一路采集语音的麦克风。或者,可以沿清洁设备的LDS(即激光雷达)盖体的周侧布置多个麦克风,每一麦克风可以作为一路采集语音的麦克风。当然,上述的麦克风布局方式仅仅是示例性的,本实施例中对于麦克风的布局方式不做限定。
[0045] 由于清洁设备所处的位置区域内(例如,室内区域)通常有较多的摆放物品,例如,桌椅、电器、垃圾桶等置于地面的物体,目标对象所发出的控制音频在经过这些物体或者墙角时,可能会被反射到其他位置。而清洁设备接收到的语音控制数据中可能包含有被反射过来的语音信号,若直接基于获取到的语音控制数据进行声源定位,可能会由于干扰数据(比如,上述被反射过来的语音信号)的存在,影响声源定位的准确性。
[0046] 在本实施例中,可以根据语音控制数据以及清洁设备所处的环境信息对目标对象进行定位,得到目标对象的第一方位信息。这里,第一方位信息可以是目标对象相对于清洁设备的方位信息(比如,角度信息),方位信息可以与前述类似,在此不做赘述。
[0047] 可选地,在获取到目标对象的语音控制数据的情况下,可以结合清洁设备所处的环境信息,根据环境信息确定可能存在的干扰数据,基于确定的干扰数据对语音控制数据进行校正,以消除语音控制数据中的干扰数据,再根据校正的语音控制数据进行声源定位。
[0048] 步骤S206,按照第一方位信息控制清洁设备转向目标对象。
[0049] 在确定出第一方位信息之后,可以按照第一方位信息控制清洁设备转向目标对象。按照第一方位信息控制清洁设备转向目标对象可以是:按照第一方位信息确定清洁设备所需旋转的旋转角度,按照确定的旋转角度旋转清洁设备,以将清洁设备转向目标对象。转向目标对象可以是指清洁设备的图像采集部件对准目标对象,以保证目标对象可以位于图像采集部件的采集区域内。这里,图像采集部件可以是安装在清洁设备上的单目相机。清洁设备的旋转方向可以是固定的旋转方向,如逆时针方向或顺时针方向,也可以是根据旋转角度的大小所确定的旋转方向,即,选择旋转角度较小的方向作为清洁设备的旋转方向。
[0050] 可选地,由于清洁设备是按照第一方位信息进行旋转的,由于方位信息可能与目标对象的实际方位存在一定偏差,因此,按照第一方位信息控制清洁设备转向目标对象之后,目标对象实际可能并没有位于图像采集部件的采集区域内。因此,在清洁设备旋转完成后,可以控制清洁设备的图像采集部件对其采集区域进行图像采集,并对采集到的图像进行目标对象的识别,以确定清洁设备是否已成功转向目标对象。如果目标对象未位于图像采集部件的采集区域内,可以通过旋转清洁设备,以将清洁设备成功转向目标对象。
[0051] 步骤S208,控制清洁设备向目标对象移动,并对目标对象所处的位置区域进行区域清洁。
[0052] 在本实施例中,清洁设备转向目标对象之后,可以控制清洁设备向目标对象移动。清洁设备的移动控制方式可以是:通过上述图像采集部件或者其他部件确定清洁设备与目标对象的相对位置(例如,两者之间的距离、目标对象与清洁设备的相对角度);按照确定的相对位置,控制清洁设备向目标对象移动。在控制清洁设备向目标对象移动的过程中或者控制清洁设备向目标对象移动之后,可以控制清洁设备对目标对象所处的位置区域进行区域清洁。这里,目标对象所处的位置区域可以是以目标对象为圆心、一定长度为半径所形成的区域。
[0053] 可选地,清洁设备向目标对象的移动也可以是在确定清洁设备转向目标对象之后开始的,在移动的过程中,实时计算清洁设备与目标对象之间的相对位置,并基于实时确定的相对位置调整清洁设备的移动方向,以保证清洁设备始终向着目标对象移动。
[0054] 通过上述步骤S202至步骤S208,获取目标对象的语音控制数据,其中,语音控制数据用于控制清洁设备对目标对象所处的位置区域进行区域清洁;根据语音控制数据以及清洁设备所处的环境信息对目标对象进行定位,得到目标对象的第一方位信息;按照第一方位信息控制清洁设备转向目标对象;控制清洁设备向目标对象移动,并对目标对象所处的位置区域进行区域清洁,解决了区域规划的过程复杂的问题,提高了区域清洁的灵活性。
[0055] 在一个示例性实施例中,根据语音控制数据以及清洁设备所处的环境信息对目标对象进行定位,得到目标对象的第一方位信息,包括:
[0056] S11,根据清洁设备所处的环境信息,确定与语音控制数据对应的语音干扰信息;
[0057] S12,使用语音干扰信息对语音控制数据进行校正,得到校正的语音控制数据;
[0058] S13,对校正的语音控制数据进行语音特征提取,得到目标语音特征;
[0059] S14,根据目标语音特征进行声源定位,得到第一方位信息。
[0060] 在本实施例中,根据清洁设备所处的环境信息,可以推算目标对象的语音信号在对应的环境中可能产生的语音干扰信息,从而可以确定与语音控制数据对应的语音干扰信息。对于确定的语音干扰信息,可以使用确定的语音干扰信息对语音控制数据进行校正,得到校正的语音控制数据。这里的校正过程可以是:将语音控制数据中的语音干扰信息消除。
[0061] 在本实施例中,根据校正的语音控制数据进行声源定位的方式,可以是对校正的语音控制数据进行语音特征提取,得到目标语音特征;根据得到的目标语音特征进行声源定位,得到第一方位信息。这里,提取的语音特征可以包括功率等声音特征信息,也可以包括不同路麦克风接收到语音数据的时间差,还可以包括其他用于声源定位的语音特征,本实施例中对此不做限定。
[0062] 可选地,使用校正的语音控制数据进行声源定位所采用的可以是基于麦克风阵列的声源定位算法,例如,基于TDOA(Time Difference of Arrival,到达时延差)估计的定位方法,还可以是其他的声源定位方式。得到第一方位信息可以是目标对象的角度信息,其可以用于指示目标对象相对于清洁设备的角度,还可以包括其他的方位信息,例如,目标对象与清洁设备的相对距离等,本实施例中对此不做限定。
[0063] 通过本实施例,先结合环境信息校正语音控制数据,再根据校正的语音控制数据的语音特征进行声源定位,可以避免环境中的干扰信息对声源定位的影响,提高声源定位的准确性。
[0064] 在一个示例性实施例中,使用语音干扰信息对语音控制数据进行校正,得到校正的语音控制数据,包括:
[0065] S21,使用与语音控制数据对应的回声信息对语音控制数据执行回声消除操作,得到校正的语音控制数据,其中,语音干扰信息包括与语音控制数据对应的回声信息。
[0066] 由于环境对清洁设备获取到的语音控制数据的干扰,主要是清洁设备周围的物体对语音信号的反射产生的回声,对此,可以对语音控制数据进行回声信号的消除操作。语音干扰信息可以包括与语音控制数据对应的回声信息。使用语音干扰信息对语音控制数据进行校正的方式可以是:使用与语音控制数据对应的回声信息对语音控制数据执行回声消除操作。
[0067] 例如,在获取目标对象的语音控制数据之后,可以根据清洁设备所处的环境信息,判断声源的回声方向,并推算回声方向的音频。在确定出回声方向的音频的情况下,可以消除麦克风接收到的音频信息中的对应音频,并根据剩余的音频信息进行声源定位。
[0068] 通过本实施例,基于环境信息确定出回声信息,并通过消除语音控制数据的回声信息进行语音控制数据的校正,可以提高声源定位的准确性。
[0069] 在一个示例性实施例中,根据清洁设备所处的环境信息,确定与语音控制数据对应的语音干扰信息,包括:
[0070] S31,根据清洁设备所处位置区域内的障碍物信息和清洁设备所处位置区域内的墙体信息,确定与语音控制数据对应的语音干扰信息,其中,清洁设备所处的环境信息包括障碍物信息和墙体信息。
[0071] 在本实施例中,清洁设备所处的环境信息可以包括清洁设备所处位置区域内的障碍物信息和墙体信息。这里,障碍物可以是置于地面或者与地面距离较小、且有一定高度的物体。障碍物信息可以是障碍物的位置和大小等信息;墙体信息可以是墙体(例如,墙角)与清洁设备的距离等信息。
[0072] 根据清洁设备所处位置区域内的障碍物信息和清洁设备所处位置区域内的墙体信息,可以确定与语音控制数据对应的语音干扰信息。确定的语音干扰信息可以包括由于障碍物和墙体等反射语音信号所造成的回声信息,即,与语音控制数据对应的回声信息。
[0073] 通过本实施例,根据清洁设备所处区域的障碍物信息和墙体信息确定语音干扰信息,可以提高语音干扰信息确定的准确性和效率,从而提高声源定位的准确性。
[0074] 在一个示例性实施例中,语音采集部件可以为麦克风阵列,语音控制数据可以包括麦克风阵列中的多路麦克风所采集到的多路语音数据,多路麦克风可以是麦克风阵列中的全部或者部分麦克风,而多路麦克风与多路语音数据之间一一对应。校正的语音控制数据包括与多路麦克风一一对应的多路语音数据,这里,多路语音数据可以是校正后的语音数据,而不是多路麦克风直接采集到的多路语音数据。
[0075] 对应地,对校正的语音控制数据进行语音特征提取,得到目标语音特征,包括:
[0076] S41,对多路语音数据中的每路语音数据分别进行语音特征提取,得到与每路语音数据对应的语音特征;
[0077] S42,根据每路语音数据的接收时间,确定多路语音数据中的任意两路语音数据的接收时间差,其中,目标语音特征包括与每路语音数据对应的语音特征以及任意两路语音数据的接收时间差。
[0078] 在进行语音特征提取时,可以对多路语音数据中的每路语音数据分别进行语音特征提取,得到与每路语音数据对应的语音特征。这里,每路语音数据对应的语音特征可以包括每路语音数据的功率等声音特征信息。目标语音特征可以包括与每路语音数据对应的语音特征。
[0079] 根据每路语音数据的接收时间,可以确定多路语音数据中的任意两路语音数据的接收时间差。目标语音特征还可以包括不同路麦克风采集到的语音数据的时间差,即,任意两路语音数据的接收时间差。这里,由于进行声源定位并不一定需要使用所有路麦克风阵列所采集到的语音数据,因此,可以从麦克风阵列中选取任意两路麦克风,并使用这两路麦克风采集到的语音数据进行声源定位。即,多路语音数据为与选取的两路麦克风对应的语音数据。
[0080] 例如,扫地机的主机在收到语音下发的召唤清扫任务的指令时,根据麦克风阵列上不同麦克风收到语音信息的时间差、功率等声音特征信息进行召唤人声源定位,同时将主机所在位置的环境信息(包括墙角、障碍物等)送到声源定位算法,进行声源的再次校正。
[0081] 通过本实施例,通过提取多路麦克风接收到的语音数据的语音特征以及计算不同路麦克风采集到语音数据的时间差作为声源定位所使用的语音特征,可以提高声源定位的准确性。
[0082] 在一个示例性实施例中,在控制清洁设备向目标对象移动之前,上述方法还包括:
[0083] S51,通过清洁设备上的图像采集部件进行图像采集,得到第一采集图像,以及通过点云采集部件进行点云数据采集,得到目标对象的对象点云数据;
[0084] S52,对第一采集图像进行对象识别,得到目标对象的第二方位信息;
[0085] S53,对对象点云数据进行对象识别,得到目标对象的参考方位信息;
[0086] S54,使用参考方位信息对第二方位信息进行校正,得到校正的第二方位信息,其中,校正的第二方位信息用于控制清洁设备向目标对象移动。
[0087] 在本实施例中,为了提高清洁设备向目标对象移动的效率,在控制清洁设备向目标对象移动之前,可以通过清洁设备上的图像采集部件图像采集,基于得到的采集图像对目标对象进行定位,以确定目标对象相对于清洁设备的方向和距离等方位信息。图像采集部件与前述实施例类似,本实施例在此不做赘述。
[0088] 在控制清洁设备转向目标对象之后,可以通过清洁设备上的图像采集部件进行图像采集,得到第一采集图像。这里,第一采集图像可以是图像采集部件对其采集区域进行图像采集所得到的图像,包含有其采集区域内全部对象的图像,可以包括目标对象,也可以包含除了目标对象以外的其他对象,例如,其他人形对象、非人形对象等。
[0089] 对于采集到的第一采集图像,可以进行对象识别,从而确定出目标对象的第二方位信息,这里的对象识别可以是根据AI(Artificial Intelligence,人工智能)图像技术进行的识别。第二方位信息可以包括目标对象相对于清洁设备的方向和距离,第二方位信息的确定,可以是基于单目算法计算出的。对第一采集图像进行对象识别,可以避免因第一方位信息计算错误、目标对象移动位置、清洁设备按照第一方位信息旋转角度存在误差等问题,导致的清洁设备并未完全转向目标对象的情况发生,同时,也方便控制清洁设备向目标对象进行移动。
[0090] 可选地,为了提高目标对象定位的准确性,可以通过点云采集部件进行点云数据采集,得到目标对象的对象点云数据;基于对象点云数据对第二方位信息进行校正,得到校正的第二方位信息。例如,可以对采集到的对象点云数据进行对象识别,得到目标对象的参考方位信息;使用参考方位信息对第二方位信息进行校正,得到校正的第二方位信息。
[0091] 这里的对象识别可以是通过使用目标对象的预设点云数据在采集到的对象点云数据进行查找实现的。参考方位信息可以是由对象点云数据确定的、目标对象相对于清洁设备的方向和距离等信息。而点云采集部件可以是LDS(Laser Distance Sensor,激光测距传感器)传感器或者其他类型的传感器,本实施例中对此不做限定。
[0092] 通过本实施例,根据采集到的图像进行对象识别,确定目标对象的方位信息,并结合点云数据对确定的方位信息进行校正,可以提高对象定位的准确性,从而提高清洁设备移动控制的效率。
[0093] 在一个示例性实施例中,按照第一方位信息控制清洁设备转向目标对象,包括:
[0094] S61,根据第一方位信息,确定清洁设备待旋转的目标角度,其中,目标角度为目标对象与清洁设备的相对角度;
[0095] S62,控制清洁设备旋转目标角度,以将清洁设备转向目标对象。
[0096] 在本实施例中,控制清洁设备转向目标对象可以是通过控制清洁设备进行旋转实现。在确定出第一方位信息之后,可以确定清洁设备待旋转的目标角度。这里,目标角度可以是目标对象与清洁设备的相对角度,可以包括清洁设备待旋转的方向和角度大小,即,旋转方向和旋转角度,这里的旋转方向可以是固定方向,也可以是基于第一方位信息确定的方向。
[0097] 根据确定的目标角度,可以控制清洁设备旋转目标角度,以将清洁设备转向目标对象。例如,根据校正后的声源角度信息,主机可以进行旋转,以调整主机摄像头角度。相对于在主机获取召唤任务时,主机360度旋转的方式,基于声源角度信息控制主机旋转,可以表现出更高的智能性。
[0098] 通过本实施例,根据定位出的声源的方位信息确定清洁设备待旋转的角度后并控制清洁设备旋转确定的角度,可以提高清洁设备转向目标对象的准确性。
[0099] 在一个示例性实施例中,根据第一方位信息,确定清洁设备待旋转的目标角度,包括:
[0100] S71,根据第一方位信息,确定与顺时针方向对应的第一旋转角度,其中,第一旋转角度为清洁设备沿着顺时针方向转向目标对象所需旋转的角度;
[0101] S72,根据第一方位信息,确定与逆时针方向对应的第二旋转角度,其中,第二旋转角度为清洁设备沿着逆时针方向转向目标对象所需旋转的角度;
[0102] S73,将第一旋转角度和第二旋转角度中较小的角度,确定为目标角度。
[0103] 为了减少清洁设备所需旋转的角度,提高清洁设备旋转控制的效率,可以根据第一方位信息,确定清洁设备转向目标对象时的旋转方向,旋转方向可以是顺时针方向,也可以是逆时针方向。旋转方向可以是基于转向目标对象所需旋转的角度大小确定的。
[0104] 在本实施例中,根据第一方位信息,可以分别确定与顺时针方向对应的第一旋转角度以及与逆时针方向对应的第二旋转角度。这里,第一旋转角度可以是清洁设备沿着顺时针方向转向目标对象所需旋转的角度,第二旋转角度可以是清洁设备沿着逆时针方向转向目标对象所需旋转的角度。
[0105] 在确定出第一旋转角度和第二旋转角度之后,可以将第一旋转角度和第二旋转角度中较小的旋转角度,确定为目标角度,对应的旋转方向即为清洁设备的旋转方向。例如,主机沿顺时针方向转向用户所需旋转的角度为120度,而沿逆时针方向转向用户所需旋转的角度为240度,则可以将顺时针方向确定为主机旋转的方向,将120度确定为主机旋转的角度。
[0106] 通过本可实施例,基于清洁设备沿着顺时针方向和逆时针方向转向目标对象所需旋转的角度大小,确定清洁设备的旋转方向,可以减少清洁设备所需旋转的角度,提高清洁设备旋转控制的效率。
[0107] 在一个示例性实施例中,在控制清洁设备旋转目标角度之后,上述方法还包括:
[0108] S81,通过清洁设备上的图像采集部件进行图像采集,得到第二采集图像;
[0109] S82,在从第二采集图像中未识别到目标对象的情况下,控制清洁设备沿着预设方向持续旋转,直到从图像采集部件采集到的图像中识别到目标对象。
[0110] 在本实施例中,在控制清洁设备旋转目标角度之后,在需要对目标对象进行定位或者对是否已转向目标对象进行校验时,可以通过清洁设备上的图像采集部件进行图像采集,得到第二采集图像。这里,图像采集部件与前述实施例中类似,第二采集图像与前述实施例中第一采集图像类似,在此不做赘述。
[0111] 由于第二采集图像是清洁设备旋转目标角度后采集到的,存在旋转失败或者旋转目标角度之后清洁设备未成功转向目标对象的情况,第二采集图像中可能存在目标对象,也可以不存在目标对象,这里,采集图像中存在目标对象是指采集图像中包含目标对象的影像。
[0112] 在获取第二采集图像之后,可以对第二采集图像进行对象识别,对第二采集图像进行对象识别的方式与前述实施例中对第一采集图像进行对象识别的方式类似。在识别到目标对象的情况下,可以采用与前述类似的方式确定目标对象的方位信息,并控制清洁设备向目标对象进行移动。已经进行过描述的,在此不做赘述。
[0113] 在从第二采集图像中未识别到目标对象的情况下,可以控制清洁设备沿着预设方向持续旋转,直到从图像采集部件采集到的图像中识别到目标对象。这里的预设方向可以是前述目标角度的旋转方向,即顺时针方向或逆时针方向。在旋转的过程中,可以控制图像采集部件持续进行图像采集,并对采集到的图像进行对象识别,直到识别到目标对象。
[0114] 可选地,在控制清洁设备沿着预设方向持续旋转360度之后,如果仍未识别到目标对象,可以控制清洁设备停止旋转,结束召唤清洁任务,并通过清洁设备发出提示信息,以提示未识别到目标对象,还可以提示目标对象重新发出语音控制数据,或者,提示目标对象采用其他方式召唤清洁设备执行清洁任务。
[0115] 通过本实施例,在清洁设备转向目标对象之后未识别到目标对象的情况下,控制清洁设备持续旋转直至识别到目标对象,可以提高清洁设备召唤的成功率。
[0116] 在一个示例性实施例中,在通过清洁设备上的图像采集部件进行图像采集,得到第二采集图像之后,上述方法还包括:
[0117] S91,对第二采集图像进行人形对象检测,得到人形对象检测结果,人形对象检测结果用于指示从第二采集图像中识别到的人形对象;
[0118] S92,在人形对象检测结果指示从第二采集图像中识别到人形对象的情况下,确定从第二采集图像中识别到目标对象;
[0119] S93,在人形对象检测结果指示从第二采集图像中未识别到人形对象的情况下,确定从第二采集图像中未识别到目标对象。
[0120] 在本实施例中,对第二采集图像进行对象识别可以是:对第二采集图像中的人形对象进行检测。在得到第二采集图像后,可以对第二采集图像进行人形对象检测,得到人形对象检测结果。这里,人形包含人体的躯干和四肢的大致轮廓,可以预设人形对象的对象特征,基于预设的人形对象的对象特征对第二采集图像进行人形对象检测。人形对象检测结果可以用于指示是否从第二采集图像中识别到人形对象,还可以用于至少从第二采集图像中识别到人形对象的对象信息,例如,对象方位等。
[0121] 在人形对象检测结果指示从第二采集图像中识别到人形对象的情况下,可以确定从第二采集图像中识别到目标对象。在此情况下,若识别到的人形对象仅为一个,可以将该人形对象确定为目标对象。在人形对象检测结果指示从第二采集图像中未识别到人形对象的情况下,可以确定从第二采集图像中未识别到目标对象,清洁设备可以执行前述持续旋转的操作,以便寻找目标对象。
[0122] 通过本实施例,通过对采集到的图像进行人形对象识别,以确定是否识别到目标对象,可以提高对目标对象识别的效率。
[0123] 在一个示例性实施例中,在对第二采集图像进行人形对象检测,得到人形对象检测结果之后,上述方法还包括:
[0124] S101,在人形对象检测结果指示从第二采集图像中识别到多个人形对象的情况下,确定与多个人形对象中的每个人形对象对应的对象位置;
[0125] S102,将多个人形对象中,对象方位与目标对象的方位信息匹配的人形对象,确定为目标对象。
[0126] 如果人形对象检测结果指示从第二采集图像中识别到多个人形对象,此时,第二采集图像中存在多个人形对象,可以首先确定与多个人形对象中的每个人形对象对应的对象位置;然后,根据每个人形对象对应的对象位置以及根据语音特征信息确定的目标对象的方位信息,选择对象方位最接近目标对象的对象,作为目标对象,即,将多个人形对象中,对象方位与目标对象的方位信息匹配的人形对象,确定为目标对象。
[0127] 这里,每个人形对象对应的对象位置可以是根据前述单目算法确定的,也可以是根据前述对象点云数据确定的。与目标对象的方位信息匹配的人形对象,可以是与目标对象的方位信息最接近的人形对象。
[0128] 例如,主机根据校正后的声源角度信息,调整主机摄像头角度后,通过AI图像技术进行人形判断有无人形信息,如检测到人形,使用单目算法和LDS点云技术测算召唤人所在位置,如有多个人,选择与声源方向更近的人作为识别目标。
[0129] 通过本实施例,在识别到多个人形对象的情况下,将与声源方向最近的人形对象作为目标对象,可以提高目标对象确定的准确性。
[0130] 在一个示例性实施例中,在控制清洁设备向目标对象移动之后,上述方法还包括:
[0131] S111,在检测到清洁设备与目标对象之间的距离小于或者等于预设距离阈值的情况下,控制清洁设备停止向目标对象移动,并控制清洁设备执行清洁操作,直到在清洁设备的目标检测部件的检测范围内未检测到待清洁对象。
[0132] 由于目标对象需要清洁设备进行清洁的位置一般是一个区域,而不是一个位置点,且所需清洁的区域具有一定的区域范围。为了避免清洁设备在移动过程中撞到目标对象,同时保证清洁设备能够进行区域清洁,可以预先设定一个距离阈值(即,预设距离阈值),以控制清洁设备停止向目标对象进行移动。
[0133] 在本实施例中,在控制清洁设备向目标对象移动之后,可以实时检测清洁设备与目标对象之间的距离。如果检测到清洁设备与目标对象之间的距离小于或者等于预设距离阈值,可以控制清洁设备停止向目标对象移动。
[0134] 可选地,为了提高清洁设备的清洁效率,可以在控制清洁设备停止向目标对象移动之后,控制清洁设备进行区域清洁,并通过其上的目标检测部件检测其检测范围是否存在待清洁对象,例如,纸屑等垃圾,同时,可以对检测到的待清洁对象的对象位置可以进行记录。这里的目标检测部件可以是前述点云采集部件、图像采集部件,还可以是其他的检测部件,只要可以用于对象检测即可。
[0135] 在进行区域清洁的过程中,可以确定在目标检测部件的检测范围内是否检测到的待清洁对象,如果检测到待清洁对象,可以继续执行前述记录对象位置以及待清洁对象的清洁操作,同时,对于已清洁的待清洁对象,可以将记录的对象位置删除;如果未检测到待清洁对象,且也没有已记录的待清洁对象,则可以控制清洁设备停止执行清洁操作。
[0136] 通过本实施例,控制清洁设备移动至目标对象一定距离处,并控制清洁设备执行清洁操作,直到检测不到待清洁对象,可以提高清洁设备对地面的清洁效率,从而提高清洁设备控制的灵活性。
[0137] 下面结合可选示例对本申请实施例中的清洁设备的控制方法进行解释说明。在本可选示例中,清洁设备为扫地机,语音采集部件为麦克风阵列,图像采集部件为单目相机,点云采集部件为LDS传感器。
[0138] 本可选示例提供了一种语音控制机器召唤清扫的方案,扫地机的召唤清扫的方案主要基于图像识别技术,并辅以声源定位技术,在多人场景中,召唤清扫可以准确判断召唤任务下达人员的位置。如图3所示,本可选示例中清洁设备的控制方法的流程可以包括以下步骤:
[0139] 步骤S302,将扫地机所在位置的环境信息(例如,墙角、障碍物等)送到声源定位算法,对获取到的语音信息进行校正,并根据麦克风阵列上不同麦克风收到语音信息的时间差、功率等声音特征信息进行召唤人声源定位。
[0140] 步骤S304,根据校正后的声源角度信息,调整扫地机的摄像头角度。
[0141] 步骤S306,通过AI图像技术进行人形检测,判断当前图像有无人形信息,在检测到人形信息时,使用单目算法和LDS点云技术测算召唤人所在位置。
[0142] 步骤S308,若检测到有多个人,选择与声源方向更近的人作为识别目标。
[0143] 步骤S310,根据测算出的召唤人所在位置,控制扫地机前往召唤人所在位置进行清扫任务。
[0144] 步骤S312,在根据声源角度调整主机后获取到的图像中未检测到人形信息时,控制扫地机进行其他角度的旋转检测。
[0145] 步骤S314,在旋转检测的过程中,如果检测到人形,则进行召唤人所在位置的测算,根据测算出的位置控制扫地机前往召唤人所在位置进行清扫任务。
[0146] 步骤S316,在旋转调整360度后,仍未检测到人形的情况下,结束召唤清扫任务。
[0147] 通过本可选示例,可以提高召唤清扫的准确性,同时,还可以提高召唤任务的主观体验的智能性。
[0148] 需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
[0149] 通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM(Read‑Only Memory,只读存储器)/RAM(Random Access Memory,随机存取存储器)、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例的方法。
[0150] 根据本申请实施例的另一个方面,还提供了一种用于实施上述清洁设备的控制方法的清洁设备的控制装置。图4是根据本申请实施例的一种可选的清洁设备的控制装置的结构框图,如图4所示,该装置可以包括:
[0151] 获取单元402,用于获取目标对象的语音控制数据,其中,语音控制数据用于控制清洁设备对目标对象所处的位置区域进行区域清洁;
[0152] 定位单元404,与获取单元402相连,用于根据语音控制数据以及清洁设备所处的环境信息对目标对象进行定位,得到目标对象的第一方位信息;
[0153] 第一控制单元406,与定位单元404相连,用于按照第一方位信息控制清洁设备转向目标对象;
[0154] 第一执行单元408,与第一控制单元406相连,用于控制清洁设备向目标对象移动,并对目标对象所处的位置区域进行区域清洁。
[0155] 需要说明的是,该实施例中的获取单元402可以用于执行上述步骤S202,该实施例中的定位单元404可以用于执行上述步骤S204,该实施例中的第一控制单元406可以用于执行上述步骤S206,该实施例中的第一执行单元408可以用于执行上述步骤S208。
[0156] 通过上述模块,获取目标对象的语音控制数据,其中,语音控制数据用于控制清洁设备对目标对象所处的位置区域进行区域清洁;根据语音控制数据以及清洁设备所处的环境信息对目标对象进行定位,得到目标对象的第一方位信息;按照第一方位信息控制清洁设备转向目标对象;控制清洁设备向目标对象移动,并对目标对象所处的位置区域进行区域清洁,可以提高区域清洁的灵活性。
[0157] 在一个示例性实施例中,定位单元包括:
[0158] 第一确定模块,用于根据清洁设备所处的环境信息,确定与语音控制数据对应的语音干扰信息;
[0159] 校正模块,用于使用语音干扰信息对语音控制数据进行校正,得到校正的语音控制数据;
[0160] 提取模块,用于对校正的语音控制数据进行语音特征提取,得到目标语音特征;
[0161] 定位模块,用于根据目标语音特征进行声源定位,得到第一方位信息。
[0162] 在一个示例性实施例中,校正模块包括:
[0163] 执行子模块,用于使用与语音控制数据对应的回声信息对语音控制数据执行回声消除操作,得到校正的语音控制数据,其中,语音干扰信息包括与语音控制数据对应的回声信息。
[0164] 在一个示例性实施例中,第一确定模块包括:
[0165] 第一确定子模块,用于根据清洁设备所处位置区域内的障碍物信息和清洁设备所处位置区域内的墙体信息,确定与语音控制数据对应的语音干扰信息,其中,清洁设备所处的环境信息包括障碍物信息和墙体信息。
[0166] 在一个示例性实施例中,校正的语音控制数据包括与清洁设备的麦克风阵列中的多路麦克风一一对应的多路语音数据;提取模块包括:
[0167] 提取子模块,用于对多路语音数据中的每路语音数据分别进行语音特征提取,得到与每路语音数据对应的语音特征;
[0168] 第二确定子模块,用于根据每路语音数据的接收时间,确定多路语音数据中的任意两路语音数据的接收时间差,其中,目标语音特征包括与每路语音数据对应的语音特征以及任意两路语音数据的接收时间差。
[0169] 在一个示例性实施例中,上述装置还包括:
[0170] 第一采集单元,用于在控制清洁设备向目标对象移动之前,通过清洁设备上的图像采集部件进行图像采集,得到第一采集图像,以及通过点云采集部件进行点云数据采集,得到目标对象的对象点云数据;
[0171] 第一识别单元,用于对第一采集图像进行对象识别,得到目标对象的第二方位信息;
[0172] 第二识别单元,用于对对象点云数据进行对象识别,得到目标对象的参考方位信息;
[0173] 校正单元,用于使用参考方位信息对第二方位信息进行校正,得到校正的第二方位信息,其中,校正的第二方位信息用于控制清洁设备向目标对象移动。
[0174] 在一个示例性实施例中,第一执行单元包括:
[0175] 第二确定模块,用于根据第一方位信息,确定清洁设备待旋转的目标角度,其中,目标角度为目标对象与清洁设备的相对角度;
[0176] 控制模块,用于控制清洁设备旋转目标角度,以将清洁设备转向目标对象。
[0177] 在一个示例性实施例中,第二确定模块包括:
[0178] 第三确定子模块,用于根据第一方位信息,确定与顺时针方向对应的第一旋转角度,其中,第一旋转角度为清洁设备沿着顺时针方向转向目标对象所需旋转的角度;
[0179] 第四确定子模块,用于根据第一方位信息,确定与逆时针方向对应的第二旋转角度,其中,第二旋转角度为清洁设备沿着逆时针方向转向目标对象所需旋转的角度;
[0180] 第五确定子模块,用于将第一旋转角度和第二旋转角度中较小的角度,确定为目标角度。
[0181] 在一个示例性实施例中,上述装置还包括:
[0182] 第二采集单元,用于在控制清洁设备旋转目标角度之后,通过清洁设备上的图像采集部件进行图像采集,得到第二采集图像;
[0183] 第二控制单元,用于在从第二采集图像中未识别到目标对象的情况下,控制清洁设备沿着预设方向持续旋转,直到从图像采集部件采集到的图像中识别到目标对象。
[0184] 在一个示例性实施例中,上述装置还包括:
[0185] 检测单元,用于在通过清洁设备上的图像采集部件进行图像采集,得到第二采集图像之后,对第二采集图像进行人形对象检测,得到人形对象检测结果,人形对象检测结果用于指示从第二采集图像中识别到的人形对象;
[0186] 第一确定单元,用于在人形对象检测结果指示从第二采集图像中识别到人形对象的情况下,确定从第二采集图像中识别到目标对象;
[0187] 第二确定单元,用于在人形对象检测结果指示从第二采集图像中未识别到人形对象的情况下,确定从第二采集图像中未识别到目标对象。
[0188] 在一个示例性实施例中,上述装置还包括:
[0189] 第三确定单元,用于在对第二采集图像进行人形对象检测,得到人形对象检测结果之后,在人形对象检测结果指示从第二采集图像中识别到多个人形对象的情况下,确定与多个人形对象中的每个人形对象对应的对象位置;
[0190] 第四确定单元,用于将多个人形对象中,对象方位与目标对象的方位信息匹配的人形对象,确定为目标对象。
[0191] 在一个示例性实施例中,上述装置还包括:
[0192] 第三控制单元,用于在控制清洁设备向目标对象移动之后,在检测到清洁设备与目标对象之间的距离小于或者等于预设距离阈值的情况下,控制清洁设备停止向目标对象移动,并控制清洁设备执行清洁操作,直到在清洁设备的目标检测部件的检测范围内未检测到的待清洁对象。
[0193] 此处需要说明的是,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在如图1所示的硬件环境中,可以通过软件实现,也可以通过硬件实现,其中,硬件环境包括网络环境。
[0194] 根据本申请实施例的又一个方面,还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于执行本申请实施例中上述任一项清洁设备的控制方法的程序代码。
[0195] 可选地,在本实施例中,上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
[0196] 可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:
[0197] S1,获取目标对象的语音控制数据,其中,语音控制数据用于控制清洁设备对目标对象所处的位置区域进行区域清洁;
[0198] S2,根据语音控制数据以及清洁设备所处的环境信息对目标对象进行定位,得到目标对象的第一方位信息;
[0199] S3,按照第一方位信息控制清洁设备转向目标对象;
[0200] S4,控制清洁设备向目标对象移动,并对目标对象所处的位置区域进行区域清洁。
[0201] 可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例中对此不再赘述。
[0202] 可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、ROM、RAM、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0203] 根据本申请实施例的又一个方面,还提供了一种用于实施上述清洁设备的控制方法的电子装置,该电子装置可以是服务器、终端、或者其组合。
[0204] 图5是根据本申请实施例的一种可选的电子装置的结构框图,如图5所示,包括处理器502、通信接口504、存储器506和通信总线508,其中,处理器502、通信接口504和存储器506通过通信总线508完成相互间的通信,其中,
[0205] 存储器506,用于存储计算机程序;
[0206] 处理器502,用于执行存储器506上所存放的计算机程序时,实现如下步骤:
[0207] S1,获取目标对象的语音控制数据,其中,语音控制数据用于控制清洁设备对目标对象所处的位置区域进行区域清洁;
[0208] S2,根据语音控制数据以及清洁设备所处的环境信息对目标对象进行定位,得到目标对象的第一方位信息;
[0209] S3,按照第一方位信息控制清洁设备转向目标对象;
[0210] S4,控制清洁设备向目标对象移动,并对目标对象所处的位置区域进行区域清洁。
[0211] 可选地,在本实施例中,通信总线可以是PCI(Peripheral  Component Interconnect,外设部件互连标准)总线、或EISA(Extended Industry  Standard Architecture,扩展工业标准结构)总线等。该通信总线可以分为地址总线数据总线、控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。通信接口用于上述电子装置与其他设备之间的通信。
[0212] 上述的存储器可以包括RAM,也可以包括非易失性存储器(non‑volatile memory),例如,至少一个磁盘存储器。可选地,存储器还可以是至少一个位于远离前述处理器的存储装置。
[0213] 作为一种示例,上述存储器506中可以但不限于包括上述清洁设备的控制装置中的获取单元402、定位单元404、第一控制单元406和第一执行单元408。此外,还可以包括但不限于上述清洁设备的控制装置中的其他模块单元,本示例中不再赘述。
[0214] 上述处理器可以是通用处理器,可以包含但不限于:CPU(Central Processing Unit,中央处理器)、NP(Network Processor,网络处理器)等;还可以是DSP(Digital Signal Processing,数字信号处理器)、ASIC(Application Specific Integrated Circuit,专用集成电路)、FPGA(Field‑Programmable Gate Array,现场可编程阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0215] 可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例在此不再赘述。
[0216] 本领域普通技术人员可以理解,图5所示的结构仅为示意,实施上述清洁设备的控制方法的设备可以是终端设备,该终端设备可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图5其并不对上述电子装置的结构造成限定。例如,电子装置还可包括比图5中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图5所示的不同的配置。
[0217] 本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、ROM、RAM、磁盘或光盘等。
[0218] 上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
[0219] 上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
[0220] 在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
[0221] 在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
[0222] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例中所提供的方案的目的。
[0223] 另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
[0224] 以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
QQ群二维码
意见反馈