技术领域
[0001] 本
发明涉及机器人控制技术领域，尤其涉及一种基于人像识别的展厅
机器人手臂的控制方法。
背景技术
[0002]
[0003] 目前，机器人手臂(属于一种机器人)主要应用于工业生产领域，它可以控制某一个物件或工具进行空间
位姿(
位置和
姿态)的变动，从而完成某一工业生产的作业要求。为了降低展厅区域的人
力成本，越来越多的展厅区域开始引入展厅机器人手臂，用于代替人工方式对展品进行空间位姿的变动展示。
[0004] 在实践中发现，现有的展厅机器人手臂通常都是按照固定程序来控制展品进行空间位姿的变动展示的，这种空间位姿的变动展示无法准确的识别出展厅区域是否存在有参访者，因而即使在展厅区域不存在有参访者的情况下依旧按照固定程序来控制展品进行空间位姿的变动展示，从而会增加展厅机器人手臂的功耗；此外，这种空间位姿的变动展示无法灵活的与参访者的
属性信息(如年龄、身高)相适配，从而不利于为展厅区域聚集更多的人气。
发明内容
[0005] 本发明
实施例公开一种基于人像识别的展厅机器人手臂的控制方法，能够降低展厅机器人手臂的功耗，有利于于为展厅区域聚集更多的人气。
[0006] 其中，一种基于人像识别的展厅机器人手臂的控制方法，所述方法包括：
[0007] 控制设备检测位于某一展厅区域的展厅机器人手臂上报的、由所述展厅机器人手臂检测到的所述展厅区域产生的音频
信号；所述控制设备判断所述
音频信号是否为
语音信号，若所述音频信号为语音信号，控制所述展厅机器人手臂的拍摄设备对所述展厅区域进行360°全景图像拍摄，以获得360°全景图像；
[0008] 所述控制设备获取所述展厅机器人手臂上报的所述360°全景图像，并利用人像特征
算法确定所述360°全景图像中是否包含至少一个人像；若所述 360°全景图像中包含至少一个人像，则所述控制设备从所述至少一个人像中确定出与所述展厅机器人手臂的拍摄设备的镜头之间的物理距离最近的某一人像，作为目标人像；
[0009] 所述控制设备利用人像属性算法对所述目标人像进行前向计算，得到所述目标人像的属性信息；所述控制设备根据所述目标人像的属性信息，从预设的动作素材库中提取与所述目标人像的属性信息相适配的目标动作素材，从预设的语调素材库中提取与所述目标人像的属性信息相适配的目标语调素材，从预设的高度值素材库中提取与所述目标人像的属性信息相适配的目标高度值，从预设的媒
体素材库中提取用于介绍所述展厅机器人手臂上当前展示的展品的目标媒体素材；
[0010] 所述控制设备控制所述展厅机器人手臂的当前高度值调整至所述目标高度值，并将所述目标动作素材添加至所述展厅机器人手臂对应的动作轨道中，以生成目标动作轨道景；将所述目标媒体素材添加至所述展厅机器人手臂对应的媒体轨道，以生成目标媒体轨道景；将所述目标语调素材添加至所述展厅机器人手臂对应的语调轨道，以生成目标语调轨道景；
[0011] 所述控制设备将所述目标动作轨道景、所述目标媒体轨道景以及所述目标语调轨道景推送给所述展厅机器人手臂，以使所述展厅机器人手臂在执行所述目标动作轨道景对应的目标动作时，同步的按照所述目标语调轨道景对应的目标语调播放所述目标媒体轨道景对应的目标媒体。
[0012] 作为一种可选的实施方式，本发明实施例中，所述控制设备控制所述展厅机器人手臂的当前高度值调整至所述目标高度值之后，以及将所述目标动作素材添加至所述展厅机器人手臂对应的动作轨道中，以生成目标动作轨道景之前，所述方法还包括：
[0013] 所述控制设备确定所述目标人像在所述360°全景图像中所处的方位；
[0014] 所述控制设备控制所述展厅机器人手臂上当前展示的展品的展示方向朝向所述目标人像在所述360°全景图像中所处的方位；
[0015] 其中，所述控制设备判断所述音频信号是否为语音信号，包括：
[0016] 所述控制设备对所述音频信号进行快速傅里叶变换得到频域信号；
[0017] 所述控制设备根据所述频域信号计算谱幅度值；
[0018] 所述控制设备根据所述谱幅度值计算概率
密度；
[0019] 所述控制设备根据所述概率密度计算所述音频信号的谱熵；
[0020] 所述控制设备根据所述谱熵确定所述音频信号是否为语音信号；
[0021] 其中，所述控制设备根据所述频域信号计算谱幅度值，包括：
[0022] 所述控制设备根据所述频域信号并结合以下公式计算谱幅度值，即：
[0023]
[0024] 其中，所述X(k,y)表示第y个音频信号所在
帧的第k个频段的谱幅度值，所述z(n,y)表示第y个音频信号所在帧的音频中的第n个点的幅度，所述N 表示快速傅里叶变换的变化长度，所述k小于或等于N，所述exp(-j2πkn/N) 表示幅
角为2π的kn/N倍的复数。
[0025] 作为一种可选的实施方式，本发明实施例中，所述控制设备利用人像属性算法对所述目标人像进行前向计算，得到所述目标人像的属性信息之后，所述方法还包括：
[0026] 所述控制设备识别所述展厅机器人手臂上当前展示的展品的价值等级是否超过
指定级别；
[0027] 若未超过所述指定级别，所述控制设备对所述目标人像进行
人脸识别，获得所述目标人像对应的人脸图像，建立所述展厅机器人手臂的唯一标识、所述目标人像对应的人脸图像以及所述目标人像的属性信息三者之间的第一关联关系，并将所述第一关联关系上传至安防系统进行存储，以备后续分析使用；
[0028] 若超过所述指定级别，所述控制设备对所述至少一个人像进行人脸识别，获得所述至少一个人像对应的人脸图像，建立所述展厅机器人手臂的唯一标识、所述至少一个人像对应的人脸图像以及所述目标人像的属性信息三者之间的关联关系，并将所述展厅机器人手臂的唯一标识、所述至少一个人像对应的人脸图像以及所述目标人像的属性信息三者之间的第二关联关系上传至安防系统进行存储，以备后续分析使用。
[0029] 作为一种可选的实施方式，本发明实施例中，其特征在于，所述控制设备利用人像特征算法确定所述360°全景图像中是否包含至少一个人像，包括：
[0030] 所述控制设备从模板
数据库中读取出常见姿势模板；
[0031] 所述控制设备根据所述360°全景图像中的地理场景从所述常见姿势模板中确定待用姿势模板；
[0032] 所述控制设备根据所述待用姿势模板确定待用姿势的包络框；
[0033] 所述控制设备利用所述包络框在所述360°全景图像中进行匹配，若匹配成功，则确定所述360°全景图像中包含至少一个人像。
[0034] 作为一种可选的实施方式，本发明实施例中，所述控制设备根据所述 360°全景图像中的地理场景从所述常见姿势模板中确定待用姿势模板，包括：
[0035] 所述控制设备对所述360°全景图像对应的图像焦平面的地理场景进行识别；
[0036] 若识别出所述图像焦平面的地理场景为路面，则所述控制设备从所述常见姿势模板中确定站立姿势和下蹲姿势为待用姿势模板；
[0037] 或者，若识别出所述图像焦平面的地理场景为
栏杆，则所述控制设备从所述常见姿势模板中确定站立姿势和依靠姿势为待用姿势模板；
[0038] 或者，若识别出所述图像焦平面的地理场景为椅子，则所述控制设备从所述常见姿势模板中确定站立姿势和坐下姿势为待用姿势模板。
[0039] 作为一种可选的实施方式，本发明实施例中，所述人像属性算法是基于多个样本人像图像以及所述多个样本人像图像的多个属性信息的识别结果按照属性信息的不同类型进行训练得到；其中，所述属性信息包括年龄、性别以及身高。
[0040] 作为一种可选的实施方式，本发明实施例中，所述人像属性算法通过以下方式训练得到，即：
[0041] 所述控制设备读取预先录入的样本人像数据，每个样本人像数据中包含样本人像图像以及样本人像图像的多个属性信息；
[0042] 所述控制设备从所述样本人像图像中提取人像特征；
[0043] 所述控制设备根据初始模型中的不同属性信息对应的子模型对每个样本人像图像的人像特征进行前向计算，得到每个样本人像图像的多个属性信息的预测值；
[0044] 所述控制设备根据所述预测值与属性信息的值，按照属性信息的不同类型计算得到所述多个属性信息的损耗；
[0045] 所述控制设备将所述多个属性信息的损耗求和，得到所述多个属性信息的总损耗；
[0046] 所述控制设备对所述初始模型中的不同属性信息对应的子模型的参数进行调整，直到调整后的参数使得所述多个属性信息的总损耗小于或等于预设
阈值时，停止调整得到所述人像属性算法。
[0047] 作为一种可选的实施方式，本发明实施例中，所述控制设备根据所述预测值与属性信息的值，按照属性信息的不同类型计算得到所述多个属性信息的损耗，包括：
[0048] 所述控制设备对于所述多个属性信息中每一个属性信息，若所述属性信息为回归属性，按照如下公式对所述属性信息的预测值和属性信息的值进行计算，得到所述属性信息的损耗：
[0049]
[0050] 其中，m表示所述属性信息在多个属性信息中的编号， 表示初始模型计算得到的预测值， 表示所述属性信息的值，i表示回归维度，j表示回归维度的标，L表示所述属性信息对应的损耗。
[0051] 作为一种可选的实施方式，本发明实施例中，所述控制设备根据所述预测值与属性信息的值，按照属性信息的不同类型计算得到所述多个属性信息的损耗，包括：
[0052] 所述控制设备对于所述多个属性信息中每一个属性信息，若所述属性信息不为回归属性，按照如下公式对所述属性信息的预测向量和属性信息向量进行计算，得到所述属性信息的损耗：
[0053]
[0054] 其中，m表示所述属性信息在多个属性信息中的编号，x表示所述属性信息的值，z表示初始模型计算得到的预测值，d表示所述属性信息的识别结果数目，h表示所述属性信息的识别结果的标识，L表示所述属性信息对应的损耗。
[0055] 作为一种可选的实施方式，本发明实施例中，所述控制设备从预设的媒体素材库中提取用于介绍所述展厅机器人手臂上当前展示的展品的目标媒体素材，包括：
[0056] 所述控制设备根据所述展厅机器人手臂上当前展示的展品的唯一标识，遍历预设的媒体素材库，以获得与所述展厅机器人手臂上当前展示的展品的唯一标识相适配的、用于介绍所述展厅机器人手臂上当前展示的展品的目标媒体素材；
[0057] 其中，所述目标动作轨道景的起始时间、所述目标媒体轨道景的起始时间以及所述目标语调轨道景的起始时间三者相同；所述目标动作轨道景的结束时间、所述目标媒体轨道景的结束时间以及所述目标语调轨道景的结束时间三者也相同
[0058] 本发明实施例中，控制设备在检测到展厅区域产生的音频信号为语音信号时，控制展厅机器人手臂的拍摄设备对展厅区域进行360°全景图像拍摄，以获得360°全景图像，并且在利用人像特征算法确定360°全景图像中包含至少一个人像时，从至少一个人像中确定出与展厅机器人手臂的拍摄设备的镜头之间的物理距离最近的某一人像作为目标人像；进一步地，可以利用人像属性算法对目标人像进行前向计算，得到目标人像的属性信息；根据目标人像的属性信息，从预设的动作素材库中提取与目标人像的属性信息相适配的目标动作素材，从预设的语调素材库中提取与目标人像的属性信息相适配的目标语调素材，从预设的高度值素材库中提取与目标人像的属性信息相适配的目标高度值，从预设的媒体素材库中提取用于介绍展厅机器人手臂上当前展示的展品的目标媒体素材；控制展厅机器人手臂的当前高度值调整至目标高度值，并将目标动作素材添加至展厅机器人手臂对应的动作轨道中，以生成目标动作轨道景；将目标媒体素材添加至展厅机器人手臂对应的媒体轨道，以生成目标媒体轨道景；将目标语调素材添加至展厅机器人手臂对应的语调轨道，以生成目标语调轨道景；更进一步的，将目标动作轨道景、目标媒体轨道景以及目标语调轨道景推送给展厅机器人手臂，以使展厅机器人手臂在执行目标动作轨道景对应的目标动作时，同步的按照目标语调轨道景对应的目标语调播放目标媒体轨道景对应的目标媒体。可见，本发明实施例可以先结合人像特征算法从360°全景图像中准确的确定出与展厅机器人手臂的拍摄设备的镜头之间的物理距离最近的目标人像，然后结合人像属性算法对目标人像进行前向计算，得到目标人像的属性信息；再然后为展厅机器人手臂生成与目标人像的属性信息相适配的高度、动作以及语调这些控制素材，并根据这些控制素材对展厅机器人手臂进行相应的控制，这样可以在准确的识别出展厅区域存在有参访者时，按照与目标人像的属性信息相适配的控制素材对展厅机器人手臂进行空间位姿的变动展示，从而不仅有利于降低展厅机器人手臂的功耗，还有利于于为展厅区域聚集更多的人气；此外，与
现有技术中基于
人脸检测来判断图像中是否存在人像的方式相比较，本发明实施例可以更加准确的检测出图像中是否存在人像，从而可以提高人像检测的准确度。
附图说明
[0059] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0060] 图1为本发明实施例公开的一种基于人像识别的展厅机器人手臂的控制方法的流程示意图；
[0061] 图2为本发明实施例公开的另一种基于人像识别的展厅机器人手臂的控制方法的流程示意图；
[0062] 图3为本发明实施例公开的另一种基于人像识别的展厅机器人手臂的控制方法的流程示意图。
具体实施方式
[0063] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0064] 需要说明的是，本发明实施例的术语“包括”和“具有”以及他们的任何
变形，意图在于
覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0065] 本发明实施例公开一种基于人像识别的展厅机器人手臂的控制方法，能够降低展厅机器人手臂的功耗，有利于于为展厅区域聚集更多的人气。以下进行结合附图进行详细描述。
[0066] 请参阅图1，图1为本发明实施例公开的一种基于人像识别的展厅机器人手臂的控制方法的流程示意图。如图1所示，该基于人像识别的展厅机器人手臂的控制方法可以包括以下步骤：
[0067] 101、控制设备检测位于某一展厅区域的展厅机器人手臂上报的、由该展厅机器人手臂检测到的该展厅区域产生的音频信号；控制设备判断该音频信号是否为语音信号，若该音频信号为语音信号，控制该展厅机器人手臂的拍摄设备对该展厅区域进行360°全景图像拍摄，以获得360°全景图像。
[0068] 本发明实施例中，位于某一展厅区域的展厅机器人手臂上可以安装有
拾音器和拍摄设备，其中，展厅机器人手臂通过拾音器可以检测该展厅区域产生的音频信号，并将该音频信息上报给控制设备；展厅机器人可以通过拍摄设备(如360°全景摄像头)进行360°全景图像拍摄，以获得360°全景图像。
[0069] 其中，展厅机器人手臂可以采用基于UDP的数据传输协议(UDP-based Data Transfer Protocol，简称UDT)将该音频信号快速的上报给控制设备，而且展厅机器人手臂在采用UDT将该音频信号快速的上报给控制设备的同时，可以一并将该展厅机器人手臂的版本标识上报给控制设备，以使控制设备根据该展厅机器人手臂的版本标识识别出该展厅机器人手臂的当前版本，进一步地，控制设备可以检测是否存在等级高于该展厅机器人手臂的当前版本的最新版本，如果存在，控制设备可以主动将展厅机器人手臂的当前版本更新为最新版本。
[0070] 作为一种可选的实施方式，展厅机器人手臂可以采用最小均方算法对音频信号进行降噪处理，以获取当前一次
迭代对应的均方误差梯度，并根据最近M次迭代对应的均方误差梯度的震荡情况，确定是否已经达到均方误差收敛敏感区，最近M次迭代中包括当前一次迭代；根据确定结果更新下一次迭代时最小均方算法所采用的收敛因子，以基于该收敛因子输出降噪后的音频信号，在此
基础上，展厅机器人手臂可以采用UDT将降噪后的音频信号和该展厅机器人手臂的版本标识一并上报给控制设备。
[0071] 102、控制设备获取该展厅机器人手臂上报的该360°全景图像，并利用人像特征算法确定该360°全景图像中是否包含至少一个人像；若该360°全景图像中包含至少一个人像，则控制设备从上述至少一个人像中确定出与该展厅机器人手臂的拍摄设备的镜头之间的物理距离最近的某一人像，作为目标人像。
[0072] 103、控制设备利用人像属性算法对该目标人像进行前向计算，得到该目标人像的属性信息；该控制设备根据该目标人像的属性信息，从预设的动作素材库中提取与该目标人像的属性信息相适配的目标动作素材，从预设的语调素材库中提取与该目标人像的属性信息相适配的目标语调素材，从预设的高度值素材库中提取与该目标人像的属性信息相适配的目标高度值，从预设的媒体素材库中提取用于介绍该展厅机器人手臂上当前展示的展品的目标媒体素材。
[0073] 本发明实施例中，该目标人像的属性信息可以包括该目标人像的年龄、性别和身高。举例来说，当该目标人像的属性信息包括的该目标人像的年龄为儿童时，控制设备提取的与该目标人像的属性信息相适配的目标动作素材可以是某一热
门卡通人物对应的习惯动作素材，控制设备提取的与该目标人像的属性信息相适配的目标语调素材可以是该热门卡通人物对应的语调素材；又举例来说，当该目标人像的属性信息包括的该目标人像的年龄为成年人，且该目标人像的属性信息包括的该目标人像的性别为女性时，控制设备提取的与该目标人像的属性信息相适配的目标动作素材可以是热门舞蹈中的某一个动作素材，而控制设备提取的与该目标人像的属性信息相适配的目标语调素材可以是某一热门电视人物对应的语调素材；再举例来说，当该目标人像的属性信息包括的该目标人像的目标高度值为175cm时，控制设备提取的与该目标人像的属性信息相适配的目标高度值可以是175cm；当该目标人像的属性信息包括的该目标人像的目标高度值为120cm时，控制设备提取的与该目标人像的属性信息相适配的目标高度值可以是120cm。
[0074] 104、控制设备控制该展厅机器人手臂的当前高度值调整至该目标高度值，并将该目标动作素材添加至该展厅机器人手臂对应的动作轨道，以生成目标动作轨道景；将该目标媒体素材添加至该展厅机器人手臂对应的媒体轨道，以生成目标媒体轨道景；将该目标语调素材添加至该展厅机器人手臂对应的语调轨道，以生成目标语调轨道景。
[0075] 其中，该展厅机器人手臂的当前高度值是指该展厅机器人手臂上当前展示的展品的展示高度。
[0076] 作为一种可选的实施方式，控制设备将该目标动作素材添加至该展厅机器人手臂对应的动作轨道，以生成目标动作轨道景的方式可以包括：
[0077] 控制设备检测该展厅机器人手臂对应的动作轨道是否被上
锁，如果未被上锁，控制设备可以直接将该目标动作素材添加至该展厅机器人手臂对应的动作轨道，以生成目标动作轨道景；如果被上锁，控制设备可以提示对该展厅机器人手臂对应的动作轨道进行解锁，并且在工作人员对该展厅机器人手臂对应的动作轨道进行解锁时，控制设备可以校验该工作人员的身份是否合法，如果合法，在该展厅机器人手臂对应的动作轨道解锁完毕之后，再将该目标动作素材添加至该展厅机器人手臂对应的动作轨道，以生成目标动作轨道景，从而可以防止非法控制该展厅机器人手臂执行的动作。
[0078] 作为一种可选的实施方式，控制设备将该目标媒体素材添加至该展厅机器人手臂对应的媒体轨道，以生成目标媒体轨道景的方式可以包括：
[0079] 控制设备检测该展厅机器人手臂对应的媒体轨道是否被上锁，如果未被上锁，控制设备可以直接将该目标媒体素材添加至该展厅机器人手臂对应的媒体轨道，以生成目标媒体轨道景；如果被上锁，控制设备可以提示对该展厅机器人手臂对应的媒体轨道进行解锁，并且在工作人员对该展厅机器人手臂对应的媒体轨道进行解锁时，控制设备可以校验该工作人员的身份是否合法，如果合法，在该展厅机器人手臂对应的媒体轨道解锁完毕之后，再将该目标媒体素材添加至该展厅机器人手臂对应的媒体轨道，以生成目标媒体轨道景，从而可以防止非法控制该展厅机器人手臂播放的媒体。
[0080] 作为一种可选的实施方式，控制设备将该目标语调素材添加至该展厅机器人手臂对应的语调轨道，以生成目标语调轨道景的方式可以包括：
[0081] 控制设备检测该展厅机器人手臂对应的语调轨道是否被上锁，如果未被上锁，控制设备可以直接将该目标语调素材添加至该展厅机器人手臂对应的语调轨道，以生成目标语调轨道景；如果被上锁，控制设备可以提示对该展厅机器人手臂对应的语调轨道进行解锁，并且在工作人员对该展厅机器人手臂对应的语调轨道进行解锁时，控制设备可以校验该工作人员的身份是否合法，如果合法，在该展厅机器人手臂对应的语调轨道解锁完毕之后，再将该目标语调素材添加至该展厅机器人手臂对应的语调轨道，以生成目标语调轨道景，从而可以防止非法控制该展厅机器人手臂播放的语调。
[0082] 105、控制设备将该目标动作轨道景、该目标媒体轨道景以及该目标语调轨道景推送给该展厅机器人手臂，以使该展厅机器人手臂在执行该目标动作轨道景对应的目标动作时，同步的按照该目标语调轨道景对应的目标语调播放该目标媒体轨道景对应的目标媒体。
[0083] 在图1所描述的方法中，可以先结合人像特征算法从360°全景图像中准确的确定出与展厅机器人手臂的拍摄设备的镜头之间的物理距离最近的目标人像，然后结合人像属性算法对目标人像进行前向计算，得到目标人像的属性信息；再然后为展厅机器人手臂生成与目标人像的属性信息相适配的高度、动作以及语调这些控制素材，并根据这些控制素材对展厅机器人手臂进行相应的控制，这样可以在准确的识别出展厅区域存在有参访者时，按照与目标人像的属性信息相适配的控制素材对展厅机器人手臂进行空间位姿的变动展示，从而不仅有利于降低展厅机器人手臂的功耗，还有利于于为展厅区域聚集更多的人气；此外，与现有技术中基于人脸检测来判断图像中是否存在人像的方式相比较，图1所描述的方法可以更加准确的检测出图像中是否存在人像，从而可以提高人像检测的准确度。
[0084] 请参阅图2，图2为本发明实施例公开的另一种基于人像识别的展厅机器人手臂的控制方法的流程示意图。如图2所示，该基于人像识别的展厅机器人手臂的控制方法可以包括以下步骤：
[0085] 201、控制设备检测位于某一展厅区域的展厅机器人手臂上报的、由该展厅机器人手臂检测到的该展厅区域产生的音频信号；控制设备判断该音频信号是否为语音信号，若该音频信号为语音信号，控制该展厅机器人手臂的拍摄设备对该展厅区域进行360°全景图像拍摄，以获得360°全景图像。
[0086] 作为一种可选的实施方式，控制设备判断该音频信号是否为语音信号，包括：
[0087] 控制设备对音频信号进行快速傅里叶变换得到频域信号；
[0088] 控制设备根据频域信号计算谱幅度值；
[0089] 控制设备根据谱幅度值计算概率密度；
[0090] 控制设备根据概率密度计算该音频信号的谱熵；
[0091] 控制设备根据谱熵确定该音频信号是否为语音信号；
[0092] 其中，控制设备根据频域信号计算谱幅度值，包括：
[0093] 该控制设备根据频域信号并结合以下公式计算谱幅度值，即：
[0094]
[0095] 其中，该X(k,y)表示第y个音频信号所在帧的第k个频段的谱幅度值，该z(n,y)表示第y个音频信号所在帧的音频中的第n个点的幅度，该N表示快速傅里叶变换的变化长度，该k小于或等于N，该exp(-j2πkn/N)表示幅角为2π的kn/N倍的复数。
[0096] 其中，控制设备根据谱幅度值计算概率密度，可以包括：
[0097] 该控制设备根据谱幅度值计算第y个音频信号所在帧的带噪语音
功率谱总
能量；
[0098] 该控制设备根据带噪语音功率谱总能量以及谱幅度值计算概率密度；
[0099] 其中，带噪语音功率谱总能量的计算方式为：
[0100] 其中，Esum(y)表示第y个音频信号所在帧的带噪语音功率谱总能量,X(k,y)表示第y个音频信号所在帧的第k个频段的谱幅度值，N表示快速傅里叶变换的变化长度；
[0101] 其中，概率密度的计算方式为：
[0102] D(k,y)＝|X(k,y)|2/Esum(y)，其中，D(k,y)表示第y个音频信号所在帧的第k 个频段所对应的概率密度。
[0103] 其中，控制设备根据概率密度计算音频信号的谱熵的具体过程为：
[0104] 其中，H(y)表示第y个音频信号的谱熵。
[0105] 其中，控制设备根据谱熵确定音频信号是否为语音信号，可以包括：
[0106] 控制设备计算音频信号的能量；
[0107] 控制设备根据音频信号的能量以及谱熵确定音频信号是否为语音信号；
[0108] 其中，音频信号的能量的计算过程为：
[0109] 其中，E(y)表示第y个音频信号的能量，M表示音频信号所在帧的帧长，z(n,y)表示第y个音频信号所在帧的音频中的第n个点的幅度。
[0110] 其中，控制设备根据音频信号的能量以及谱熵确定音频信号是否为语音信号，包括：
[0111] 控制设备判断P(y)是否大于预置门限值，若是，则确定音频信号是语音信号，若否，则确定音频信号不是语音信号，所述
[0112] 本发明实施例中，实施上述实施方式，可以精确的识别出音频信号是否为语音信号，从而提高语音信号的识别
精度。
[0113] 202、控制设备获取该展厅机器人手臂上报的该360°全景图像，并利用人像特征算法确定该360°全景图像中是否包含至少一个人像；若该360°全景图像中包含至少一个人像，则控制设备从上述至少一个人像中确定出与该展厅机器人手臂的拍摄设备的镜头之间的物理距离最近的某一人像，作为目标人像。
[0114] 203、控制设备利用人像属性算法对该目标人像进行前向计算，得到该目标人像的属性信息；该控制设备根据该目标人像的属性信息，从预设的动作素材库中提取与该目标人像的属性信息相适配的目标动作素材，从预设的语调素材库中提取与该目标人像的属性信息相适配的目标语调素材，从预设的高度值素材库中提取与该目标人像的属性信息相适配的目标高度值，从预设的媒体素材库中提取用于介绍该展厅机器人手臂上当前展示的展品的目标媒体素材。
[0115] 204、控制设备控制该展厅机器人手臂的当前高度值调整至该目标高度值，该控制设备确定该目标人像在该360°全景图像中所处的方位，该控制设备控制该展厅机器人手臂上当前展示的展品的展示方向朝向该目标人像在该 360°全景图像中所处的方位。
[0116] 其中，目标人像是上述至少一个人像中最靠近该展厅机器人手臂上当前展示的展品的人像，而控制设备确定该目标人像在该360°全景图像中所处的方位，并控制该展厅机器人手臂上当前展示的展品的展示方向朝向该目标人像在该360°全景图像中所处的方位，可以使得最靠近该展厅机器人手臂上当前展示的展品的参访者最优先的近距离观赏该展厅机器人手臂上当前展示的展品，从而可以提高参访者观赏体验，有利于聚集展厅区域的人气。
[0117] 205、控制设备将该目标动作素材添加至该展厅机器人手臂对应的动作轨道，以生成目标动作轨道景；将该目标媒体素材添加至该展厅机器人手臂对应的媒体轨道，以生成目标媒体轨道景；将该目标语调素材添加至该展厅机器人手臂对应的语调轨道，以生成目标语调轨道景。
[0118] 206、控制设备将该目标动作轨道景、该目标媒体轨道景以及该目标语调轨道景推送给该展厅机器人手臂，以使该展厅机器人手臂在执行该目标动作轨道景对应的目标动作时，同步的按照该目标语调轨道景对应的目标语调播放该目标媒体轨道景对应的目标媒体。
[0119] 在图2所描述的方法中，可以先结合人像特征算法从360°全景图像中准确的确定出与展厅机器人手臂的拍摄设备的镜头之间的物理距离最近的目标人像，然后结合人像属性算法对目标人像进行前向计算，得到目标人像的属性信息；再然后为展厅机器人手臂生成与目标人像的属性信息相适配的高度、动作以及语调这些控制素材，并根据这些控制素材对展厅机器人手臂进行相应的控制，这样可以在准确的识别出展厅区域存在有参访者时，按照与目标人像的属性信息相适配的控制素材对展厅机器人手臂进行空间位姿的变动展示，从而不仅有利于降低展厅机器人手臂的功耗，还有利于于为展厅区域聚集更多的人气；此外，与现有技术中基于人脸检测来判断图像中是否存在人像的方式相比较，图2所描述的方法可以更加准确的检测出图像中是否存在人像，从而可以提高人像检测的准确度。
[0120] 请参阅图3，图3为本发明实施例公开的另一种基于人像识别的展厅机器人手臂的控制方法的流程示意图。如图3所示，该基于人像识别的展厅机器人手臂的控制方法可以包括以下步骤：
[0121] 301、控制设备检测位于某一展厅区域的展厅机器人手臂上报的、由该展厅机器人手臂检测到的该展厅区域产生的音频信号；控制设备判断该音频信号是否为语音信号，若该音频信号为语音信号，控制该展厅机器人手臂的拍摄设备对该展厅区域进行360°全景图像拍摄，以获得360°全景图像。
[0122] 302、控制设备获取该展厅机器人手臂上报的该360°全景图像，并利用人像特征算法确定该360°全景图像中是否包含至少一个人像；若该360°全景图像中包含至少一个人像，则控制设备从上述至少一个人像中确定出与该展厅机器人手臂的拍摄设备的镜头之间的物理距离最近的某一人像，作为目标人像。
[0123] 作为一种可选的实施方式，在上述步骤302中，控制设备利用人像特征算法确定该360°全景图像中是否包含至少一个人像，可以包括：
[0124] 控制设备从模板数据库中读取出常见姿势模板；
[0125] 该控制设备根据该360°全景图像中的地理场景从该常见姿势模板中确定待用姿势模板；
[0126] 该控制设备根据该待用姿势模板确定待用姿势的包络框；
[0127] 该控制设备利用该包络框在该360°全景图像中进行匹配，若匹配成功，则确定该360°全景图像中包含至少一个人像。
[0128] 作为一种可选的实施方式，控制设备根据该360°全景图像中的地理场景从该常见姿势模板中确定待用姿势模板，可以包括：
[0129] 该控制设备对该360°全景图像对应的图像焦平面的地理场景进行识别；
[0130] 若识别出该图像焦平面的地理场景为路面，则该控制设备从该常见姿势模板中确定站立姿势和下蹲姿势为待用姿势模板；
[0131] 或者，若识别出该图像焦平面的地理场景为栏杆，则该控制设备从该常见姿势模板中确定站立姿势和依靠姿势为待用姿势模板；
[0132] 或者，若识别出该图像焦平面的地理场景为椅子，则该控制设备从该常见姿势模板中确定站立姿势和坐下姿势为待用姿势模板。
[0133] 303、控制设备利用人像属性算法对该目标人像进行前向计算，得到该目标人像的属性信息；该控制设备根据该目标人像的属性信息，从预设的动作素材库中提取与该目标人像的属性信息相适配的目标动作素材，从预设的语调素材库中提取与该目标人像的属性信息相适配的目标语调素材，从预设的高度值素材库中提取与该目标人像的属性信息相适配的目标高度值，从预设的媒体素材库中提取用于介绍该展厅机器人手臂上当前展示的展品的目标媒体素材。
[0134] 作为一种可选的实施方式，该人像属性算法是基于多个样本人像图像以及该多个样本人像图像的多个属性信息的识别结果按照属性信息的不同类型进行训练得到；其中，该属性信息包括年龄、性别以及身高。
[0135] 作为一种可选的实施方式，该人像属性算法通过以下方式训练得到，即：
[0136] 该控制设备读取预先录入的样本人像数据，每个样本人像数据中包含样本人像图像以及样本人像图像的多个属性信息；
[0137] 该控制设备从该样本人像图像中提取人像特征；
[0138] 该控制设备根据初始模型中的不同属性信息对应的子模型对每个样本人像图像的人像特征进行前向计算，得到每个样本人像图像的多个属性信息的预测值；
[0139] 该控制设备根据该预测值与属性信息的值，按照属性信息的不同类型计算得到该多个属性信息的损耗；
[0140] 该控制设备将该多个属性信息的损耗求和，得到该多个属性信息的总损耗；
[0141] 该控制设备对该初始模型中的不同属性信息对应的子模型的参数进行调整，直到调整后的参数使得该多个属性信息的总损耗小于或等于预设阈值时，停止调整得到该人像属性算法。
[0142] 作为一种可选的实施方式，该控制设备根据该预测值与属性信息的值，按照属性信息的不同类型计算得到该多个属性信息的损耗，包括：
[0143] 该控制设备对于该多个属性信息中每一个属性信息，若该属性信息为回归属性，按照如下公式对该属性信息的预测值和属性信息的值进行计算，得到该属性信息的损耗：
[0144]
[0145] 其中，m表示该属性信息在多个属性信息中的编号， 表示初始模型计算得到的预测值， 表示该属性信息的值，i表示回归维度，j表示回归维度的标，L表示该属性信息对应的损耗。
[0146] 作为一种可选的实施方式，该控制设备根据该预测值与属性信息的值，按照属性信息的不同类型计算得到该多个属性信息的损耗，包括：
[0147] 该控制设备对于该多个属性信息中每一个属性信息，若该属性信息不为回归属性，按照如下公式对该属性信息的预测向量和属性信息向量进行计算，得到该属性信息的损耗：
[0148]
[0149] 其中，m表示该属性信息在多个属性信息中的编号，x表示该属性信息的值，z表示初始模型计算得到的预测值，d表示该属性信息的识别结果数目， h表示该属性信息的识别结果的标识，L表示该属性信息对应的损耗。
[0150] 其中，实施上述实施方式，可以有效的确定出该目标人像的属性信息。
[0151] 作为一种可选的实施方式，控制设备从预设的媒体素材库中提取用于介绍该展厅机器人手臂上当前展示的展品的目标媒体素材，包括：
[0152] 该控制设备根据该展厅机器人手臂上当前展示的展品的唯一标识，遍历预设的媒体素材库，以获得与该展厅机器人手臂上当前展示的展品的唯一标识相适配的、用于介绍该展厅机器人手臂上当前展示的展品的目标媒体素材。
[0153] 304、控制设备控制该展厅机器人手臂的当前高度值调整至该目标高度值，该控制设备确定该目标人像在该360°全景图像中所处的方位；该控制设备控制该展厅机器人手臂上当前展示的展品的展示方向朝向该目标人像在该 360°全景图像中所处的方位。
[0154] 305、控制设备将该目标动作素材添加至该展厅机器人手臂对应的动作轨道，以生成目标动作轨道景；将该目标媒体素材添加至该展厅机器人手臂对应的媒体轨道，以生成目标媒体轨道景；将该目标语调素材添加至该展厅机器人手臂对应的语调轨道，以生成目标语调轨道景。
[0155] 其中，该目标动作轨道景的起始时间、该目标媒体轨道景的起始时间以及该目标语调轨道景的起始时间三者相同；该目标动作轨道景的结束时间、该目标媒体轨道景的结束时间以及该目标语调轨道景的结束时间三者也相同。
[0156] 306、控制设备将该目标动作轨道景、该目标媒体轨道景以及该目标语调轨道景推送给该展厅机器人手臂，以使该展厅机器人手臂在执行该目标动作轨道景对应的目标动作时，同步的按照该目标语调轨道景对应的目标语调播放该目标媒体轨道景对应的目标媒体。
[0157] 307、控制设备识别该展厅机器人手臂上当前展示的展品的价值等级是否超过指定级别，若未超过该指定级别，执行步骤308；若超过该指定级别，执行步骤309。
[0158] 308、控制设备对该目标人像进行人脸识别，获得该目标人像对应的人脸图像，建立该展厅机器人手臂的唯一标识、该目标人像对应的人脸图像以及该目标人像的属性信息三者之间的第一关联关系，并将该第一关联关系上传至安防系统进行存储，以备后续分析使用，结束本流程。
[0159] 309、控制设备对上述至少一个人像进行人脸识别，获得上述至少一个人像对应的人脸图像，建立该展厅机器人手臂的唯一标识、上述至少一个人像对应的人脸图像以及该目标人像的属性信息三者之间的关联关系，并将该展厅机器人手臂的唯一标识、上述至少一个人像对应的人脸图像以及该目标人像的属性信息三者之间的第二关联关系上传至安防系统进行存储，以备后续分析使用，结束本流程。
[0160] 其中，收集上述的第一关联关系或第二关联关系可以为后续出现的展品失窃等险情进行嫌疑人分析使用，从而有利于快速破案。
[0161] 在图3所描述的方法中，可以先结合人像特征算法从360°全景图像中准确的确定出与展厅机器人手臂的拍摄设备的镜头之间的物理距离最近的目标人像，然后结合人像属性算法对目标人像进行前向计算，得到目标人像的属性信息；再然后为展厅机器人手臂生成与目标人像的属性信息相适配的高度、动作以及语调这些控制素材，并根据这些控制素材对展厅机器人手臂进行相应的控制，这样可以在准确的识别出展厅区域存在有参访者时，按照与目标人像的属性信息相适配的控制素材对展厅机器人手臂进行空间位姿的变动展示，从而不仅有利于降低展厅机器人手臂的功耗，还有利于于为展厅区域聚集更多的人气；此外，与现有技术中基于人脸检测来判断图像中是否存在人像的方式相比较，图3所描述的方法可以更加准确的检测出图像中是否存在人像，从而可以提高人像检测的准确度。
[0162] 本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的
硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读
存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程
只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、
电子抹除式可复写只读存储器 (Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
[0163] 以上对本发明实施例公开的一种基于人像识别的展厅机器人手臂的控制方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本
说明书内容不应理解为对本发明的限制。
