技术领域
[0001] 本
发明涉及自动机器人领域，特别是一种教育辅助机器人及其控制方法。
背景技术
[0002] 现在，一个教师管理多个班级或者多个课程，工作繁重。为减轻教师的工作压
力，提高教师的工作效率；提供一种具有智能化的教育辅助机器人，为教师分担工作是必须的。但机器人需要人为控制，则还需要花费人手，浪费人力。另外，若机器人无法辨别出各种
角色，即教师、学生及其他人员，则无法对应不同的角色作出不同的响应。
发明内容
[0003] 本发明的目的在于至少解决
现有技术中存在的技术问题之一，提供一种教育辅助机器人及其控制方法，能分辨出目标并实现目标的自动跟随。
[0004] 本发明解决其问题所采用的技术方案是：
[0005] 本发明的第一方面，一种教育辅助机器人的控制方法，其特征在于，包括以下步骤：
[0006] 从拍摄的图像中捕抓并识别学生人脸，对学生进行考勤；
[0007] 从拍摄的图像中捕抓教师人脸并确认目标，对教师进行目标跟随。
[0008] 上述教育辅助机器人的控制方法至少具有以下的有益效果：实现从拍摄的图像中，辨别出不同目标的角色，对应不同角色作出不同的动作，对学生进行考勤，对教师进行目标跟随；进而在对教师跟随后，根据教师的进一步指令实现更多的协作功能，从而起到辅助教师工作的目的。
[0009] 根据本发明的第一方面，所述从拍摄的图像中捕抓并识别学生的人脸，对学生进行考勤包括以下步骤：
[0010] 接收输入的学生相片建立学生签到表；
[0011] 通过双目摄像头拍摄实时的图像；
[0012] 通过深度
人脸识别算法从拍摄的图像中捕抓并识别学生人脸；
[0013] 将识别得到的学生人脸与所述学生签到表的学生相片匹配完成考勤。
[0014] 根据本发明的第一方面，所述通过深度人脸识别算法从拍摄的图像中捕抓并识别学生人脸包括以下步骤：
[0015] 采用LBP直方图对图像纹理化并提取人脸特征；
[0016] 利用所述人脸特征通过SVR处理得到二维对齐的二维人脸；
[0017] 基于所述二维人脸的关键点对人脸狄罗尼三角化并在人脸轮廓边缘处添加三角形；
[0018] 将三角化的人脸转换为
正面朝前的三维人脸；
[0019] 将所述三维人脸经过人脸表示、归一化和分类处理，得到学生人脸识别结果。
[0020] 根据本发明的第一方面，所述从拍摄的图像中捕抓教师人脸并确认目标，对教师进行目标跟随包括以下步骤：
[0021] 构建二维地图；
[0022] 通过深度人脸识别算法从双目摄像头拍摄的图像中捕抓教师人脸并确认目标；
[0023] 根据双目摄像头连续拍摄的图像，由目标在图像前一
帧所在
位置推断出目标在图像后一帧的位置，创建目标的运动轨迹；
[0024] 根据目标的运动轨迹在所述二维地图上进行局部路径规划以及全局路径规划。
[0025] 根据本发明的第一方面，所述构建二维地图包括以下步骤：
[0026] 获取机器人的运动
姿态和周边图像并从所述周边图像提取地标信息；
[0027] 根据机器人的运动姿态和所述地标信息生成二维地图。
[0028] 根据本发明的第一方面，所述根据双目摄像头连续拍摄的图像，由目标在图像前一帧所在位置推断出目标在图像后一帧的位置，创建目标的运动轨迹包括以下步骤：
[0029] 在目标在图像前一帧所在位置的包围框内均匀产生多个样本点；从图像前一帧向后一帧正向
跟踪多个样本点，然后从图像后一帧向前一帧反向跟踪多个样本点，据此计算多个样本点的FB误差；
[0030] 从多个样本点中选择FB误差小的一半作为最佳追踪点；
[0031] 根据所述最佳追踪点在后一帧中相对前一帧的坐标变化计算出目标在图像后一帧所在位置的包围框的位置和大小；
[0032] 重复从目标在图像前一帧所在位置的包围框得到目标在图像后一帧所在位置的包围框的步骤，创建目标的运动轨迹。
[0033] 根据本发明的第一方面，所述根据双目摄像头连续拍摄的图像，由目标在图像前一帧所在位置推断出目标在图像后一帧的位置，创建目标的运动轨迹还包括以下步骤：
[0034] 通过三个级联的图像元方差分类器、随机蕨分类器和最近邻分类器对包围框内的图像样本分类为正样本和负样本；
[0035] 通过P-N学习对正样本和负样本进行纠正；
[0036] 在经过纠正的正样本中产生多个样本点。
[0037] 根据本发明的第一方面，所述局部路径规划具体包括以下步骤：
[0038] 通过激光
传感器检测与障碍物的距离和通过双目摄像头的
图像分析得到障碍物的形状；
[0039] 通过动态窗口法根据障碍物的距离与障碍物的形状确认行进速度和行进方向；以及
[0040] 所述全局路径规划具体包括以下步骤：
[0042] 通过查找确认与当前节点直接连接且与当前节点的行进代价最小的目标节点直至最终节点为目标节点，得到最优全局路径。
[0043] 根据本发明的第一方面，一种教育辅助机器人的控制方法，还包括以下步骤：
[0044] 连接课程表库，所述课程表库包括课程和与所述课程对应的上课地点；
[0045] 从所述课程表库查询相应教师的课程，参照在所述二维地图上规划的路径自动行进至课程对应的上课地点。
[0046] 本发明的第二方面，一种教育辅助机器人，应用如本发明第一方面所述的控制方法，其特征在于，包括环境信息采集模
块、人脸信息采集模块、运动模块、处理器和
存储器；所述存储器存有控制指令，所述处理器执行所述控制指令并控制所述环境信息采集模块、所述人脸信息采集模块和所述运动模块执行以下步骤：
[0047] 从拍摄的图像中捕抓并识别学生人脸，对学生进行考勤；
[0048] 从拍摄的图像中捕抓教师人脸并确认目标，对教师进行目标跟随。
[0049] 上述教育辅助机器人至少具有以下的有益效果：实现从人脸信息采集模块拍摄的图像中，辨别出不同目标的角色，对应不同角色作出不同的动作，对学生进行考勤，或根据环境信息采集模块采集的环境信息控制运动模块运动，实现对教师进行目标跟随；进而在对教师跟随后，能根据教师的进一步指令实现更多的协作功能，从而起到辅助教师工作的目的。
附图说明
[0050] 下面结合附图和实例对本发明作进一步说明。
[0051] 图1是本发明
实施例一种教育辅助机器人的控制方法的步骤图；
[0052] 图2是步骤S100的具体步骤图；
[0053] 图3是步骤S200的具体步骤图；
[0054] 图4是步骤S230的具体步骤图；
[0055] 图5是步骤S230的另一具体步骤图；
[0056] 图6是本发明实施例一种教育辅助机器人的控制方法的另一步骤图；
[0057] 图7是本发明实施例一种教育辅助机器人的结构图。
具体实施方式
[0058] 本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充
说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。
[0059] 本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
[0060] 参照图1，本发明的一个实施例，提供了一种教育辅助机器人的控制方法，其特征在于，包括以下步骤：
[0061] 步骤S100、从拍摄的图像中捕抓并识别学生人脸，对学生进行考勤；
[0062] 步骤S200、从拍摄的图像中捕抓教师人脸并确认目标，对教师进行目标跟随。
[0063] 参照图2，进一步，步骤S100包括以下步骤：
[0064] 步骤S110、接收输入的学生相片建立学生签到表，学生相片带有相应学生的姓名标签；
[0065] 步骤S120、通过双目摄像头拍摄实时的图像；
[0066] 步骤S130、通过深度人脸识别算法从拍摄的图像中捕抓并识别学生人脸；
[0067] 步骤S140、将识别得到的学生人脸与学生签到表的学生相片匹配完成考勤。
[0068] 在该实施例中，学生走到该教育辅助机器人前，并将人脸对准双目摄像头；该教育辅助机器人从
图像识别出学生人脸并匹配学生签到表的学生相片，将签到的学生的姓名标签从学生签到表排除；考勤完成后，将未签到的学生的姓名标签以表格形式显示在显示模块上。
[0069] 进一步，步骤130包括以下步骤：
[0070] 步骤131、采用LBP直方图对图像纹理化并提取人脸特征，人脸特征为
定位在人脸位置的六个基准点，六个基准点包括眼睛位置的两个点、鼻子位置的一个点和嘴巴位置的三个点；
[0071] 步骤132、利用人脸特征通过SVR处理得到二维对齐的二维人脸；
[0072] 步骤133、基于二维人脸的关键点对人脸狄罗尼三角化并在人脸轮廓边缘处添加三角形；
[0073] 步骤134、将三角化的人脸转换为正面朝前的三维人脸；
[0074] 步骤135、将三维人脸经过人脸表示、归一化和分类处理，得到学生人脸识别结果。其中，人脸表示由一个CNN网络完成，CNN网络的结构如下：第一层为共享卷积层，第二层为max
池化层，第三层为共享卷积层，第四至六层均为不共享卷积层，第七层为全连接层，第八层为softmax分类层。
[0075] 参照图3，进一步，步骤S200包括以下步骤：
[0076] 步骤S210、构建二维地图；
[0077] 步骤S220、通过深度人脸识别算法从双目摄像头拍摄的图像中捕抓教师人脸并确认目标，其中通过深度人脸识别算法捕抓、识别教师人脸的方法与捕抓、识别学生人脸的方法相同；
[0078] 步骤S230、根据双目摄像头连续拍摄的图像，由目标在图像前一帧所在位置推断出目标在图像后一帧的位置，创建目标的运动轨迹；
[0079] 步骤S240、根据目标的运动轨迹在二维地图上进行局部路径规划以及全局路径规划。
[0080] 进一步，步骤S210包括以下步骤：
[0081] 步骤S211、获取机器人的运动姿态和周边图像并从周边图像提取地标信息；
[0082] 步骤S212、根据机器人的运动姿态和地标信息生成二维地图。
[0083] 具体地，机器人的运动姿态包括位置信息和航向角。机器人利用GPS卫星定位获取机器人的位置信息，利用
角速度计计算出机器人的航向角。周边图像由机器人的双目摄像头拍摄机器人四周的图像信息得到。进而，地标信息是周边图像中具有明显标志性的物体，例如立柱、划线或建筑标志等，用坐标(x，y)表示。获取得到所有地标信息后，基于机器人自身的位置信息和地标信息闭环检测得到二维地图。
[0084] 参照图4，进一步，步骤S230包括以下步骤：
[0085] 步骤S231、在目标在图像前一帧所在位置的包围框内均匀产生多个样本点；
[0086] 步骤S232、从图像前一帧向后一帧正向跟踪多个样本点，然后从图像后一帧向前一帧反向跟踪多个样本点，据此计算多个样本点的FB误差；其中，一个样本点在前一帧的初始位置x(t)开始追踪产生后一帧的位置x(t+p)，再从位置x(t+p)反向追踪产生前一帧的预测位置x`(t)，初始位置和预测位置之间的欧氏距离就是该样本点的FB误差；
[0087] 步骤S233、从多个样本点中选择FB误差小的一半作为最佳追踪点；
[0088] 步骤S234、根据最佳追踪点在后一帧中相对前一帧的坐标变化计算出目标在图像后一帧所在位置的包围框的位置和大小；
[0089] 步骤S235、重复上述从目标在图像前一帧所在位置的包围框得到目标在图像后一帧所在位置的包围框的步骤，创建目标的运动轨迹。
[0090] 参照图5，进一步，步骤S230还包括以下步骤：
[0091] 步骤S201、通过三个级联的图像元方差分类器、随机蕨分类器和最近邻分类器对包围框内的图像样本分类为正样本和负样本；
[0092] 步骤S202、通过P-N学习对正样本和负样本进行纠正；
[0093] 步骤S203、在经过纠正的正样本中产生多个样本点。
[0094] 在该实施例中，图像元方差分类器、随机蕨分类器和最近邻分类器分别计算图像样本的
像素灰度值的方差、判断准则和相对相似性。P-N学习设有将误分为负样本的正样本纠正的P纠正器和将误分为正样本的负样本纠正的N纠正器。P纠正器的作用是寻找图像样本在时间上的结构性，保证目标在连续帧上出现的位置能构成连续的轨迹；N纠正器的作用是寻找图像样本在空间上的结构性，将原始的图像样本和经P纠正器纠正的图像样本比较，选择出一个具有最可信的位置且保证目标只出现在一个位置的正样本。在经过纠正的正样本中产生多个样本点，然后继续进行上述的创建目标的运动轨迹的步骤。
[0095] 进一步，局部路径规划具体包括以下步骤：
[0096] 通过激光传感器检测与障碍物的距离和通过双目摄像头的图像分析得到障碍物的形状；
[0097] 通过动态窗口法根据障碍物的距离与障碍物的形状确认行进速度和行进方向。
[0098] 动态窗口法的原理为：机器人从当前点通过一定的速度和方向到达目的点，在(v，w)空间中
采样多组轨迹，并使用评价函数对多组轨迹进行评价并选取最优的轨迹对应的(v，w)。其中，v为速度大小，用于确定行进速度；w为角速度大小，用于确定行进方向。
[0099] 全局路径规划具体包括以下步骤：
[0100] 在二维地图定义多个节点；
[0101] 通过查找确认与当前节点直接连接且与当前节点的行进代价最小的目标节点直至最终节点为目标节点，得到最优全局路径。在该实施例中，使用A*算法查找行进代价最小的目标节点。
[0102] 参照图6，进一步，一种教育辅助机器人的控制方法，还包括以下步骤：
[0103] 步骤S310、连接课程表库，课程表库包括课程和与该课程对应的上课地点；
[0104] 步骤S320、从课程表库查询相应教师的课程，参照在二维地图上规划的路径自动行进至课程对应的上课地点。
[0105] 在该实施例中，确认自动寻迹上课地点功能并输入教师的名称，机器人连接课程表库，查找该教师对应的课程表，得到时间最临近的一节课程及该课程对应的上课地点。参照在二维地图上规划的路径自动行进至课程对应的上课地点。课程表中还包含该课程的学生考勤表，到达上课地点后，对学生进行考勤；当教师到达，自动确认教师并进行目标跟随。
[0106] 参照图6和图7，本发明的另一个实施例，提供了一种教育辅助机器人，应用如上述的控制方法，其特征在于，包括环境信息采集模块100、人脸信息采集模块200、运动模块300、处理器400和存储器500；存储器500存有控制指令，处理器400执行控制指令并控制环境信息采集模块100、人脸信息采集模块200和运动模块300执行以下步骤：
[0107] 步骤S100，从拍摄的图像中捕抓并识别学生人脸，对学生进行考勤；
[0108] 步骤S200，从拍摄的图像中捕抓教师人脸并确认目标，对教师进行目标跟随；
[0109] 以及步骤S310和步骤S320，连接课程表库，课程表库包括课程和与课程对应的上课地点,从课程表库查询相应教师的课程，参照在二维地图上规划的路径自动行进至课程对应的上课地点。
[0110] 具体地，环境信息采集模块100包括激光传感器和双目摄像头，人脸信息采集模块200包括双目摄像头，运动模块300包括四个由
电机独立驱动的运动轮；另外，该教育辅助机器人还包括触摸显示屏，显示各种信息，以及便于使用者对教育辅助机器人进行命令操作。
[0111] 在该实施例中，能自动规划路线并行进至目标地点；实现从人脸信息采集模块200拍摄的图像中，辨别出不同目标的角色，对应不同角色作出不同的动作，对学生进行考勤，或根据环境信息采集模块100采集的环境信息控制运动模块300运动，实现对教师进行目标跟随；进而在对教师跟随后，能根据教师的进一步指令实现更多的协作功能，例如提供课程查询功能等；从而起到辅助教师工作的目的。
[0112] 本发明的另一个实施例，提供了一种存储介质，存储有可执行指令，可执行指令能使与该存储介质连接的处理器执行上述的控制方法，控制机器人运动。
[0113] 以上，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。
