技术领域
[0001] 本
发明涉及有球无球训练系统，尤其涉及一种基于人工智能的有球无球训练或娱乐系统及方法。
背景技术
[0002] 随着大众对于体育的关注，篮球、
足球、排球、网球运动参与感越来越高，因此对相关的有球技巧动作训练，如篮球的运球、足球的颠球，无球体能和敏捷性训练的重要性日益显著。在此类动作的训练方式中，一种是价格昂贵且需要专业场地的面对面线下教学方式，另外一种就是大众通过观看视频及录像进行动作的模仿，此种方式的最大问题就是没有反馈和记录系统，大众并不知道自己动作标准与否，也不清楚不同动作之间的衔接性如何，其次就是没有趣味性，难以坚持。因此，如何给球类爱好者提供一种可以反馈和交互、智能、方便、易用、有趣的训练或娱乐系统是一个亟待解决的技术难题。
发明内容
[0003] 发明目的：本发明的目的在于克服
现有技术的不足，提出一种基于人工智能的有球无球训练或娱乐系统及方法。
[0004] 技术方案：本发明基于人工智能的有球无球训练或娱乐系统，包括球员检测系统、球类检测系统以及动作分析系统和
可视化反馈系统：
[0005] 球员检测系统，在球员出现在视屏采集设备范围内时，预先学习球员标注数据获得球员检测模型，通过所述模型启动球员检测方法获得球员在
像素坐标系下的检测框信息，然后使用目标
跟踪方法对球员目标进行跟踪，该球员检测方法为基于
深度学习的球员检测方法或传统检测方法；
[0006] 球类检测系统在采集设备的采集范围内出现球类时，预先学习球类标注数据获得球类检测模型，通过此模型启动基于深度学习的球类检测方法或传统检测方法，获得球的检测框以及球在像素坐标系下的检测框
位置，然后使用目标跟踪方法对球类目标进行跟踪；
[0007] 动作分析系统，结合球员检测系统获得的球员检测框的信息，以及球类检测系统获得的球类检测框信息，进行对球员的身体关
节点和肢体位置的预测和计算，对球员动作进行判断和分析；
[0008] 所述可视化反馈系统将动作分析系统中球员是否完成预设动作的结果在展示设备上进行展示反馈。
[0009] 球员检测方法基于
卷积神经网络对图片中标注了球员目标检测框的数据进行训练，并使用反向传播方法进行模型参数优化，来获得球员检测模型。
[0010] 使用目标跟踪方法对球员目标进行跟踪时，利用深度学习中的卷积神经网络学习标注的视频数据中球员目标特征，并对当前以及前一
帧提取球员特征并比较相似性。
[0011] 使用目标跟踪方法对球员目标进行跟踪时，基于傅里叶变换实现的方法以及滤波方法和基于特征点的光流方法来预测跟踪球员目标框在下一帧图像中的位置。
[0012] 动作分析系统中，球员身体关节点和肢体位置的预测通过上述基于深度学习的方法训练球员身体关节点位置信息和种类信息而得到身体不同关节点在像素坐标系中的位置和种类信息，通过预测出的关节点的位置和种类信息得出相关肢体的位置信息，结合设定的动作判别方法来判别球员是否完成预设的动作。
[0013] 动作判别方法的表达公式为： N为人体关节点数量及球类检测框位置数量，i为第i个关节点或者检测框，Xi为第i个预测的关节点位置信息或者检测框位置信息，Xoi为第i个预设的关节点位置信息或者检测框位置信息，τ为预先设定的
阈值。
[0014] 可视化反馈系统包括实时球员动作反馈模
块、结束回放分析模块和动作打分模块；实时球员动作反馈模块在训练中实时反馈出球员每一次动作的结果，反馈出正确动作的方向；结束回放分析模块在训练结束后，对动作进行回放；动作打分模块对训练的正确、错误动作进行打分。
[0015] 可视化反馈系统中预先设定多种展示模式，展示模式为加入动作得分到达预先设定的阈值进入下一训练中形成一种“闯关”模式；反馈的展示为可视化特效及音效。
[0016] 基于人工智能的有球无球训练或娱乐方法包括以下步骤：
[0017] (1)架设智能手机；
[0018] (2)对球员位置进行调整；
[0020] (4)可视化反馈。
[0021] 具体地，步骤(3)中，调用球类检测系统中的篮球检测模型，获得篮球检测框的位置和大小信息；调用球员动作分析系统获得球员身体关节点、肢体位置的信息，与预先设定的某个动作的信息是否相符。
[0022] 有益效果：本发明具有以下优点：
[0023] (1)该系统基于人工智能对球类爱好者进行人体检测和识别、球类检测和识别、肢体检测和识别，以达到对球类爱好者进行有球、无球动作训练的指导与监督反馈。
[0024] (2)结合最先进的人工智能技术将球类运动训练的反馈变得智能化，本发明的系统可以应用在APP中，采集和展示设备均可以为智能手机，使用更加方便。
[0025] (3)通过动作分析系统，评估球员的动作与预先设定娱乐动作或者训练动作的差异，精准的衡量动作完成度并能指出出动作不准确的地方有利于球员进行动作的改正；如涉及到的运动和动作有球员有球如篮球排球、篮球屏幕触点、足球颠球和无球敏捷性训练和体能训练等均可通过视频采集设备采集并通过本发明系统可以判别动作准确性用于训练或娱乐等的动作。
[0026] (4)此系统增加了训练的趣味性，通过此系统可以在终端或其他使用设备中预先设定多种展示模式，加入动作得分到达一定预先设定的阈值进入下一种更加复杂的训练中形成一种“闯关”模式或者在反馈的展示中加入一些可视化特效及音效等来极大增加用户的使用趣味性。
附图说明
[0027] 图1为本发明系统构成图；
[0029] 图3为本发明系统实施例智能手机放置位置图；
[0030] 图4为本发明系统实施例中球员位置示意图；
[0031] 图5为本发明系统实施例中篮球触点训练示意图。
具体实施方式
[0032] 如图1所示，本发明基于人工智能的有球无球训练或娱乐系统，该系统包括球员检测系统、球类检测系统、动作分析系统及可视化反馈系统。
[0033] 球员检测系统是在球员出现在视频采集设备采集范围内时，启动预先设置的球员检测方法，以预先训练出一个球员检测模型，该检测方法为基于深度学习的球员检测方法或者传统检测方法。
[0034] 基于深度学习的球员检测方法即利用通用目标检测技术对篮球标注数据进行学习，得到篮球检测模型，用于对球员的检测；具体为，基于卷积神经网络对图片中标注了球员目标检测框的数据进行训练，并使用反向传播
算法进行模型参数优化，来获得球员检测模型。
[0035] 传统检测方法为使用Harr、HOG特征，结合
机器学习，采用SVM、Adaboost方法进行球员检测。
[0036] 另外还需预先准备出球员跟踪模型，一直跟踪球员的位置，主要有以下两种方法：
[0037] 1.利用深度学习中的卷积神经网络学习标注的视频数据中球员目标的特征，并在使用时对当前以及前一帧提取球员特征并比较相似性，来预测目标在下一帧的位置变化；
[0038] 2.基于傅里叶变换实现的方法以及滤波方法和基于特征点的光流方法来预测跟踪球员目标框在下一帧图像中的位置。
[0039] 在使用时，在球员出现在视屏采集设备范围内时，启动预先训练好的球员检测方法，进行球员目标框的检测，然后使用目标跟踪方法对球员目标进行跟踪，一直获得球员在当前帧的检测框的位置和大小信息。
[0040] 球类检测系统，该球类检测系统是在采集设备的采集范围内出现球类时，使用球类检测方法训练出一个球员检测模型，该方法包括基于深度学习的方法或者传统检测方法。
[0041] 具体为，预先训练出一个球类检测模型，其训练方法分为两种：
[0042] 1、基于卷积神经网络对图片中标注了球类目标检测框的数据进行训练，并使用反向传播算法进行模型参数优化，来获得球类检测模型。
[0043] 2、使用传统方法，具体为使用Harr、HOG特征结合机器学习如SVM、Adaboost方法进行球类目标检测。
[0044] 另外还需预先准备出球类跟踪模型，以一直跟踪球类目标的位置，其方法主要分为两种：
[0045] 1、利用深度学习中的卷积神经网络学习标注的视频数据中球类目标的特征，并在使用时对当前以及前一帧提取球类特征并比较相似性，来预测目标在下一帧的位置变化；
[0046] 2、基于傅里叶变换等实现的方法以及滤波方法和基于特征点的光流方法来预测跟踪球类目标框在下一帧图像中的位置。
[0047] 在使用时，在球类出现在视屏采集设备范围内时，启动预先训练好的球类检测方法，进行球类目标框的检测，然后使用目标跟踪方法对球类目标进行跟踪，以一直获得球类目标在当前帧的检测框的位置和大小信息。
[0048] 具体的说，基于深度学习的球类检测方法就是利用通用目标检测方法对篮球标注数据进行学习，得到篮球检测模型，用于对球类的检测；传统检测方法是使用Harr、HOG特征检测子结合SVM分类方法进行球类，如乒乓球、篮球、足球特征的检测，用于检测球类以获得球的检测框以及球在像素坐标系下的检测框位置。
[0049] 动作分析系统，该系统需要预先训练好球员身体关键点检测模型，需要使用卷机神经网络训练学习标注球员身体关节点的图片，得到球员身体关节点检测的模型用于检测球员身体关键点。
[0050] 使用时，结合球员检测系统获得的球员检测框获得的球员检测框的信息，以及球类检测系统获得的球类检测框信息，运行球员的身体关节点检测模型获得球员身体关节点检测的信息，综合上述信息进行球员动作判断和分析。
[0051] 该动作分析系统结合球员检测系统获得的球员检测框的信息，以及球类检测系统获得的球类检测框信息，进行球员的身体关节点和肢体位置的预测和计算，球员身体关节点和肢体位置的预测是通过基于深度学习的方法训练球员身体关节点位置信息和种类信息而得到身体不同关节点在像素坐标系中的位置和种类信息，通过预测出的这些关节点的位置和种类信息得出相关肢体的位置信息，如检测出的手肘和
手腕的点的连线即为小臂的位置信息，还通过不同关节点位置信息的记录组合获得身体的动作信息，综合一些预先设定的动作判别方法，如来判别球员是否完成预设的动作，如篮球中的高、低运球，无球敏捷性训练，足球中的颠球，则动作判断。动作判别方法为：一些动作的完成涉及到球员做出动作时被上述方法捕捉和检测到的身体关节点、球的检测位置框等位置和种类信息与预先设定的动作判别法里设置的关键点、球的检测位置框等信息的差是否小于一个预定的阈值，其表达公式如下： N为人体关节点数量及球类检测框位置数量，i为第i个关节点或者检测框，Xi为第i个预测的关节点位置信息或者检测框位置信息，Xoi为第i个预设的关节点位置信息或者检测框位置信息，τ为预先设定的阈值。如果小于阈值，则表明在预先设定的范围内，则为完成一次动作，反之未完成。通过不同关节点以及检测框位置的不同组合判断可以将动作的组合更加丰富，进而达到更加综合的训练效果。
[0052] 可视化反馈系统，可视化反馈系统是将动作分析系统中球员是否完成预设动作的结果在展示设备上进行多样化趣味性展示反馈，可出现的最本质的两种结果为“完成”和“未完成”。此系统可以进行更加丰富的可视化效果以及一些声音效果的反馈以及可拓展性，举例来说，如果球员的训练内容是在规定时间进行低位运球训练，如果运球高度高于预先设定的阈值，则在此反馈系统显示“降低运球高度”并发出相应的音效，如符合预先设定的动作，则显示“完成一次低位运球”并且在本次训练中会增加积分以及音效的提示，在达到预设的时间，会结束训练并反馈积分以及训练过程中正确的动作回放以及错误动作与正确动作的差异点回放。
[0053] 本系统除应用于训练外，由于其丰富的可视化反馈系统及其具有增设特效的可拓展性，亦可以作为娱乐来进行“闯关”等娱乐功能的设置，将训练更加趣味化，具体见下面具体实施方式的实例说明。
[0054] 在应用本系统时，需要选取视频采集设备以及可视化终端设备，在此实例中选用智能手机，可同时作为采集设备和可视化终端设备使用，同时在智能手机的APP作为本发明系统的使用载体；为了方便直观的说明，本实例仅采用篮球训练中的部分训练动作，但其可推广到更广泛的运动中去。本实例如图2所示，单个球员使用智能手机作为终端设备进行篮球左手单手低运球、左右手交叉运球、运球触点训练：
[0055] 如图2所示，本发明的训练方法包括以下步骤：
[0056] (1)架设智能手机；
[0057] (2)对球员位置进行调整；
[0058] (3)球员做出指定动作；
[0059] (4)可视化反馈。
[0060] 步骤(1)中，架设智能手机时，如图3所示，1为地面，2为智能手机，3为球员，4为篮球，此图说明的是球员将智能手机开启前置摄像头，固定在地上或者其他高度，使手机屏幕拍到球员的身体；
[0061] 步骤(2)中，对球员进行位置调整时，如图4所示，1为球员，2为篮球，3为手机屏幕预设的检测框，4为智能手机屏幕，5为球员需要进行的位置调整：相对手机屏幕向后移动，相对手机屏幕向右移动，则根据此图示意，球员开始相对于智能手机的距离过近导致自己在手机屏幕中的图像相对于手机屏幕中预设的检测框过大，则需要相对手机向后移动，同时球员相对于智能手机的位置偏左导致自己在手机屏幕中的图像没有进入检测框，所以要相对智能手机向右移动才使得球员的检测框完全出现在手机屏幕中间的矩形框中。此步骤中采用了球员检测系统获得球员的检测框位置和大小信息，用以衡量使用的位置是否合适以及用于后续球员动作分析系统。
[0062] 步骤(3)中，球员做出指定动作时，需要完成屏幕要求的动作，在此步骤中需要调用球类检测系统中具体的篮球检测系统，以获得篮球检测框的位置和大小信息，以及调用球员动作分析系统获得球员身体关节点的信息以及肢体位置的信息，并比较得到的信息与预先设定的某个动作的信息是否相符，如果相符则证明此动作完成正确，如果不相符则说明此动作没有完成，在此实例中只作为展示列举以下几种:
[0063] 1、左手低位拍球：通过上述球类检测系统、动作分析系统获得的篮球检测框位置信息以及身体的关节点信息，如判别方法，球员预测的身体关键点以及篮球检测框的位置和种类信息与预设的关节点信息和篮球检测框的信息在连续几帧图像中的偏差必须小于一定的阈值，根据关键点类别信息判断是否为左手拍球；如果球被判定在拍的过程中通过关节点和篮球框的位置信息得出的运球的高度低于预先设定的相对高度，则为低位拍球，反之不算；
[0064] 2、篮球运球触点：此类触点动作与前述动作不同的是在屏幕中预设了某个位置出现某种标志，此标志为需要用手触摸的标志或者用球去触碰的标志，球员根据自己在手机屏幕中与此标志的相对距离和方向来调整实际自己的肢体位置或者球的位置，以达到让屏幕中的自己的肢体或者球的检测框与屏幕中预设的点的位置重合；如果可以重和，则代表触碰到了这个点，反之则没有触碰。具体的此过程可以描述球员需要根据自己看到手机中自己相对于屏幕出现点的距离进行移动，以实现自己的身体的关节点类别与位置信息以及者球类的类别与位置信息与预先设定的点的位置和类别信息之差小于预先设定的阈值，则可判定为成功触碰到预先设定的点，如图5所示，1为球员，2为篮球，3为手机屏幕预设的检测框，4为手机屏幕，5为需用左手触碰的目标，6为需用篮球触碰的目标，7为左手向目标移动的动作，8为篮球向目标移动的动作。进一步的，图中左上
角黑色矩形即为预先设定的需要球员用左手去触碰的点的范围，如果球员做出动作去触碰时用的是非左手，则视为一次无效动作，只有通过自己的移动将左手的位置与此标志范围重合才视为一次有效动作；右上角的黑色三角形即为预先设定的需要球员用球去触碰的点的范围，只有球员将球运到此位置时触碰到三角形点才被视为有效动作。此类运动可以锻炼篮球运球的
稳定性以及敏捷性，也可以用于无球训练。
[0065] 可视化反馈系统包括以下内容：
[0066] (1)实时球员动作反馈模块，即该模块在训练过程中实时反馈出球员做出每一次动作正确与否的结果，以及在动作不标准的情况下计算预设点和球员在做动作的点之间的差距，反馈出正确动作的方向；
[0067] (2)结束回放分析模块，即该模块在训练结束后，球员得到每次动作的回放以及自己身体关键点与正确动作关键点之间的差距，以及通过差距计算分析出距离正确动作应该调整的地方有哪些。
[0068] (3)动作打分模块，即该系统会综合本次训练正确动作以及错误动作的情况进行打分，给球员提供更加直观的衡量标准，以及作为娱乐功能作为是否可以进入到下一关的依据。
[0069] 本发明亦可以用于娱乐，具体一种应用方式可以设置在规定的时间完成不同难度的训练动作以及不同的次数，完成速度越快，积分越高，根据积分判断是否进入下一关；也可以设置为在一个环节里随机出现不同的动作指令，锻炼球员的反应能
力。
