技术领域
[0001] 本
发明属于
数据处理技术领域，具体涉及一种基于
深度学习的篮球进球时刻防守区域自动生成方法及系统。
背景技术
[0002] 在篮球比赛直播视频中，观看者在观看篮球时对于篮球进球
片段或在投篮时刻片段的关注性是最高的，对于该时刻的防守、进攻模式和区域尤为关注。当系统获取到进球片段之后，观看者期望对进球片段进行深入加工，从而提高视频片段的观赏性。
发明内容
[0003] 本发明为了解决上述问题，提供了一种利用深度学习
算法，自动分析投篮时刻以投篮球员为中心的防守队的防守区域，并将该防守区域画在视频中，提高视频片段的观赏性。
[0004] 本发明为解决上述技术问题采用以下技术方案：
[0005] 一种篮球进球时刻防守区域自动生成方法，采用
图像分割算法，算法输入篮球员投篮时刻对应的
视频帧，所述视频帧的信息包括投篮球员脚部
位置和防守球员脚部位置和视频帧中篮球场的左右半场信息；训练篮球禁区分割算法，利用禁区分割算法获取到所述视频帧的禁区区域；通过所述禁区区域、投篮球员脚部位置和防守球员脚部位置构建防守区域；将所述防守区域显示在所述视频帧上。
[0006] 其中，所述防守区域构建流程如下：
[0007] 构建标准球场平面，包括标准球场平面的左右半场信息；
[0008] 利用视频帧的禁区区域和标准球场平面的禁区区域计算出两个映射矩阵；
[0009] 利用所述映射矩阵将视频帧上的投篮球员脚部位置和防守球员脚部位置映射到标准球场平面上；
[0010] 在标准球场平面上计算防守区域；
[0011] 将标准球场平面上计算出的防守区域通过所述映射矩阵映射回所述视频帧，获取到所述视频帧上的防守区域。
[0012] 可选的，所述防守区域包括扇形防守区域，所述扇形防守区域构建流程如下：
[0013] 获取禁区区域与底线的两个交点；
[0014] 以投篮球员脚部位置为
顶点，画所述顶点与防守球员、以及所述交点的连线，得到多个夹
角；
[0015] 判断最大夹角连线所包围的区域为扇形防守区域。
[0016] 可选的，所述防守区域包括矩形防守区域，在标准球场平面上计算防守区域：
[0017] 获取标准球场平面上投篮球员所在的半场的四个角点；
[0018] 计算标准球场平面上投篮球员与四个角点的欧式距离；
[0019] 与投篮球员距离最近角点为矩形防守区域的一个顶点；
[0020]
水平方向距离该顶点最远的防守队员的横坐标为矩形防守区域对角线上另一个顶点的横坐标；
[0021] 垂直方向上距离该顶点最远的防守球员的纵坐标为矩形防守区域对角线上另一个顶点的纵坐标，上述两个顶点确定一个矩形防守区域。
[0022] 可选的，所述防守区域包括矩形防守区域，在标准球场平面上计算防守区域：
[0023] 以投篮球员为中心点，向水平和垂直方向各延伸一段距离形成一个矩形防守区域；
[0024] 其中，训练篮球禁区区域分割算法方法如下：
[0025] 获取篮球比赛视频帧；
[0026] 过滤图片，对过滤后的图片进行禁区分割区域标注；
[0027] 训练分割模型，利用禁区分割区域标注数据训练基于
卷积神经网络的篮球禁区区域分割模型。
[0028] 可选的，所述禁区分割算法采用Mask R-CNN分割算法。
[0029] 其中，所述映射矩阵包括将视频帧上的点向标准球场区域上点的映射矩阵a和将标准球场区域上的点向视频帧上的点的映射矩阵b。
[0030] 一种篮球进球时刻防守区域自动生成系统，包括：
[0031] 视频帧模
块，获取的投篮球员进球时刻视频帧，包括投篮球员信息、防守队员信息以及球场其他信息；
[0032] 标准球场模块，用于计算防守区域；
[0033] 映射矩阵模块，视频帧模块和标准球场单元按一一对应的关系计算两个映射矩阵模块；
[0034] 标准矩阵模块上有通过映射矩阵模块映射的投篮球员信息、防守队员信息以及球场其他信息；
[0035] 在标准矩阵模块上计算防守区域后，通过映射矩阵模块将计算好的防守区域映射至视频帧模块。
[0036] 其中，所述两个映射矩阵单元包括：
[0037] 映射矩阵单元a，将视频帧上的信息往标准球场单元上映射；
[0038] 映射矩阵单元b，将标准球场单元上的信息往视频帧上映射。
[0039] 与
现有技术相比，本发明具有以下有益效果：
[0040] 1.本发明采用基于深度学习的分割算法自动计算篮球禁区区域，由于基于深度学习的篮球禁区区域分割算法的准确率非常高，因而可以获取到非常准确的篮球禁区区域。通过禁区区域和底线的角点，可以准确的自动获取到扇形防守区域。
[0041] 2.本发明通过构建标准球场平面，将篮球员信息映射到标准球场平面，进行防守区域的计算，再将计算好的防守区域映射回原视频帧中。在计算防守区域上具有更多的选择，进一步的可以构建矩形防守区域或其他形状防守区域。
附图说明
[0042] 图1是右半场标准球场平面的平面图；
[0043] 图2是左半场标准球场平面的平面图。
具体实施方式
[0044] 下面结合附图对本发明的结构及工作过程作进一步说明。
[0046] 一种篮球进球时刻防守区域自动生成方法，
[0047] S1采用图像分割算法，算法输入篮球员投篮时刻对应的视频帧，视频帧的信息包括投篮球员脚部位置、防守球员的脚部位置和左右半场信息。
[0048] S2训练篮球禁区分割算法，利用禁区分割算法获取到视频帧中的禁区区域，获得禁区区域的四个角点。
[0049] S3构建标准球场平面，包括左右半场信息：左半场标准球场平面和右半场标准球场平面；
[0050] S4利用禁区区域的四个角点和标准球场区域上禁区区域的四个角点计算出两个映射矩阵；
[0051] S5利用上述映射矩阵将投篮球员脚部位置和防守球员脚部位置投射到标准球场平面上；
[0052] S6在标准球场平面上计算防守区域；
[0053] S7将标准球场平面上计算出的防守区域通过映射矩阵映射回视频帧，在视频帧上显示防守区域。
[0054] 一种篮球进球时刻防守区域自动生成系统，包括：视频帧模块，获取的投篮球员进球时刻视频帧，包括投篮球员信息、防守队员信息以及球场其他信息。标准球场模块，用于计算防守区域。映射矩阵模块，视频帧模块和标准球场单元按一一对应的关系计算两个映射矩阵模块。标准矩阵模块上有通过映射矩阵模块映射的投篮球员信息、防守队员信息以及球场其他信息。在标准矩阵模块上计算防守区域后，通过映射矩阵模块将计算好的防守区域映射至视频帧模块。
[0055] 具体的如下：
[0056] 本实施例中防守区域采用矩形防守区域。
[0057] 一种篮球进球时刻防守区域自动生成方法，本实施例中为1个投篮球员和3个防守球员。
[0058] 一、采用图像分割算法，算法输入篮球员投篮时刻对应的视频帧，视频帧的信息包括投篮球员脚部位置、距离投篮球员最近的三个防守球员的脚部位置和左右半场信息。
[0059] 如图1和图2，构建标准球场平面，包括左右半场信息：左半场标准球场平面和右半场标准球场平面。
[0060] 本实施例以右半场为例，即投篮球员和防守队员都位于右半场。
[0061] 二、训练一个篮球禁区分割算法，利用禁区分割算法获取到该帧中的禁区区域，从而获得禁区区域的四个角点，利用这四个角点和标准球场平面上禁区区域的四个角点计算出两个映射矩阵，分别是将视频帧上的点往标准球场区域上点的映射矩阵a和将标准球场区域上的点往视频帧上的点的映射矩阵b。
[0062] 1)训练篮球禁区区域分割算法
[0063] 1.1)准备数据，首先准备各类篮球比赛视频作为样本集，
抽取视频帧，并将其保存成图片；也可通过
网络爬虫爬取篮球比赛相关的图片。
[0064] 1.2)标注数据，通过人工的方式对上述准备的图片进行过滤，将所有非比赛片段的图片删除，需要删除的图片包括但不限于观众席、替补席、广告等。通过人工的方式对过滤后的所有图片进行禁区分割区域标注。
[0065] 1.3)训练分割模型，利用上述标注数据训练基于卷积神经网络的篮球禁区区域分割模型。
[0066] 2)将进球片段投篮时刻对应的视频帧输入训练好的分割模型，获取到该视频帧中的禁区区域的四个角点。
[0067] 3)依据该视频帧的右半场信息，将获取的禁区区域的四个角点与对应的标准球场平面上右半场的禁区区域按一一对应的关系计算两个映射矩阵，分别是将视频帧上的点往标准球场区域上点的映射矩阵a和将标准球场区域上的点往视频帧上的点的映射矩阵b。
[0068] 利用映射矩阵a可以将视频帧中的任意一点转换到标准球场平面图1上的一个点；
[0069] 利用映射矩阵b可以将图1标准球场平面上的任意一点转换到视频帧中的一个点。
[0070] 三、利用映射矩阵a将投篮球员和三个防守球员映射到标准球场上，在标准球场上获取到以投篮球员为中心的防守队的矩形防守区域的四个角点：
[0071] 1)利用映射矩阵a将视频帧中的投篮球员的脚部位置和三个防守球员的脚部位置点映射到标准球场平面上，从而获取到四个点分别为投篮球员score_player(px0,py0)，防守球员player1:(px1,py1)、player2:(px2,py2)、player3:(px3,py3)。标准球场平面图示中标记了0，1，2，3的四个点的坐标分别为(x0,y0)，(x1,y1)(x2,y2)(x3,y3)。
[0072] 2)计算标准球场平面上投篮球员score_player的位置与对应半场四个点的欧式距离，投篮球员与左半场标准球场平面(left-plane)或右半场标准球场平面(right-plane)中0、1、2、3四个点的欧式距离。
[0073] 3)投篮球员score_player距离标准球场平面中0、1、2、3四个点最近的点为矩形防守区域的一个顶点。
[0074] 假设本实施例中投篮球员距离标准球场平面中标识为0的点最近，那么该点(x0,y0)即为矩形防守区域的一个顶点。
[0075] 4)在标准球场平面中所有防守球员在水平方向上距离0点最远的球员的横坐标为矩形防守区域对角线上另一个顶点的横坐标，在标准球场平面中所有防守球员在垂直方向上距离对应顶点最远的点的纵坐标为矩形防守区域对角线上另一个顶点的纵坐标。
[0076] 本实施例中投篮球员距离标准球场平面中标识为0的点最近，假设水平方向上距离点0点最远的防守球员为player2，那么px2即为矩形防守区域对角线上另一个顶点的横坐标，假设垂直方向上距离0点最远的防守球员为player3，那么py3即为矩形防守区域对角线上另一个顶点的纵坐标。因此(px2，py3)即为矩形防守区域的另一个顶点。
[0077] 5)因为矩形对角线上的两个点就可以唯一确定一个矩形，利用已经获取到的矩形防守区域的对角线上的两个点，获取到矩形防守区域的另外两个点。
[0078] 其中，已经获取到的矩形防守区域对角线上的点为(x0,y0)，(px2，py3)那么矩形防守区域的另外两个点则分别为(x0，py3)，(px2，y0)。
[0079] 获得矩形防守区域后，利用映射矩阵b将在标准球场平面上计算出的矩形防守区域的四个点映射到视频帧上，从而获得在视频帧中防守队的防守区域。
[0080] 实施例2：
[0081] 本实施例与实施例1的区别在于，在标准球场平面寻找矩形防守区域方法不同，具体流程如下：
[0082] 以投篮球员为矩形防守区域的其中一个顶点，以这个顶点开始向水平和垂直方向各延伸一定距离形成一个矩形区域，这个矩形区域即为矩形防守区域。将这个矩形防守区域映射回视频帧。
[0083] 另一种为：以投篮球员为中心点向水平和垂直方向各延伸一定距离形成一个矩形区域，这个矩形区域即为矩形防守区域。将这个矩形防守区域映射回视频帧。
[0084] 实施例3：
[0085] A采用图像分割算法，算法输入为进球片段中投篮球员投篮出手那一刻对应的视频帧，该帧中投篮球员的脚部位置，距离投篮球员最近的三个防守球员的脚部位置、以及球场的的左右半场信息。
[0086] B训练一个篮球禁区分割算法，利用禁区分割算法获取到该帧中的禁区区域，从而获得禁区区域与底线的两个交点。
[0087] C以投篮球员的脚部位置为顶点，画投篮球员与防守球员、底线两个交点的连线，计算生成的所有连线中夹角最大的那两个连线，这两个连线与投篮球员即构成了扇形防守区域。
[0088] D在视频帧中显示计算好的扇形防守区域。
[0089] 本实施例中防守区域采用扇形防守区域，不使用标准球场平面，直接在视频帧中进行扇形防守区域的计算，然后显示在视频帧中。本实施例以右半场为例，即投篮球员和防守队员都位于右半场。以一个投篮球员，距离投篮球员最近的三个防守队员为例。
[0090] 具体步骤如下：
[0091] 一、采用图像分割算法，算法输入为进球片段中投篮球员投篮出手那一刻对应的视频帧、该帧中投篮球员的位置、距离投篮球员最近的三个防守球员的位置、以及球场的的右半场信息。
[0092] 二、训练一个篮球禁区分割算法，利用禁区分割算法获取到该帧中的禁区区域，从而获得禁区区域与底线的两个交点x。
[0093] 1)训练篮球禁区区域分割算法
[0094] 1.1)准备数据，首先准备各类篮球比赛视频作为样本集，抽取视频帧，并将其保存成图片；也可通过网络爬虫爬取篮球比赛相关的图片。
[0095] 1.2)标注数据，通过人工的方式对上述准备的图片进行过滤，将所有非比赛片段的图片删除，需要删除的图片包括但不限于观众席、替补席、广告等。通过人工的方式对过滤后的所有图片进行禁区分割区域标注。
[0096] 1.3)训练分割模型，利用上述标注数据训练基于卷积神经网络的篮球禁区区域分割模型。
[0097] 2)将进球片段投篮时刻对应的视频帧输入训练好的分割模型，获取到该帧中的禁区区域的四个角点，通过左右半场信息计算出底线上的两个点。
[0098] 本实施例中为右半场，那么横坐标大的两个点即为禁区区域与底线的交点。
[0099] 如果是左半场那么横坐标小的两个点即为禁区区域与底线的交点。
[0100] 三、以投篮球员的脚部位置为顶点，画投篮球员的脚部位置与三个防守球员的脚部位置点、底线两个交点x的连线，计算生成的所有连线中两两连线夹角最大的那两个连线，这两个连线与投篮球员即构成扇形防守区域。
[0101] 实施例4：本实施例中防守区域采用扇形防守区域，使用标准球场平面，在标准球场平面计算扇形防守区域。
[0102] 具体步骤如下：
[0103] 一种篮球进球时刻防守区域自动生成方法，以一个投篮球员，距离投篮球员最近的三个防守队员为例。
[0104] 一、采用图像分割算法，算法输入篮球员投篮时刻对应的视频帧，视频帧的信息包括投篮球员脚部位置、距离投篮球员最近的三个防守球员的脚部位置和左右半场信息。
[0105] 如图1和图2，构建标准球场平面，包括左右半场信息：左半场标准球场平面和右半场标准球场平面。
[0106] 本实施例以右半场为例，即投篮球员和防守队员都位于右半场。
[0107] 二、训练一个篮球禁区分割算法，利用禁区分割算法获取到该帧中的禁区区域，从而获得禁区区域的四个角点，利用这四个角点和标准球场平面上禁区区域的四个角点计算出两个映射矩阵，分别是将视频帧上的点往标准球场区域上点的映射矩阵a和将标准球场区域上的点往视频帧上的点的映射矩阵b。
[0108] 1)训练篮球禁区区域分割算法
[0109] 1.1)准备数据，首先准备各类篮球比赛视频作为样本集，抽取视频帧，并将其保存成图片；也可通过网络爬虫爬取篮球比赛相关的图片。
[0110] 1.2)标注数据，通过人工的方式对上述准备的图片进行过滤，将所有非比赛片段的图片删除，需要删除的图片包括但不限于观众席、替补席、广告等。通过人工的方式对过滤后的所有图片进行禁区分割区域标注。
[0111] 1.3)训练分割模型，利用上述标注数据训练基于卷积神经网络的篮球禁区区域分割模型。
[0112] 2)将进球片段投篮时刻对应的视频帧输入训练好的分割模型，获取到该视频帧中的禁区区域的四个角点。
[0113] 3)依据该视频帧的右半场信息，将获取的禁区区域的四个角点与对应的标准球场平面上右半场的禁区区域按一一对应的关系计算两个映射矩阵，分别是将视频帧上的点往标准球场区域上点的映射矩阵a和将标准球场区域上的点往视频帧上的点的映射矩阵b。
[0114] 利用映射矩阵a可以将视频帧中的任意一点转换到标准球场平面图1上的一个点；
[0115] 利用映射矩阵b可以将图1标准球场平面上的任意一点转换到视频帧中的一个点。
[0116] 利用映射矩阵a将投篮球员和三个防守球员映射到标准球场上，在标准球场上获取到禁区区域与底线的两个交点x。
[0117] 三、以投篮球员的脚部位置为顶点，画投篮球员的脚部位置与三个防守球员的脚部位置点、底线两个交点x的连线，计算生成的所有连线中两两连线夹角最大的那两个连线，这两个连线与投篮球员即构成扇形防守区域。
[0118] 获得扇形防守区域后，利用映射矩阵b将在标准球场平面上计算出的扇形防守区域映射到视频帧上，从而获得在视频帧中防守队的扇形防守区域。
[0119] 实施例1-实施例4中选取的是Mask R-CNN分割算法，但是要实现该功能并不只限于这一种分割算法，还可以为GrabCut分割算法或
分水岭分割算法等。
[0120] 实施例1-实施例4中采用一个投篮球员和三个防守队员进行防守区域计算，人数可以是2人、4人或更多。
[0121] 实施例1-实施例4中采用右半场信息，同理也可以采用左半场。
[0122] 需要说明的是：
[0123]
说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。
[0124] 尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和
修改。所以，所附
权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0125] 此外，需要说明的是，本说明书中所描述的具体实施例，其零、部件的形状、所取名称等可以不同。凡依本发明
专利构思所述的构造、特征及原理所做的等效或简单变化，均包括于本发明专利的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。
