技术领域
[0001] 本
发明涉及信息处理领域，具体涉及一种直播间弹幕显示方法、存储介质、设备及系统。
背景技术
[0002] 目前，随着网络通信技术的进步和宽带网络的提速，网络直播得到了越来越多的发展和应用，其中，弹幕(barrage)是网络直播中重要的一哥组成元素，弹幕指的是在网络上观看视频或直播时弹出的评论性字幕，当前各大直播平台都有自己的弹幕文化，且广受用户的喜爱。同时对于各大直播平台来说，颜值直播间从直播诞生以来，都是广受追捧的直播间，很多大主播的直播间人气爆满，直播间弹幕量巨大，严重的甚至弹幕铺满整个屏幕。
[0003] 但是当弹幕较多的时候，根据弹幕量均匀分布在屏幕的上半部分或者下半部分，对直播的画面产生遮挡(如遮挡主播的头部等)，让观众难以看清当前直播间发生的内容，影响用户的使用体验。
发明内容
[0004] 针对
现有技术中存在的
缺陷，本发明的目的在于提供一种直播间弹幕显示方法，能够有效避免弹幕对直播观看的影响。本发明相应的还提供了设备、存储介质及系统。
[0005] 为达到以上目的，本发明采取的技术方案是：
[0006] 本发明第一方面提供一种直播间弹幕显示方法，包括以下步骤：
[0007] 根据当前直播间的
视频流地址，获取当前直播间的视频流，同时从弹幕
服务器获取当前直播间的弹幕；
[0008] 基于PascalContext数据集的
深度学习算法，对当前直播间视频流的图像进行图像语义分割，形成多个不同目标场景区域；
[0009] 在目标场景区域中筛选出弹幕显示区域，并将当前直播间的弹幕
渲染于弹幕显示区域上。
[0010] 结合第一方面，在第一种可能的实现方式中，所述基于PascalContext数据集的深度学习算法，对视频流的图像进行图像语义分割，形成多个不同目标场景区域，具体步骤为：
[0011] S201：获取直播服务器中存储的历史直播图像数据，并对历史直播图像数据中图像所含目标场景进行打标；
[0012] S202：使用打标后的历史直播图像数据对基于PascalContext数据集的深度学习算法进行训练；
[0013] S203：采用训练后的深度学习算法对当前直播间视频流的图像进行图像语义分割，以图像中所含目标场景为单位，形成多个区域。
[0014] 结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述在目标场景区域中筛选出弹幕显示区域，具体为：
[0015] S301：对当前直播间的直播类型进行判断，若为户外直播，则转到S302，若为室内直播，则转到S303；
[0016] S302：除主播人物及户外相关道具所在目标场景区域以外的目标场景区域为弹幕显示区域；
[0017] S303：除主播人物、显示器、
键盘及
鼠标所在目标场景区域以外的目标场景区域为弹幕显示区域。
[0018] 结合第一方面，在第三种可能的实现方式中，当将弹幕渲染于弹幕显示区域上，基于付费原则，以及弹幕文字内容与当前直播间直播内容相关原则，对弹幕进行打分，然后按照得分由高至低原则，得分高的弹幕优先渲染于弹幕显示区域上。
[0019] 结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述对弹幕进行打分，具体为：
[0020] S311：对弹幕属性进行判断，若为弹幕发送者为VIP用户或弹幕为付费弹幕，则得分为a，反之得分为0；
[0021] S312：对弹幕的文字内容进行判断，若文字内容与当前直播间直播内容相关，则得分为b，反之得分为0；
[0022] S323：弹幕最终得分score的计算公式为：
[0023] score＝a*p+b*(1-p)
[0024] 其中，a和b均为正整数，p为可调比例因子，取值范围为0≤p≤1。
[0025] 结合第一方面的第四种可能的实现方式，在第五种可能的实现方式中，对弹幕进行打分，得分为0的弹幕为普通弹幕，得分不为0的弹幕为特殊弹幕，所述普通弹幕在弹幕显示区域上的渲染规则为：当且仅当弹幕显示区域上不再渲染有特殊弹幕时，按照普通弹幕的发送时序，依次在弹幕显示区域上渲染。
[0026] 本发明第二方面提供一种存储介质，该存储介质上存储有
计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0027] 根据当前直播间的视频流地址，获取当前直播间的视频流，同时从弹幕服务器获取当前直播间的弹幕；
[0028] 基于PascalContext数据集的深度学习算法，对当前直播间视频流的图像进行图像语义分割，形成多个不同目标场景区域；
[0029] 在目标场景区域中筛选出弹幕显示区域，并将当前直播间的弹幕渲染于弹幕显示区域上。
[0030] 本发明第三方面提供一种
电子设备，所述电子设备包括：
[0031] 获取单元，其用于根据当前直播间的视频流地址，获取当前直播间的视频流，同时从弹幕服务器获取当前直播间的弹幕；
[0032] 分割单元，其用于基于PascalContext数据集的深度学习算法，对当前直播间视频流的图像进行图像语义分割，形成多个不同目标场景区域；
[0033] 渲染单元，其用于在目标场景区域中筛选出弹幕显示区域，并将当前直播间的弹幕渲染于弹幕显示区域上。
[0034] 本发明第四方面提供一种直播间弹幕显示系统，包括：
[0035] 获取模
块，其用于根据当前直播间的视频流地址，获取当前直播间的视频流，同时从弹幕服务器获取当前直播间的弹幕；
[0036] 分割模块，其用于基于PascalContext数据集的深度学习算法，对当前直播间视频流的图像进行图像语义分割，形成多个不同目标场景区域；
[0037] 渲染模块，其用于在目标场景区域中筛选出弹幕显示区域，并将当前直播间的弹幕渲染于弹幕显示区域上。
[0038] 结合第四方面，在第一种可能的实现方式中，当所述渲染模块将弹幕渲染于弹幕显示区域上，基于付费原则，以及弹幕文字内容与当前直播间直播内容相关原则，对弹幕进行打分，然后按照得分由高至低原则，得分高的弹幕优先渲染于弹幕显示区域上。
[0039] 与现有技术相比，本发明的优点在于：通过深度学习算法，对视频流的图像进行图像语义分割，形成多个不同目标场景区域，然后在目标场景区域中筛选出弹幕显示区域，在进行弹幕显示时，仅在弹幕显示区域进行弹幕显示，而弹幕显示区域为不对直播内容影响的区域，在满足用户对于直播和弹幕观看需求的同时，有效保证用户的使用体验。
附图说明
[0040] 图1为本发明
实施例中一种直播间弹幕显示方法的
流程图；
[0041] 图2为本发明实施例中一种电子设备的结构示意图。
具体实施方式
[0042] 本发明实施例提供了一种直播间弹幕显示方法，当直播间进行弹幕显示时通过图像检测和识别技术，检测出不适宜显示弹幕的区域，并在该区域不进行弹幕的显示，有效保证用户的使用体验。本发明实施例还提供了相应的存储介质、设备和直播间弹幕显示系统。
[0043] 以下结合附本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0044] 参见图1所示，本发明实施例提供的一种直播间弹幕显示方法的一实施例包括：
[0045] S1：根据当前直播间的视频流地址，获取当前直播间的视频流，同时从弹幕服务器获取当前直播间的弹幕；
[0046] 本发明实施例中，弹幕在客户端的直播间的直播画面上显示，客户端一般运行于智能移动设备中，当用户在客户端进行直播观看时，客户端从CDN(Content Delivery Network，内容分发网络)厂商获取当前直播间的视频流地址，本发明实施例中的CDN厂商指直播公司的直播服务器，基于视频流地址，客户端拉取视频流至客户端本地。同时客户端从弹幕服务器获取当前直播间的弹幕。
[0047] S2：基于PascalContext数据集的深度学习算法，对当前直播间视频流的图像进行图像语义分割，形成多个不同目标场景区域。PascalContext数据集中有400多类的室内和室外场景目标。
[0048] 本发明实施例中，目标场景指图像中所含的单个物件，例如图像中含有人物、电脑桌和
墙壁，则人物、电脑桌和墙壁均为图像中的目标场景。通过对视频流的图像进行图像语义分割，每个目标场景为一个区域。
[0049] S3：在目标场景区域中筛选出弹幕显示区域，并将当前直播间的弹幕渲染于弹幕显示区域上。在进行筛选时，很多目标场景在直播场景中是没有特别重要的意义的，如桌子、天空、墙壁、道路、数目等目标场景，这些目标场景所在区域便可作为弹幕显示区域。具体的筛选规则人为的根据直播场景进行灵活
指定。通过在弹幕显示区域渲染弹幕，然后进行弹幕的显示，而弹幕显示区域一般为非重要场景区域，通过此方式来避免弹幕对直播画面中重要内容的遮挡。
[0050] 可选地，在上述图1对应的实施例的
基础上，本发明实施例提供的一种直播间弹幕显示方法的第一个可选实施例中，基于PascalContext数据集的深度学习算法，对视频流的图像进行图像语义分割，形成多个不同目标场景区域，具体步骤为：
[0051] S201：获取直播服务器中存储的历史直播图像数据，并对历史直播图像数据中图像所含目标场景进行打标。正常情况下，对于直播画面所含的具体目标场景类型，一般较为固定，同一类别下的直播间中，主播直播时所出现的目标场景样式较为固定，因此获取直播服务器中存储的历史直播图像数据，然后对历史直播图像数据中图像所含目标场景进行打标，以便于针对直播场景应用，使得后续训练后的深度学习算法更具有针对性的识别能
力。
[0052] S202：使用打标后的历史直播图像数据对基于PascalContext数据集的深度学习算法进行训练。
[0053] 本发明实施例中，对深度学习算法进行训练，其过程为：输入打标后的图像，然后通过一系列的卷积、
池化、上
采样、
下采样等操作，完成对深度学习算法的训练。
[0054] S203：采用训练后的深度学习算法对当前直播间视频流的图像进行图像语义分割，以图像中所含目标场景为单位，形成多个区域。
[0055] 本发明实施例中，进一步的，当形成多个区域后，可以对目标场景区域进行标记，标记维度包括前景、背景、有意义的区域、无意义的区域，区域的面积等一系列维度，以便于后续的筛选操作。
[0056] 可选地，在上述图1对应的第一个可选实施例的基础上，本发明实施例提供的一种直播间弹幕显示方法的第二个可选实施例中，在目标场景区域中筛选出弹幕显示区域，具体为：
[0057] S301：对当前直播间的直播类型进行判断，若为户外直播，则转到S302，若为室内直播，则转到S303；直播场景类型从大的方面划分，一般分为户外直播和室内直播。
[0058] S302：除主播人物及户外相关道具所在目标场景区域以外的目标场景区域为弹幕显示区域；户外直播一般为主播求生类或活动展示类的直播类型，故主播人物及户外相关道具较为重要，因此将除主播人物及户外相关道具所在目标场景区域以外的目标场景区域为弹幕显示区域。
[0059] S303：除主播人物、显示器、键盘及鼠标所在目标场景区域以外的目标场景区域为弹幕显示区域。室内直播一般为游戏直播和才艺直播，因此主播人物、显示器、键盘及鼠标所在区域为能够完美展示主播操作的区域，因此将除主播人物、显示器、键盘及鼠标所在目标场景区域以外的目标场景区域为弹幕显示区域。
[0060] 可选地，在上述图1对应的实施例的基础上，本发明实施例提供的一种直播间弹幕显示方法的第三个可选实施例中，当将弹幕渲染于弹幕显示区域上，基于付费原则，以及弹幕文字内容与当前直播间直播内容相关原则，对弹幕进行打分，然后按照得分由高至低原则，得分高的弹幕优先渲染于弹幕显示区域上。
[0061] 本发明实施例中，对于从弹幕服务器获取的弹幕，根据弹幕的属性，然后基于付费原则，以及弹幕文字内容与当前直播间直播内容相关原则，采用打分的形式，对弹幕的优先级进行划分，然后按照优先级顺序依次进行展示，保证弹幕显示的有序进行。
[0062] 可选地，在上述图1对应的第三个可选实施例的基础上，本发明实施例提供的一种直播间弹幕显示方法的第四个可选实施例中，对弹幕进行打分，具体为：
[0063] S311：对弹幕属性进行判断，若为弹幕发送者为VIP用户或弹幕为付费弹幕，则得分为a，反之得分为0。付费弹幕为通过使用付费道具后所发送的特殊弹幕，如正常情况下弹幕的
颜色为白色，则红色弹幕为付费弹幕，只有使用相关道具后才能发送红色弹幕。VIP用户和付费弹幕的发送者均属于直播平台的付
费用户，
[0064] S312：对弹幕的文字内容进行判断，若文字内容与当前直播间直播内容相关，则得分为b，反之得分为0。例如主播正在进行车展的直播，则若某条弹幕包含车的内容，则该条弹幕的文字内容当前直播间直播内容相关，满足弹幕文字内容与当前直播间直播内容相关原则，凡是与直播内容相关的弹幕，则进行得分，以便于后续的优先展示。
[0065] S323：弹幕最终得分score的计算公式为：
[0066] score＝a*p+b*(1-p)
[0067] 其中，a和b均为正整数，p为可调比例因子，取值范围为0≤p≤1，通常取0.5。
[0068] 本发明实施例中，对弹幕进行打分，得分为0的弹幕为普通弹幕，得分不为0的弹幕为特殊弹幕，普通弹幕在弹幕显示区域上的渲染规则为：当且仅当弹幕显示区域上不再渲染有特殊弹幕时，按照普通弹幕的发送时序，依次在弹幕显示区域上渲染。特殊弹幕则按照得分高低依次进行展示，若得分相同，则按照特殊弹幕的发送时间依次进行展示。图像中可能划分有多个弹幕显示区域，故在图像上所有的弹幕显示区域均进行弹幕的渲染，同时每一块弹幕显示区域上至少渲染一条弹幕。
[0069] 本发明实施例的直播间弹幕显示方法，通过深度学习算法，对视频流的图像进行图像语义分割，形成多个不同目标场景区域，然后在目标场景区域中筛选出弹幕显示区域，在进行弹幕显示时，仅在弹幕显示区域进行弹幕显示，而弹幕显示区域为不对直播内容影响的区域，在满足用户对于直播和弹幕观看需求的同时，有效保证用户的使用体验。
[0070] 本发明实施例提供的一种存储介质的一实施例包括：该存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0071] 根据当前直播间的视频流地址，获取当前直播间的视频流，同时从弹幕服务器获取当前直播间的弹幕；
[0072] 基于PascalContext数据集的深度学习算法，对当前直播间视频流的图像进行图像语义分割，形成多个不同目标场景区域；
[0073] 在目标场景区域中筛选出弹幕显示区域，并将当前直播间的弹幕渲染于弹幕显示区域上。
[0074] 可选地，在上述存储介质实施例的基础上，本发明实施例提供的一种存储介质的第一个可选实施例中，存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读
信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或
半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个
导线的电连接、便携式计算机磁盘、
硬盘、随机存取
存储器(RAM)、
只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0075] 可选地，在上述存储介质的实施例及第一个可选实施例的基础上，本发明实施例提供的一种存储介质的第二个可选实施例中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、
光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
[0076] 可选地，在上述存储介质的实施例及第一、第二个可选实施例的基础上，本发明实施例提供的一种存储介质的第三个可选实施例中，可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的
软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0077] 参见图2所示，本发明实施例提供的一种电子设备的一实施例包括：
[0078] 获取单元，其用于根据当前直播间的视频流地址，获取当前直播间的视频流，同时从弹幕服务器获取当前直播间的弹幕；
[0079] 分割单元，其用于基于PascalContext数据集的深度学习算法，对当前直播间视频流的图像进行图像语义分割，形成多个不同目标场景区域；
[0080] 渲染单元，其用于在目标场景区域中筛选出弹幕显示区域，并将当前直播间的弹幕渲染于弹幕显示区域上。
[0081] 本发明实施例提供的一种直播间弹幕显示系统的一实施例包括：获取模块、分割模块和渲染模块。
[0082] 获取模块用于根据当前直播间的视频流地址，获取当前直播间的视频流，同时从弹幕服务器获取当前直播间的弹幕；分割模块用于基于PascalContext数据集的深度学习算法，对当前直播间视频流的图像进行图像语义分割，形成多个不同目标场景区域；渲染模块用于在目标场景区域中筛选出弹幕显示区域，并将当前直播间的弹幕渲染于弹幕显示区域上。在进行筛选时，很多目标场景在直播场景中是没有特别重要的意义的，如桌子、天空、墙壁、道路、数目等目标场景，这些目标场景所在区域便可作为弹幕显示区域。具体的筛选规则人为的根据直播场景进行灵活指定。通过在弹幕显示区域渲染弹幕，然后进行弹幕的显示，而弹幕显示区域一般为非重要场景区域，通过此方式来避免弹幕对直播画面中重要内容的遮挡。
[0083] 可选地，在上述一种直播间弹幕显示系统对应的实施例的基础上，本发明实施例提供的一种直播间弹幕显示系统的第一个可选实施例中，在目标场景区域中筛选出弹幕显示区域，具体为：
[0084] S301：对当前直播间的直播类型进行判断，若为户外直播，则转到S302，若为室内直播，则转到S303；直播场景类型从大的方面划分，一般分为户外直播和室内直播。
[0085] S302：除主播人物及户外相关道具所在目标场景区域以外的目标场景区域为弹幕显示区域；户外直播一般为主播求生类或活动展示类的直播类型，故主播人物及户外相关道具较为重要，因此将除主播人物及户外相关道具所在目标场景区域以外的目标场景区域为弹幕显示区域。
[0086] S303：除主播人物、显示器、键盘及鼠标所在目标场景区域以外的目标场景区域为弹幕显示区域。室内直播一般为游戏直播和才艺直播，因此主播人物、显示器、键盘及鼠标所在区域为能够完美展示主播操作的区域，因此将除主播人物、显示器、键盘及鼠标所在目标场景区域以外的目标场景区域为弹幕显示区域。
[0087] 可选地，在上述一种直播间弹幕显示系统对应的实施例的基础上，本发明实施例提供的一种直播间弹幕显示系统的第二个可选实施例中，当所述渲染模块将弹幕渲染于弹幕显示区域上，基于付费原则，以及弹幕文字内容与当前直播间直播内容相关原则，对弹幕进行打分，然后按照得分由高至低原则，得分高的弹幕优先渲染于弹幕显示区域上。
[0088] 本发明实施例的直播间弹幕显示系统，通过深度学习算法，对视频流的图像进行图像语义分割，形成多个不同目标场景区域，然后在目标场景区域中筛选出弹幕显示区域，在进行弹幕显示时，仅在弹幕显示区域进行弹幕显示，而弹幕显示区域为不对直播内容影响的区域，在满足用户对于直播和弹幕观看需求的同时，有效保证用户的使用体验。
[0089] 本发明不局限于上述实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围之内。本
说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
