视频处理方法、装置、设备及存储介质
阅读：606发布：2020-05-08
专利汇可以提供视频处理方法、装置、设备及存储介质专利检索，专利查询，专利分析的服务。并且本 申请 公开了一种视频处理方法、装置、设备及存储介质，属于计算机技术领域。所述方法包括：在网络直播的过程中，获取当前播放的多媒体文件的描述信息以及该多媒体文件的内容文字图像；获取该内容文字图像中内容文字所在区域的目标 像素 值；根据该目标像素值将该描述信息 叠加 于直播视频之上，并将该内容文字图像叠加于该直播视频之上，得到叠加后的直播视频，其中，该叠加后的直播视频中该描述信息所在区域的像素值与该目标像素值相同。本申请 实施例 提供的技术方案能够在一定程度上提高网络直播的灵活性和智能性。，下面是视频处理方法、装置、设备及存储介质专利的具体信息内容。
1.一种视频处理方法，其特征在于，所述方法包括：
在网络直播的过程中，获取当前播放的多媒体文件的描述信息以及所述多媒体文件的内容文字图像；
获取所述内容文字图像中内容文字所在区域的目标像素值；
根据所述目标像素值将所述描述信息叠加于直播视频之上，并将所述内容文字图像叠加于所述直播视频之上，得到叠加后的直播视频，其中，所述叠加后的直播视频中所述描述信息所在区域的像素值与所述目标像素值相同。
2.根据权利要求1所述的方法，其特征在于，所述获取所述内容文字图像中内容文字所在区域的目标像素值，包括：
对所述内容文字图像进行截取处理，得到待检测的图像区域；
当所述图像区域的像素特征满足预设像素特征时，将所述图像区域的像素值作为所述目标像素值。
3.根据权利要求2所述的方法，其特征在于，所述对所述内容文字图像进行截取处理，包括：
利用滑窗算法从所述内容文字图像中依次截取图像区域；
当截取到的图像区域的像素特征满足所述预设像素特征时，停止对所述内容文字图像进行截取处理。
4.根据权利要求3所述的方法，其特征在于，所述所述利用滑窗算法从所述内容文字图像中依次截取图像区域，包括：
利用滑窗算法，按照预设滑窗方向从所述内容文字图像中截取图像区域；其中，所述预设滑窗方向为由所述内容文字图像中未播放内容文字所在的区域指向已播放内容文字所在的区域的方向。
5.根据权利要求2至4任一所述的方法，其特征在于，所述当所述图像区域的像素特征满足预设像素特征时，将所述图像区域的像素值作为所述目标像素值之前，所述方法还包括：
判断所述图像区域是否包括背景像素并判断所述图像区域是否包括边界像素，所述背景像素为所述内容文字图像中背景所在区域内的像素，所述边界像素为所述内容文字图像中内容文字的轮廓所在区域内的像素；
若所述图像区域不包括所述背景像素，且不包括所述边界像素，则确定所述图像区域的像素特征满足所述预设像素特征。
6.根据权利要求5所述的方法，其特征在于，所述判断所述图像区域是否包括背景像素并判断所述图像区域是否包括边界像素，包括：
判断所述图像区域是否包括所述背景像素；
若所述图像区域不包括所述背景像素，判断所述图像区域是否包括所述边界像素。
7.根据权利要求5所述的方法，其特征在于，所述内容文字图像中背景所在区域为透明区域，所述判断所述图像区域是否包括背景像素，包括：
判断所述图像区域包括的像素中是否存在A颜色通道对应的子像素值为0的像素；
若所述图像区域包括的像素中不存在A颜色通道对应的子像素值为0的像素，确定所述图像区域不包括所述背景像素。
8.根据权利要求5所述的方法，其特征在于，所述判断所述图像区域是否包括边界像素，包括：
判断所述图像区域包括的各个像素的像素值之间的差异是否小于预设差异阈值；
若所述图像区域包括的各个像素的像素值之间的差异小于所述预设差异阈值，确定所述图像区域不包括所述边界像素。
9.根据权利要求2至4任一所述的方法，其特征在于，所述将所述图像区域的像素值作为所述目标像素值，包括：
将所述图像区域包括的各个像素的像素值的平均值作为所述目标像素值；或者，将所述图像区域包括的任一像素的像素值作为所述目标像素值。
10.一种视频处理装置，其特征在于，所述装置包括：
第一获取模块，用于在网络直播的过程中，获取当前播放的多媒体文件的描述信息以及所述多媒体文件的内容文字图像；
第二获取模块，用于获取所述内容文字图像中内容文字所在区域的目标像素值；
叠加模块，用于根据所述目标像素值将所述描述信息叠加于直播视频之上，并将所述内容文字图像叠加于所述直播视频之上，得到叠加后的直播视频，其中，所述叠加后的直播视频中所述描述信息所在区域的像素值与所述目标像素值相同。
11.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至9任一所述的视频处理方法。
12.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至9任一所述的视频处理方法。
视频处理方法、装置、设备及存储介质
技术领域
[0001] 本申请涉及计算机技术领域，特别是涉及一种视频处理方法、装置、设备及存储介质。
背景技术
[0002] 当前，网络直播在人们的日常生活中已经越来越常见了，所谓网络直播指的是通过网络进行的视频直播。实际应用中，在网络直播过程中为直播观众播放歌曲的网络直播形式越来越普遍，为了提升播放歌曲这一网络直播形式的直播效果，许多网络直播应用都提供了歌词捕捉功能，其具体是捕捉歌曲的歌词图像以及歌曲曲名，并将其分别叠加展示于直播视频之上。
[0004] 然而，通常情况下，主播往往需要进行较长时间以及较多次的像素值调整，因此，其灵活性和智能性较差。发明内容
[0005] 基于此，本申请实施例提供了一种视频处理方法、装置、设备及存储介质，可以提高网络直播的灵活性和智能性。
[0006] 第一方面，提供了一种视频处理方法，该方法包括：
[0007] 在网络直播的过程中，获取当前播放的多媒体文件的描述信息以及该多媒体文件的内容文字图像；获取该内容文字图像中内容文字所在区域的目标像素值；根据该目标像素值将该描述信息叠加于直播视频之上，并将该内容文字图像叠加于该直播视频之上，得到叠加后的直播视频，其中，该叠加后的直播视频中该描述信息所在区域的像素值与该目标像素值相同。
[0008] 在其中一个实施例中，获取该内容文字图像中内容文字所在区域的目标像素值，包括：
[0009] 对该内容文字图像进行截取处理，得到待检测的图像区域；当该图像区域的像素特征满足预设像素特征时，将该图像区域的像素值作为该目标像素值。
[0010] 在其中一个实施例中，对该内容文字图像进行截取处理，包括：
[0012] 在其中一个实施例中，该利用滑窗算法从该内容文字图像中依次截取图像区域，包括：
[0013] 利用滑窗算法，按照预设滑窗方向从该内容文字图像中截取图像区域；其中，该预设滑窗方向为由该内容文字图像中未播放内容文字所在的区域指向已播放内容文字所在的区域的方向。
[0014] 在其中一个实施例中，当该图像区域的像素特征满足预设像素特征时，将该图像区域的像素值作为该目标像素值之前，该方法还包括：
[0015] 判断该图像区域是否包括背景像素并判断该图像区域是否包括边界像素，该背景像素为该内容文字图像中背景所在区域内的像素，该边界像素为该内容文字图像中内容文字的轮廓所在区域内的像素；若该图像区域不包括该背景像素，且不包括该边界像素，则确定该图像区域的像素特征满足该预设像素特征。
[0016] 在其中一个实施例中，判断该图像区域是否包括背景像素并判断该图像区域是否包括边界像素，包括：
[0017] 判断该图像区域是否包括该背景像素；若该图像区域不包括该背景像素，判断该图像区域是否包括该边界像素。
[0018] 在其中一个实施例中，该内容文字图像中背景所在区域为透明区域，判断该图像区域是否包括背景像素，包括：
[0019] 判断该图像区域包括的像素中是否存在A颜色通道对应的子像素值为0的像素；若该图像区域包括的像素中不存在A颜色通道对应的子像素值为0的像素，确定该图像区域不包括该背景像素。
[0020] 在其中一个实施例中，判断该图像区域是否包括边界像素，包括：
[0021] 判断该图像区域包括的各个像素的像素值之间的差异是否小于预设差异阈值；若该图像区域包括的各个像素的像素值之间的差异小于该预设差异阈值，确定该图像区域不包括该边界像素。
[0022] 在其中一个实施例中，将该图像区域的像素值作为该目标像素值，包括：
[0023] 将该图像区域包括的各个像素的像素值的平均值作为该目标像素值；或者，将该图像区域包括的任一像素的像素值作为该目标像素值。
[0024] 第二方面，提供了一种视频处理装置，该装置包括：
[0025] 第一获取模块，用于在网络直播的过程中，获取当前播放的多媒体文件的描述信息以及该多媒体文件的内容文字图像；
[0026] 第二获取模块，用于获取该内容文字图像中内容文字所在区域的目标像素值；
[0027] 叠加模块，用于根据该目标像素值将该描述信息叠加于直播视频之上，并将该内容文字图像叠加于该直播视频之上，得到叠加后的直播视频，其中，该叠加后的直播视频中该描述信息所在区域的像素值与该目标像素值相同。
[0028] 在其中一个实施例中，该第二获取模块包括截取处理子模块和像素确定子模块；
[0029] 该截取处理子模块，用于对该内容文字图像进行截取处理，得到待检测的图像区域；
[0030] 该像素确定子模块，用于在该图像区域的像素特征满足预设像素特征时，将该图像区域的像素值作为该目标像素值。
[0031] 在其中一个实施例中，该截取处理子模块，具体用于：
[0032] 利用滑窗算法从该内容文字图像中依次截取图像区域；当截取到的图像区域的像素特征满足该预设像素特征时，停止对该内容文字图像进行截取处理。
[0033] 在其中一个实施例中，该截取处理子模块，具体用于：
[0034] 利用滑窗算法，按照预设滑窗方向从该内容文字图像中截取图像区域；其中，该预设滑窗方向为由该内容文字图像中未播放内容文字所在的区域指向已播放内容文字所在的区域的方向。
[0035] 在其中一个实施例中，该装置还包括判断模块；
[0036] 其中，该判断模块，用于判断该图像区域是否包括背景像素并判断该图像区域是否包括边界像素，该背景像素为该内容文字图像中背景所在区域内的像素，该边界像素为该内容文字图像中内容文字的轮廓所在区域内的像素；若该图像区域不包括该背景像素，且不包括该边界像素，则确定该图像区域的像素特征满足该预设像素特征。
[0037] 在其中一个实施例中，该判断模块，具体用于：
[0038] 判断该图像区域是否包括该背景像素；若该图像区域不包括该背景像素，判断该图像区域是否包括该边界像素。
[0039] 在其中一个实施例中，该内容文字图像中背景所在区域为透明区域，该判断模块，具体用于：
[0040] 判断该图像区域包括的像素中是否存在A颜色通道对应的子像素值为0的像素；若该图像区域包括的像素中不存在A颜色通道对应的子像素值为0的像素，确定该图像区域不包括该背景像素。
[0041] 在其中一个实施例中，该判断模块，具体用于：判断该图像区域包括的各个像素的像素值之间的差异是否小于预设差异阈值；若该图像区域包括的各个像素的像素值之间的差异小于该预设差异阈值，确定该图像区域不包括该边界像素。
[0042] 在其中一个实施例中，该像素确定子模块，具体用于：将该图像区域包括的各个像素的像素值的平均值作为该目标像素值；或者，将该图像区域包括的任一像素的像素值作为该目标像素值。
[0044] 第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面任一所述的视频处理方法。
[0045] 本申请实施例提供的技术方案带来的有益效果至少包括：
[0046] 通过在网络直播的过程中，获取当前播放的多媒体文件的描述信息以及该多媒体文件的内容文字图像，而后，获取该内容文字图像中内容文字所在区域的目标像素值，接着，根据该目标像素值将该描述信息以及内容文字图像叠加于直播视频之上，得到叠加后的直播视频，使得叠加后的直播视频中该描述信息所在区域的像素值与该目标像素值相同，这样，就可以自动地对直播视频中描述信息的像素值进行调整，使其与内容文字图像中内容文字的像素值保持一致，从而保证直播视频的美观程度，由于不需要由主播进行手动的像素值调整，因此，可以提高网络直播的灵活性以及智能性。附图说明
[0048] 图2为本申请实施例提供的一种实施环境的示意图；
[0049] 图3为本申请实施例提供的一种视频处理方法的流程图；
[0050] 图4为本申请实施例提供的一种内容文字图像的示意图；
[0051] 图5为本申请实施例提供的一种获取内容文字图像中内容文字所在区域的目标像素值的方法的流程图；
[0052] 图6为本申请实施例提供的一种从内容文字图像中截取到的图像区域的示意图；
[0053] 图7为本申请实施例提供的一种内容位子图像的示意图；
[0054] 图8为本申请实施例提供的一种判断图像区域的像素特征是否满足预设像素特征的方法的流程图；
[0055] 图9为本申请实施例提供的一种视频处理装置的框图；
[0056] 图10为本申请实施例提供的另一种视频处理装置的框图；
[0057] 图11为本申请实施例提供的一种计算机设备的框图。
具体实施方式
[0058] 为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0059] 网络直播指的是通过网络进行的视频直播。在网络直播过程中，主播所持有的终端(下文称其为主播终端)可以对主播进行拍摄，以得到直播视频，而后，主播终端可以向直播服务器发送该直播视频，直播服务器在接收到直播视频之后，可以将该直播视频分发至直播观众所持有的终端(下文称其为观众终端)，以供直播观众进行观看。
[0060] 随着网络直播的发展，网络直播形式也在不断地推陈出新。当前，在网络直播过程中为直播观众播放歌曲的网络直播形式已经越来越常见了。在这种直播形式中，主播可以开启主播终端中安装的音乐播放应用，并通过音乐播放应用播放歌曲，音乐播放应用播放的歌曲经过主播终端的拾音器拾取之后，可以成为直播视频所包含的音频内容，并随着直播视频通过直播服务器分发至观众终端，以供直播观众进行收听。
[0061] 为了提升在网络直播过程中为直播观众播放歌曲的这一网络直播形式的直播效果，许多网络直播应用都提供了歌词捕捉功能。该歌词捕捉功能支持在音乐播放应用的桌面歌词显示功能开启之后，对当前播放歌曲的桌面歌词图像进行捕捉，同时，该歌词捕捉功能还支持在音乐播放应用的音乐播放界面的预设位置处捕捉歌曲曲名，此外，该歌词捕捉功能还支持将捕捉到的桌面歌词图像以及歌曲曲名分别叠加展示于直播视频之上。这样，直播观众在收听歌曲的同时还可以观看歌曲的歌词以及歌曲曲名。
[0062] 图1所示为一种示例性的叠加有桌面歌词图像以及歌曲曲名的直播视频中的一个视频帧的示意图。如图1所示，在该视频帧中包括主播ZZ，该直播视频帧中叠加有桌面歌词图像01以及歌曲曲名02。
[0063] 实际应用中，直播视频中的歌曲曲名的像素值与桌面歌词图像中歌词的像素值通常并不统一，以图1所示为例，在图1中，桌面歌词图像01中的歌词的颜色可以为蓝色，而歌曲曲名02的颜色可以为黄色。
[0064] 出现这种现象的原因是：桌面歌词图像中歌词的像素值是由音乐播放应用设定的，而利用歌词捕捉功能所捕捉到的歌曲曲名是文字，其在直播视频中的像素值是由网络直播应用设定的，由于直播视频中歌曲曲名的像素值以及桌面歌词图像中歌词的像素值分别是由不同的应用进行设定的，故而其像素值一般并不统一，而这会影响直播视频的美观程度。
[0065] 为了提升直播视频的美观程度，主播一般需要对直播视频中歌曲曲名的像素值手动进行调整，以使直播视频中歌曲曲名的像素值与桌面歌词图像中歌词的像素值一致。
[0066] 然而，由于主播只能通过肉眼观察的方式确定桌面歌词图像中歌词的像素值，并通过肉眼比对的方式对直播视频中歌曲曲名的像素值进行手动调整，因此，主播往往需要进行较长时间以及较多次的像素值调整，才能使直播视频中歌曲曲名的像素值与桌面歌词图像中歌词的像素值一致，甚至于，在较长时间以及较多次的像素值调整之后，主播都难以使直播视频中歌曲曲名的像素值与桌面歌词图像中歌词的像素值完全一致，这无疑会影响网络直播的灵活性以及智能性。
[0067] 有鉴于此，本申请实施例提供了一种视频处理方法，通过该视频处理方法，可以使直播视频中歌曲曲名的像素值与桌面歌词图像中歌词的像素值自动保持一致，而不需要由主播手动对直播视频中歌曲曲名的像素值进行调整，因此，其可以在一定程度上提高网络直播的灵活性以及智能性。
[0068] 下面，将对本申请实施例提供的视频处理方法所涉及到的实施环境进行简要说明。
[0069] 如图2所示，该实施环境可以包括主播终端201、直播服务器202和至少一个观众终端203(为了简化图示，图2中仅示出了一个观众终端203)。其中，主播终端201可以通过有线或无线网络连接将直播视频发送至直播服务器202，直播服务器202在接收到该直播视频之后，可以通过有线或无线网络连接将该直播视频分发至该至少一个观众终端203，以供直播观众对直播视频进行观看。
[0070] 在本申请的一个实施例中，该主播终端201中可以安装有多媒体播放应用，例如，该多媒体播放应用可以为音乐播放应用。在网络直播的过程中，该主播终端201可以在主播的控制下通过多媒体播放应用播放多媒体文件，例如，该多媒体文件可以为歌曲文件。
[0071] 在主播终端201通过多媒体播放应用播放多媒体文件的过程中，可以由主播终端201或者直播服务器202执行本申请实施例提供的视频处理方法。
[0072] 其中，主播终端可以为智能手机、平板电脑以及台式电脑等，直播服务器可以为一台服务器，也可以为由多台服务器组成的服务器集群。
[0073] 请参考图3，其示出了本申请实施例提供的一种视频处理方法的流程图，如上文所述，该视频处理方法可以应用于图2所示实施环境中的主播终端201或者直播服务器202中，本申请实施例仅以该视频处理方法应用于主播终端为例进行说明，该视频处理方法应用于直播服务器时所涉及到的技术过程与视频处理方法应用于主播终端时所涉及到的技术过程同理，本申请实施例在此不再赘述。如图3所示，该视频处理方法可以包括以下步骤：
[0074] 步骤301、在网络直播的过程中，主播终端获取当前播放的多媒体文件的描述信息以及该多媒体文件的内容文字图像。
[0075] 如上文所述，主播终端中可以安装有多媒体播放应用，作为一种网络直播形式，在网络直播的过程中，主播终端可以通过自身中安装的多媒体播放应用为直播观众播放多媒体文件。其中，该多媒体文件可以是主播终端本地存储的文件，也可以是流媒体文件。此外，该多媒体文件可以是视频文件，也可以是音频文件，例如，该多媒体文件可以为歌曲文件、相声文件或者有声书文件等。
[0076] 在播放多媒体文件的过程中，主播终端可以获取当前所播放的多媒体文件的描述信息以及内容文字图像。
[0077] 其中，多媒体文件的描述信息可以为对该多媒体文件进行整体性描述的文字信息，例如，多媒体文件的描述信息可以为多媒体文件的名称，以多媒体文件为歌曲文件为例，多媒体文件的描述信息可以为歌曲曲名和歌曲的歌手名中的至少一个。
[0078] 多媒体文件的内容文字图像可以为多媒体文件所对应的内容文字的图像，所谓多媒体文件对应的内容文字指的可以是用来描述多媒体文件所包含的内容的文字，例如，对于视频文件而言，其对应的内容文字可以为字幕文字，对于相声文件而言，其对应的内容文字可以为相声演员的台词文字，对于有声书文件而言，其对应的内容文字可以为有声书对应的实体书籍中的文字，对于歌曲文件而言，其对应的内容文字可以为歌词。
[0079] 在实际应用中，主播终端可以在多媒体播放应用的播放界面的预设位置处获取该多媒体文件的描述信息，例如，如上文所述，主播终端可以在音乐播放应用的音乐播放界面的预设位置处获取歌曲曲名。
[0080] 此外，在多媒体播放应用将多媒体文件对应的内容文字投放于主播终端的桌面上的情况下，该主播终端可以对自身桌面上包括内容文字的区域进行截取处理，从而得到多媒体文件的内容文字图像，在多媒体文件为歌曲文件的情况下，主播终端可以按照这种方式获取歌曲文件的桌面歌词图像。
[0081] 步骤302、主播终端获取内容文字图像中内容文字所在区域的目标像素值。
[0082] 如上文所述，多媒体文件的内容文字图像为多媒体文件所对应的内容文字的图像，因此，该内容文字图像中包含多媒体文件所对应的内容文字。请参考图4，其为一种示例性的内容文字图像的示意图，其中，该内容文字图像为桌面歌词图像，如图4所示，该内容文字图像包括多媒体文件对应的内容文字(也即是歌词)，该内容文字为“就像流星坠落海底痛到心里”。在步骤302中，主播终端可以获取内容文字图像中内容文字所在区域的目标像素值。
[0083] 步骤303、主播终端根据目标像素值将描述信息叠加于直播视频之上，并将内容文字图像叠加于直播视频之上，得到叠加后的直播视频。
[0084] 其中，叠加后的直播视频中描述信息所在区域的像素值(也即是描述信息的像素值)与目标像素值相同。
[0085] 可选的，在本申请的一个实施例中，叠加后的直播视频中描述信息所在区域中每一像素的像素值可以均与目标像素值相同。
[0086] 可选的，在本申请的另一个实施例中，叠加后的直播视频中描述信息所在区域可以包括第一区域和第二区域，其中，第一区域可以位于第二区域的上方，或者，第一区域可以位于第二区域的下方，或者，第一区域可以位于第二区域的右侧，或者，第一区域可以可以位于第二区域的左侧，或者，第一区域可以被第二区域所包围。
[0087] 其中，第一区域中每一像素的像素值可以均与目标像素值相同，第二区域中像素的像素值可以为近似像素值，该近似像素值与目标像素值之间的差异可以小于预设像素值差异阈值。
[0088] 通过为描述信息所在区域中的第一区域和第二区域中的像素设置不同的像素值，可以使直播视频中的描述信息呈现出渐变的显示效果，从而进一步提升直播视频的美观程度。
[0089] 在本申请的一个可选的实施例中，得到叠加后的直播视频之后，主播终端可以将该叠加后的直播视频发送至直播服务器，以由直播服务器将该叠加后的直播视频分发至观众终端，以供直播观众观看。
[0090] 需要指出的是，在本申请实施例提供的视频处理方法应用于直播服务器的情况下，该直播服务器可以接收主播终端发送的直播视频、多媒体文件的描述信息以及多媒体文件的内容文字图像，而后，该直播服务器可以执行步骤302和步骤303的技术过程，从而得到叠加后的直播视频，而后，直播服务器可以将该叠加后的直播视频分发至观众终端，以供直播观众观看。
[0091] 本申请实施例提供的视频处理方法，通过在网络直播的过程中，获取当前播放的多媒体文件的描述信息以及该多媒体文件的内容文字图像，而后，获取该内容文字图像中内容文字所在区域的目标像素值，接着，根据该目标像素值将该描述信息以及内容文字图像叠加于直播视频之上，得到叠加后的直播视频，使得叠加后的直播视频中该描述信息所在区域的像素值与该目标像素值相同，这样，就可以自动地对直播视频中描述信息的像素值进行调整，使其与内容文字图像中内容文字的像素值保持一致，从而保证直播视频的美观程度，由于不需要由主播进行手动的像素值调整，因此，可以提高网络直播的灵活性以及智能性。
[0092] 请参考图5，在上文所述实施例的基础上，本申请实施例提供了一种获取内容文字图像中内容文字所在区域的目标像素值的方法，该方法可以包括以下步骤：
[0093] 步骤3021、主播终端对内容文字图像进行截取处理，得到待检测的图像区域。
[0094] 其中，这里的“图像区域”是该内容文字图像的一部分，且，该图像区域的面积小于内容文字图像的面积。请参考图6，其为从内容文字图像中截取到的图像区域Q的示意图。
[0095] 在一种可能的实现方式中，在对内容文字图像的单次截取处理中，主播终端可以截取得到多个图像区域，而后，主播终端可以判断该多个图像区域中是否存在像素特征满足预设像素特征的图像区域，若存在，主播终端可以针对该像素特征满足预设像素特征的图像区域执行步骤3022的技术过程，也即是，主播终端可以将该像素特征满足预设像素特征的图像区域的像素值作为目标像素值，若不存在，主播终端可以对内容文字图像进行下一次截取处理，直至截取处理得到的多个图像区域中存在像素特征满足预设像素特征的图像区域为止。
[0096] 在另一种可能的实现方式中，在对内容文字图像的单次截取处理中，主播终端可以截取得到一个图像区域，而后，主播终端可以判断截取到的该图像区域的像素特征是否满足预设像素特征，若满足，主播终端可以针对截取到的该图像区域执行步骤3022的技术过程，也即是，主播终端可以将截取到的该图像区域的像素值作为目标像素值，若不满足，主播终端可以对内容文字图像进行下一次截取处理，直至截取处理得到的图像区域的像素特征满足预设像素特征为止。
[0097] 其中，预设像素特征是技术人员对多个样本内容文字图像进行分析后得到的、样本内容文字图像中内容文字所在区域的像素特征。因此，在本申请实施例中，若从当前播放的多媒体文件的内容文字图像中截取到的图像区域的像素特征满足该预设像素特征，那么就说明，该图像区域位于当前播放的多媒体文件的内容文字图像中内容文字所在的区域，在这种情况下，就可以把该图像区域的像素值作为当前播放的多媒体文件的内容文字图像中内容文字所在区域的目标像素值。
[0098] 可选的，在对内容文字进行截取处理的过程中，主播终端可以对内容文字图像进行随机的截取，也可以按照一定的截取规则对内容文字图像进行截取。
[0099] 例如，在一种可能的实现方式中，主播终端可以利用滑窗算法从内容文字图像中依次截取图像区域，直至截取到的图像区域的像素特征满足该预设像素特征时，停止对内容文字图像进行截取处理。
[0100] 实际应用中，内容文字图像中通常可以包括未播放内容文字和已播放内容文字，所谓未播放内容文字指的是多媒体文件中未播放的部分所对应的内容文字，所谓已播放内容文字指的是多媒体文件中已播放的部分所对应的内容文字。
[0101] 以多媒体文件为歌曲文件，内容文字图像为桌面歌词图像为例，如图7所示，该桌面歌词图像包括歌词“就像流星坠落海底痛到心底”，其中，歌曲文件已经播放到歌手演唱至“就像流星坠落”处，则该桌面歌词图像中包括的“就像流星坠落”为已播放内容文字(也即是已播放歌词)，而该桌面歌词图像中包括的“海底痛到心底”为未播放内容文字(也即是未播放歌词)。
[0102] 通常情况下，为了清晰地区分未播放内容文字和已播放内容文字，多媒体播放应用可以为未播放内容文字和已播放内容文字设置不同的像素值。以图7所示的桌面歌词图像为例，“就像流星坠落”这一已播放内容文字的像素值可以为a，而“海底痛到心底”的像素值可以为b。
[0103] 通常情况下，令直播视频中描述信息的像素值与内容文字图像中未播放内容文字的像素值保持一致更加符合一般直播观众的审美习惯，因此，在本申请实施例中，可以将内容文字图像中未播放内容文字的像素值作为该目标像素值。
[0104] 在本申请实施例中，主播终端可以通过设置滑窗方向的方式实现“将内容文字图像中未播放内容文字的像素值作为该目标像素值”的目的。
[0105] 其中，主播终端设置的滑窗方向可以为由内容文字图像中未播放内容文字所在的区域指向已播放内容文字所在的区域的方向，例如，该滑窗方向可以为由下至上，由右至左的方向。这样，在滑窗过程中，主播终端可以优先在内容文字图像中未播放内容文字所在的区域中截取到图像区域，因此，就可以保证主播终端能够将内容文字图像中未播放内容文字的像素值作为目标像素值。
[0106] 步骤3022、当图像区域的像素特征满足预设像素特征时，主播终端将图像区域的像素值作为目标像素值。
[0107] 在一种可能的实现方式中，主播终端可以将图像区域包括的各个像素的像素值的平均值作为目标像素值。
[0108] 在另一种可能的实现方式中，主播终端可以将图像区域包括的任一像素的像素值作为目标像素值。
[0109] 请参考图8，在上文所述实施例的基础上，本申请实施例提供了一种判断图像区域的像素特征是否满足预设像素特征的方法，该方法可以包括以下步骤：
[0110] 步骤801、主播终端判断图像区域是否包括背景像素，并判断图像区域是否包括边界像素。
[0111] 在本申请实施例中，内容文字图像一般可以包括内容文字以及背景，其中，内容文字可以由内容文字的轮廓和内容文字的内部区域组成。请返回参考图4，在该图4中，“就像流星坠落海底痛到心里”中的黑色线条即为内容文字的轮廓，该黑色线条所围成的区域即为内容文字的内部区域，该黑色线条的外部即为内容文字图像的背景。
[0112] 在本申请实施例中，背景像素指的是内容文字图像中背景所在区域内的像素，边界像素指的是内容文字图像中内容文字的轮廓所在区域内的像素。
[0113] 通常情况下，内容文字图像中背景所在的区域为透明区域，因为只有这样，内容文字图像中的背景才不会对直播视频中的其他图像(例如主播图像)造成遮挡。考虑到这种情况，在本申请实施例中，主播终端可以按照下述方式判断图像区域是否包括背景像素：主播终端判断图像区域包括的像素中是否存在A颜色通道对应的子像素值为0的像素，若图像区域包括的像素中不存在A颜色通道对应的子像素值为0的像素，主播终端确定图像区域不包括背景像素，若图像区域包括的像素中存在A颜色通道对应的子像素值为0的像素，主播终端确定图像区域包括背景像素。
[0114] 其中，A颜色通道也可以被称为alpha颜色通道，其对应的子像素值可以表征像素的透明程度，其对应的子像素值的取值范围可以为0到100，在A颜色通道对应的子像素值为0时，像素完全透明，在A颜色通道对应的像素值为100时，像素完全不透明。
[0115] 因此，当图像区域包括的像素中存在A颜色通道对应的子像素值为0的像素时，说明该图像区域包括完全透明的像素，在这种情况下，主播终端可以确认该图像区域包括背景像素。
[0116] 另外，通常情况下，内容文字的轮廓和内容文字的内部区域的像素值会有所差异，令直播视频中描述信息的像素值与内容文字的内部区域的像素值保持一致能够更加提升直播视频的视觉一致性，其更加符合一般直播观众的审美习惯，因此，主播终端需要判断图像区域是否包括边界像素，只有在图像区域不包括边界像素的情况下，才确定该图像区域的像素特征满足预设像素特征，并将该图像区域的像素值确定为目标像素值。
[0117] 可选的，本申请实施例可以按照下述方式判断图像区域是否包括边界像素：主播终端判断图像区域包括的各个像素的像素值之间的差异是否小于预设差异阈值，若图像区域包括的各个像素的像素值之间的差异小于预设差异阈值，主播终端确定图像区域不包括边界像素，若图像区域包括的各个像素的像素值之间的差异大于等于预设差异阈值，主播终端确定图像区域包括边界像素。
[0118] 由于内容文字的轮廓和内容文字的内部区域的像素值不同，因此，当图像区域包括边界像素时，该图像区域包括的各个像素的像素值之间的差异较大，而当图像区域不包括边界像素时，该图像区域包括的各个像素的像素值之间的差异较小，因此，可以利用图像区域包括的各个像素的像素值之间的差异大小来判断图像区域是否包括边界像素。
[0119] 可选的，在本申请实施例中，主播终端是可以利用图像区域包括的各个像素的像素值的标准差来表征图像区域包括的各个像素的像素值之间的差异。在本申请的一个可选的实施例中，若图像区域包括的各个像素的像素值的标准差小于10，主播终端确定图像区域不包括边界像素，若图像区域包括的各个像素的像素值的标准差大于等于10，主播终端确定图像区域包括边界像素。
[0120] 在本申请实施例中，主播终端可以按照预设的判断顺序执行步骤801，例如，主播终端可以先判断图像区域是否包括背景像素，若图像区域不包括背景像素，则主播终端可以判断图像区域是否包括边界像素，若图像区域包括背景像素，则主播终端可以确定图像区域的像素特征不满足预设像素特征。
[0121] 步骤802、若图像区域不包括背景像素，且不包括边界像素，主播终端确定图像区域的像素特征满足预设像素特征。
[0122] 请参考图9，其示出了本申请实施例提供的一种视频处理装置900的框图，该视频处理装置900可以配置于上文所述的主播终端或者直播服务器中。如图9所示，该视频处理装置900可以包括：第一获取模块901、第二获取模块902和叠加模块903。
[0123] 其中，该第一获取模块901，用于在网络直播的过程中，获取当前播放的多媒体文件的描述信息以及该多媒体文件的内容文字图像。
[0124] 该第二获取模块902，用于获取该内容文字图像中内容文字所在区域的目标像素值。
[0125] 该叠加模块903，用于根据该目标像素值将该描述信息叠加于直播视频之上，并将该内容文字图像叠加于该直播视频之上，得到叠加后的直播视频，其中，该叠加后的直播视频中描述信息所在区域的像素值与该目标像素值相同。
[0126] 在本申请的一个实施例中，该第二获取模块902包括截取处理子模块和像素确定子模块；
[0127] 该截取处理子模块，用于对该内容文字图像进行截取处理，得到待检测的图像区域；
[0128] 该像素确定子模块，用于在该图像区域的像素特征满足预设像素特征时，将该图像区域的像素值作为该目标像素值。
[0129] 在本申请的一个实施例中，该截取处理子模块，具体用于：
[0130] 利用滑窗算法从该内容文字图像中依次截取图像区域；当截取到的图像区域的像素特征满足该预设像素特征时，停止对该内容文字图像进行截取处理。
[0131] 在本申请的一个实施例中，该截取处理子模块，具体用于：
[0132] 利用滑窗算法，按照预设滑窗方向从该内容文字图像中截取图像区域；其中，该预设滑窗方向为由该内容文字图像中未播放内容文字所在的区域指向已播放内容文字所在的区域的方向。
[0133] 在本申请的一个实施例中，该像素确定子模块，具体用于：将该图像区域包括的各个像素的像素值的平均值作为该目标像素值；或者，将该图像区域包括的任一像素的像素值作为该目标像素值。
[0134] 请参考图10，本申请实施例还提供了另外一种视频处理装置1000，该视频处理装置1000除了包括视频处理装置900包括的各模块外，可选的，该视频处理装置1000还可以包括判断模块904。
[0135] 该判断模块904，用于判断该图像区域是否包括背景像素并判断该图像区域是否包括边界像素，该背景像素为该内容文字图像中背景所在区域内的像素，该边界像素为该内容文字图像中内容文字的轮廓所在区域内的像素；若该图像区域不包括该背景像素，且不包括该边界像素，则确定该图像区域的像素特征满足该预设像素特征。
[0136] 在本申请的一个实施例中，该判断模块904，具体用于：判断该图像区域是否包括该背景像素；若该图像区域不包括该背景像素，判断该图像区域是否包括该边界像素。
[0137] 在本申请的一个实施例中，该内容文字图像中背景所在区域为透明区域，该判断模块904，具体用于：判断该图像区域包括的像素中是否存在A颜色通道对应的子像素值为0的像素；若该图像区域包括的像素中不存在A颜色通道对应的子像素值为0的像素，确定该图像区域不包括该背景像素。
[0138] 在本申请的一个实施例中，该判断模块904，具体用于：判断该图像区域包括的各个像素的像素值之间的差异是否小于预设差异阈值；若该图像区域包括的各个像素的像素值之间的差异小于该预设差异阈值，确定该图像区域不包括该边界像素。
[0139] 本申请实施例提供的视频处理装置，可以实现上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0140] 关于视频处理装置的具体限定可以参见上文中对于视频处理方法的限定，在此不再赘述。上述视频处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0141] 在本申请的一个实施例中，提供了一种计算机设备，该计算机设备可以为终端或者服务器，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器和存储器。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机程序被处理器执行时以实现一种视频处理方法。
[0142] 本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0143] 在本申请的一个实施例中，提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
[0144] 在网络直播的过程中，获取当前播放的多媒体文件的描述信息以及该多媒体文件的内容文字图像；获取该内容文字图像中内容文字所在区域的目标像素值；根据该目标像素值将该描述信息叠加于直播视频之上，并将该内容文字图像叠加于该直播视频之上，得到叠加后的直播视频，其中，该叠加后的直播视频中该描述信息所在区域的像素值与该目标像素值相同。
[0145] 在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：对该内容文字图像进行截取处理，得到待检测的图像区域；当该图像区域的像素特征满足预设像素特征时，将该图像区域的像素值作为该目标像素值。
[0146] 在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：利用滑窗算法从该内容文字图像中依次截取图像区域；当截取到的图像区域的像素特征满足该预设像素特征时，停止对该内容文字图像进行截取处理。
[0147] 在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：利用滑窗算法，按照预设滑窗方向从该内容文字图像中截取图像区域；其中，该预设滑窗方向为由该内容文字图像中未播放内容文字所在的区域指向已播放内容文字所在的区域的方向。
[0148] 在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：判断该图像区域是否包括背景像素并判断该图像区域是否包括边界像素，该背景像素为该内容文字图像中背景所在区域内的像素，该边界像素为该内容文字图像中内容文字的轮廓所在区域内的像素；若该图像区域不包括该背景像素，且不包括该边界像素，则确定该图像区域的像素特征满足该预设像素特征。
[0149] 在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：判断该图像区域是否包括该背景像素；若该图像区域不包括该背景像素，判断该图像区域是否包括该边界像素。
[0150] 该内容文字图像中背景所在区域为透明区域，在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：判断该图像区域包括的像素中是否存在A颜色通道对应的子像素值为0的像素；若该图像区域包括的像素中不存在A颜色通道对应的子像素值为0的像素，确定该图像区域不包括该背景像素。
[0151] 在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：判断该图像区域包括的各个像素的像素值之间的差异是否小于预设差异阈值；若该图像区域包括的各个像素的像素值之间的差异小于该预设差异阈值，确定该图像区域不包括该边界像素。
[0152] 在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：将该图像区域包括的各个像素的像素值的平均值作为该目标像素值；或者，将该图像区域包括的任一像素的像素值作为该目标像素值。
[0153] 本申请实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
[0154] 在本申请的一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0155] 在网络直播的过程中，获取当前播放的多媒体文件的描述信息以及该多媒体文件的内容文字图像；获取该内容文字图像中内容文字所在区域的目标像素值；根据该目标像素值将该描述信息叠加于直播视频之上，并将该内容文字图像叠加于该直播视频之上，得到叠加后的直播视频，其中，该叠加后的直播视频中该描述信息所在区域的像素值与该目标像素值相同。
[0156] 在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：对该内容文字图像进行截取处理，得到待检测的图像区域；当该图像区域的像素特征满足预设像素特征时，将该图像区域的像素值作为该目标像素值。
[0157] 在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：利用滑窗算法从该内容文字图像中依次截取图像区域；当截取到的图像区域的像素特征满足该预设像素特征时，停止对该内容文字图像进行截取处理。
[0158] 在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：利用滑窗算法，按照预设滑窗方向从该内容文字图像中截取图像区域；其中，该预设滑窗方向为由该内容文字图像中未播放内容文字所在的区域指向已播放内容文字所在的区域的方向。
[0159] 在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：判断该图像区域是否包括背景像素并判断该图像区域是否包括边界像素，该背景像素为该内容文字图像中背景所在区域内的像素，该边界像素为该内容文字图像中内容文字的轮廓所在区域内的像素；若该图像区域不包括该背景像素，且不包括该边界像素，则确定该图像区域的像素特征满足该预设像素特征。
[0160] 在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：判断该图像区域是否包括该背景像素；若该图像区域不包括该背景像素，判断该图像区域是否包括该边界像素。
[0161] 该内容文字图像中背景所在区域为透明区域，在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：判断该图像区域包括的像素中是否存在A颜色通道对应的子像素值为0的像素；若该图像区域包括的像素中不存在A颜色通道对应的子像素值为0的像素，确定该图像区域不包括该背景像素。
[0162] 在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：判断该图像区域包括的各个像素的像素值之间的差异是否小于预设差异阈值；若该图像区域包括的各个像素的像素值之间的差异小于该预设差异阈值，确定该图像区域不包括该边界像素。
[0163] 在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：将该图像区域包括的各个像素的像素值的平均值作为该目标像素值；或者，将该图像区域包括的任一像素的像素值作为该目标像素值。
[0164] 本实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
[0165] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
[0166] 以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 图像曝光装置 | 2020-05-08 | 936 |
| 一种像素采集电路及图像传感器 | 2020-05-08 | 510 |
| 一种显示装置 | 2020-05-11 | 922 |
| 指纹检测装置和电子设备 | 2020-05-08 | 928 |
| 图像曝光装置及图像曝光方法 | 2020-05-08 | 907 |
| 一种视频监控测试仪 | 2020-05-08 | 107 |
| 有机发光显示装置及其制造方法 | 2020-05-11 | 432 |
| 有机发光显示装置 | 2020-05-08 | 384 |
| 显示面板及移动终端 | 2020-05-11 | 18 |
| 固态摄像元件、制造方法和电子设备 | 2020-05-08 | 371 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈