首页 / 专利库 / 脚踏车和非动力车辆 / 上管 / 管理上传的内容

管理上传的内容

阅读:280发布:2020-05-11

专利汇可以提供管理上传的内容专利检索,专利查询,专利分析的服务。并且视频 服务器 接收上传的视频并且确定该视频是否包含第三方内容以及上传的视频的哪些部分匹配第三方内容。视频服务器确定是否使匹配部分退化和/或如何(例如,程度、类型)这样做。视频服务器将匹配部分与上传的视频中的原创部分分离并且通过应用诸如压缩、边缘失真、时间失真、噪声添加、色彩失真、或音频失真的效果来生成匹配内容的退化版本。视频服务器将退化的部分与原创部分组合来输出上传的视频的退化版本。视频服务器存储和/或分发上传的视频的退化版本。视频服务器可以向上传用户供应关于用户可以接受以使退化撤销的内容拥有者的 许可 条款。,下面是管理上传的内容专利的具体信息内容。

1.一种用于处理上传的视频的计算机实现的方法,所述方法由一个或多个处理器执行并且包括:
从上传用户的客户端设备接收上传的视频,所述上传的视频包括原创内容和第三方内容的组合;
响应于从所述上传的视频的包含所述第三方内容的匹配部分所生成的数字概要与从所述第三方内容所生成的数字概要之间的匹配,识别所述匹配部分;
识别所述视频的包含所述原创内容的原创部分;
通过以下操作来生成退化视频:
通过将质量降低应用到所述匹配部分来生成所述匹配部分的退化版本;以及利用所述匹配部分的所述退化版本替换所述匹配部分来生成所述退化视频,所述退化视频包括所述原创部分和所述匹配部分的所述退化版本;以及
响应于查看所述上传的视频的请求,存储所述退化视频以用于分发到请求用户的客户端设备。
2.根据权利要求1所述的方法,其中,所述原创内容包括原创视频场景并且所述匹配部分包括匹配所述第三方内容的视频场景,并且其中,生成所述退化视频包括:
通过将质量降低应用到所述匹配视频场景中的视频来生成退化视频场景;以及通过将所述原创视频场景与所述退化视频场景组合来生成所述退化视频。
3.根据权利要求1所述的方法,其中,所述匹配部分包括具有匹配所述第三方内容的显示区域的视频场景,所述匹配显示区域与所述视频场景中的原创显示区域相接,并且其中,生成所述退化视频包括:
通过将质量降低应用到所述视频场景中的所述匹配显示区域来生成所述匹配显示区域的退化版本;
通过将所述原创显示区域与所述匹配显示区域的所述退化版本组合来生成退化场景;
以及
通过利用所述退化场景替换所述上传视频中的所述场景来生成所述退化视频。
4.根据权利要求1所述的方法,其中,所述匹配部分包括匹配所述第三方内容的视频场景,并且其中,生成所述退化视频包括:
识别所述匹配视频场景内的帧的包含感兴趣对象的子区域;
通过利用所识别的子区域的退化版本替换所识别的子区域来生成退化帧;以及通过将所述退化帧与所述原创内容组合来生成所述退化视频。
5.根据任何前述权利要求所述的方法,其中,所述匹配部分包括在所述上传的视频内出现的匹配音频部分,并且其中,生成所述退化视频包括:
通过将音频质量降低应用到所述匹配音频部分来生成退化音频部分;以及通过利用所述退化音频部分替换所述上传的视频中的所述匹配音频部分来生成所述退化视频。
6.根据任何前述权利要求所述的方法,其中,生成所述匹配部分的所述退化版本包括:
基于所述匹配部分中的变化量来确定质量降低参数;以及
将所述质量降低应用到所述匹配部分,所述质量降低的程度对应于所确定的质量降低参数。
7.根据权利要求1至5中的任一项所述的方法,其中,生成所述匹配部分的所述退化版本包括:
基于每个视频帧中的变化量,确定均与所述匹配部分内的视频帧的序列中的视频帧相对应的多个质量降低参数;以及
将所述质量降低应用到每个视频帧,每个帧的质量降低的程度对应于对于每个视频帧所确定的质量降低参数。
8.根据任何前述权利要求所述的方法,其中,生成所述匹配部分的所述退化版本包括:
根据被指派给所述上传的视频的类别来确定所述匹配部分的质量降低的类型;以及将所确定的类型的质量降低应用到所述匹配部分。
9.根据任何前述权利要求所述的方法,其中,生成所述退化视频包括:
识别所述上传的视频内的所述第三方内容的内容拥有者;
访问所述内容拥有者的关于所述第三方内容的使用的使用策略;以及
响应于所述使用策略指定当所述第三方内容存在于其它方的视频中时所述第三方内容的退化,生成所述退化视频。
10.根据权利要求9所述的方法,其中,生成所述退化视频包括:
访问由所述内容拥有者的所述使用策略所指定的质量降低参数;以及
根据经访问的质量降低参数来将所述质量降低应用到所述匹配部分。
11.一种非暂态计算机可读存储介质,包括用于处理上传的视频的指令,所述指令能够由处理器执行以执行步骤,所述步骤包括:
从上传用户的客户端设备接收上传的视频,所述上传的视频包括原创内容和第三方内容的组合;
响应于从所述上传的视频的包含所述第三方内容的所述匹配部分所生成的数字概要与从所述第三方内容所生成的数字概要之间的匹配,识别所述匹配部分;
识别所述视频的包含所述原创内容的原创部分;
通过以下操作来生成退化视频:
通过将质量降低应用到所述匹配部分来生成所述匹配部分的退化版本;以及利用所述匹配部分的所述退化版本替换所述匹配部分来生成所述退化视频,所述退化视频包括所述原创部分和所述匹配部分的所述退化版本;以及
响应于查看所述上传的视频的请求,存储所述退化视频以用于分发到请求用户的客户端设备。
12.根据权利要求11所述的存储介质,其中,所述原创内容包括原创视频场景并且所述匹配部分包括匹配所述第三方内容的视频场景,并且其中,生成所述退化视频包括:
通过将质量降低应用到所述匹配视频场景中的视频帧来生成退化视频场景;以及通过将所述原创视频场景与所述退化视频场景组合来生成所述退化视频。
13.根据权利要求11所述的存储介质,其中,所述匹配部分包括具有匹配所述第三方内容的显示区域的视频场景,所述匹配显示区域与所述视频场景中的原创显示区域相接,并且其中,生成所述退化视频包括:
通过将质量降低应用到所述视频场景中的所述匹配显示区域来生成所述匹配显示区域的退化版本;
通过将所述原创显示区域与所述匹配显示区域的所述退化版本组合来生成退化场景;
以及
通过利用所述退化场景替换所述上传视频中的所述场景来生成所述退化视频。
14.根据权利要求11所述的存储介质,其中,所述匹配部分包括匹配所述第三方内容的视频场景,并且其中,生成所述退化视频包括:
识别所述匹配视频场景内的帧的包含感兴趣对象的子区域;
通过利用所识别的子区域的退化版本替换所识别的子区域来生成退化帧;以及通过将所述退化帧与所述原创内容组合来生成所述退化视频。
15.根据权利要求11至14中的任一项所述的存储介质,其中,所述匹配部分包括在所述上传的视频内出现的匹配音频部分,并且其中,生成所述退化视频包括:
通过将音频质量降低应用到所述匹配音频部分来生成退化音频部分;以及通过利用所述退化音频部分替换所述上传的视频中的所述匹配音频部分来生成所述退化视频。
16.根据权利要求11至15中的任一项所述的存储介质,其中,生成所述匹配部分的所述退化版本包括:
基于所述匹配部分中的变化量来确定质量降低参数;以及
将所述质量降低应用到所述匹配部分,所述质量降低的程度对应于所确定的质量降低参数。
17.根据权利要求11至15中的任一项所述的存储介质,其中,生成所述匹配部分的所述退化版本包括:
基于每个视频帧中的变化量,确定多个质量降低参数,每个质量降低参数均与所述匹配部分内的视频帧的序列中的一个视频帧相对应;以及
将所述质量降低应用到每个视频帧,每个帧的质量降低的程度对应于对于每个视频帧所确定的质量降低参数。
18.根据权利要求11至17中的任一项所述的存储介质,其中,生成所述匹配部分的所述退化版本包括:
根据被指派给所述上传的视频的类别来确定所述匹配部分的质量降低的类型;以及将所确定的类型的质量降低应用到所述匹配部分。
19.根据权利要求11至18中的任一项所述的存储介质,其中,生成所述退化视频包括:
识别所述上传的视频内的所述第三方内容的内容拥有者;
访问所述内容拥有者的关于所述第三方内容的使用的使用策略;以及
响应于所述使用策略指定当所述第三方内容存在于其它方的视频中时所述第三方内容的退化,生成所述退化视频。
20.一种用于处理上传的视频的系统,所述系统包括:
处理器;
非暂态计算机可读存储介质,包括能够由所述处理器执行以实行步骤的指令,所述步骤包括:
从上传用户的客户端设备接收上传的视频,所述上传的视频包括原创内容和第三方内容的组合;
响应于从所述上传的视频的包含所述第三方内容的所述匹配部分所生成的数字概要与从所述第三方内容所生成的数字概要之间的匹配,识别所述匹配部分;
识别所述视频的包含所述原创内容的原创部分;
通过以下操作来生成退化视频:
通过将质量降低应用到所述匹配部分来生成所述匹配部分的退化版本;以及利用所述匹配部分的所述退化版本替换所述匹配部分来生成所述退化视频,所述退化视频包括所述原创部分和所述匹配部分的所述退化版本;以及
响应于查看所述上传的视频的请求,存储所述退化视频以用于分发到请求用户的客户端设备。

说明书全文

管理上传的内容

背景技术

[0001] 本公开大体涉及视频处理的领域,并且具体涉及例如在服务器处接收和管理从用户的客户端设备上传的视频和/或其它内容。发明内容
[0002] 考虑视频服务器,其允许用户上传其它用户可以上传视频,然后其他用户可以通过使用客户端设备访问在该视频服务器上托管的已上传视频来观看所述视频。一些用户可以上传包含由他人先前创建并且为视频服务器已知并且上传用户典型地不具有内容权限的内容。当上传用户将这样的第三方内容与原创内容组合为单个视频或其它内容项时,组合的视频中的原创内容的存在使上传的视频是否包含第三方内容的确定复杂化。
[0003] 因此,提供用于由用户上传的视频和/或其它内容的经改进的管理或处理的方法和装置将是期望的。
[0004] 本发明的实施例提供存储视频、音频、图像、动画和/或其它内容的视频服务器。视频服务器存储在一些情况下通过客户端设备所上传的内容,并且向通过客户端设备请求内容的用户派发该内容。视频服务器还可以存储从内容拥有者——诸如制片公司、唱片公司或发布者——获取的内容。当用户上传内容——诸如包括第三方具有内容权限的内容的视频时,视频服务器检测该第三方内容并且使所检测到的内容退化。第三方内容的一些示例部分包括从另一个的视频复制的场景、从另一个的图像复制的图像内的区域、从另一个的视频复制的视频的序列内的区域、或从另一个的音频或视频复制的音频。
[0005] 当视频服务器接收上传的视频时,视频服务器确定视频是否包含第三方内容以及上传的视频的哪些部分构成该内容。基于内容拥有者策略或缺省策略,视频服务器确定是否并且如何使视频的属于该第三方内容的一部分退化。例如,策略可以指定内容退化的类型或程度。视频服务器将匹配的第三方部分与任何原创部分分离并且通过应用诸如压缩、边缘失真、时间失真、噪声添加、色彩失真、或音频失真的效果来生成匹配内容的退化版本。视频服务器将退化的匹配部分与非匹配部分组合来输出视频的退化版本。视频服务器分发上传的视频的退化版本来代替原始版本。
[0006] 所公开的实施例包括计算机实现的方法、系统和非暂态计算机可读介质。所公开的实施例可以适于任何内容,包括视频、音频、图像、动画、和其它媒体。本发明内容和以下描述中所描述的特征和优点并非全部包括性的,并且特别地许多附加的特征和优点将鉴于附图说明书、和权利要求书而是明显的。而且,应该注意的是,在说明书中所使用的语言已经主要出于可读性和教学来选择,并且可能并未选择以描绘或限制所公开的主题。

附图说明

[0007] 所公开的实施例具有其它优点和特征,其根据具体实施方式和附图将更容易变得显而易见。下面是附图的简要介绍。
[0008] 图1是根据实施例的用于呈现视频或其它媒体的联网计算环境的框图
[0009] 图2是根据实施例的示例内容识别器的框图。
[0010] 图3是根据实施例的示例内容退化器的框图。
[0011] 图4是根据实施例的,图示用于处理包含第三方内容的上传的视频的示例过程的流程图
[0012] 图5是根据实施例的,图示检测第三方内容并且利用第三方布置许可的过程的交互图。
[0013] 图6是根据一个实施例的,图示可用于实现内容共享环境的实体的示例计算机的高级框图。

具体实施方式

[0014] 附图和以下描述仅通过图示给出特定实施例。应该注意的是,本文所公开的结构和方法的以下讨论、替选实施例将容易地被视为在不脱离权利要求书的原理的情况下可以采用的可行的替选方案。
[0015] 现在将详细参考若干实施例,其中的示例被图示在附图中。应注意到,任何地方可实践的类似或相同附图标记可以被使用在附图中并且可以指示类似或相同的功能。附图仅出于图示的目的描绘了所公开的系统(或方法)的实施例。在不脱离本文所描述的原理的情况下,可以采用本文所图示的结构和方法的替选实施例。
[0016] 图1图示了根据一个实施例的,用于呈现视频或其它媒体的联网环境的框图。联网环境的实体包括客户端设备110、网络120和视频服务器130。虽然图示了实体的单个实例,但是可以存在多个实例。例如,与多个用户相关联的多个客户端设备110将内容上传到视频服务器130,并且其它客户端设备110请求并且呈现来自视频服务器130的内容。实体的功能可以被分布在多个实例当中。例如,地理分散的位置处的服务器的内容分发网络实现增加服务器响应性并且降低内容加载时间的视频服务器130。
[0017] 客户端设备110是通过网络120访问视频服务器130的计算设备。通过访问视频服务器130,客户端设备110可以实现浏览并且呈现来自视频服务器130的内容以及将内容上传到视频服务器130的用户请求。内容(或媒体)指代信息的电子分发的表示并且包括视频、音频、图像、动画和/或文本。可以由用户、由计算机、由另一实体、或由其组合生成内容。视频是随时间所呈现的视频帧(即,图像)的集合并且可以包括用于与视频帧并发呈现的音频。呈现内容指代客户端设备110使用与客户端设备110整合或通信地耦合到其的输出设备(例如,显示器或扬声器)播放或显示内容。
[0018] 视频服务器130可以对客户端设备110发送由用户所请求或对于用户所推荐的内容的预览。内容预览包括例如缩略图、内容的标题、和内容的播放持续时间。客户端设备110检测来自用户的输入以选择内容预览中的一个并且从视频服务器130请求对应的内容以用于呈现。
[0019] 客户端设备110可以是关于图6下文进一步描述的计算机。示例客户端设备110包括台式计算机、膝上型计算机、平板计算机、移动设备、智能电视和可穿戴设备。客户端设备110可以包含软件,诸如用于呈现来自视频服务器130的内容的客户端设备110的操作系统本原的web浏览器或应用。客户端设备110可以包括软件——诸如视频播放器、音频播放器或动画播放器——以支持内容的呈现。
[0020] 视频服务器130存储在一些情况下通过客户端设备110所上传的内容,并且向通过客户端设备110请求内容的用户派发内容。视频服务器130还可以存储从内容拥有者——诸如制片公司、唱片公司、或发布者获得的内容。内容拥有者指代有权控制内容的分发的实体。例如,上传原创内容的用户典型地是内容拥有者。当用户上传包括由另一用户拥有的内容(我们此处还被称为第三方内容)的内容时,视频服务器130检测包括的内容并且将策略(例如,移除、退化)应用到包括的内容。第三方内容的示例部分包括从另一个的视频复制的场景、从另一个的图像复制的图像内的区域、从另一个的视频复制的视频帧的序列内的区域、或从另一个的音频或视频复制的音频。
[0021] 视频服务器130可以提供用于内容拥有者配置关于包括内容拥有者的视频的内容匹配部分的视频的视频服务器策略的接口。例如,内容拥有者能够配置允许其它用户在没有限制的情况下上传匹配内容的策略或指令视频服务器130移除匹配内容或使其质量退化的策略。内容策略还可以指定上传用户可以接受以使匹配内容的移除或退化撤销的许可条款。许可条款指代关于准许匹配内容的分发并且可以涉及货币报偿的内容拥有者的约定。为了应用适当的策略,视频服务器130确定匹配内容的拥有者并且访问由内容拥有者设置的相关策略(或如果内容拥有者尚未配置策略,则访问缺省策略)。
[0022] 网络120实现通过一个或多个局域网和/或广域网连接到其的实体间的通信。网络120(例如,互联网)可以使用标准和/或定制有线和/或无线通信技术和/或协议。通过网络
120交换的数据能够被加密或者解密。网络120可以包括将客户端设备110和视频服务器130连接的多个子网络。网络120可以包括使用地理分布的数据中心来降低用于由视频服务器
130发送和接收的内容的传输时间的内容分发网络。
[0023] 在一个实施例中,视频服务器130包括诸如内容存储131、帐户存储133、用户界面134、内容识别器135、内容退化器137和web服务器139的模块。所图示的组件的功能可以被分布(全部或部分)在模块的不同的配置当中。一些所描述的功能可以是可选的;例如,在一个实施例中视频服务器130不包括帐户存储133。虽然在本文中所描述的许多实施例描述视频中的第三方内容的退化,但是在本文中所描述的原理还可以适于音频、图像、动画或任何其它内容中的第三方内容的退化。
[0024] 视频服务器130将媒体存储在内容存储131中。内容存储131可以是包含均与视频和描述视频的其它信息相对应的条目的数据库。数据库是被存储在一个或多个非暂态计算机可读介质上的数据的有组织集合。数据库包括跨无论被定位在单个数据中心还是多个地理分散的数据中心内的多个计算机存储的数据。数据库根据一个或多个数据库模型——诸如关系模型、层次模型、或者网络数据模型——存储、组织和操纵数据。
[0025] 内容存储131中的视频的条目可以包括视频自身(例如,视频帧和/或伴随的音频)或指向存储视频的另一条目的指针(例如,存储器地址、统一资源标识符(URI)、网际协议(IP)地址)。内容存储131中的条目可以包括相关联的元数据,其是视频的性质并且可以指示视频的来源(例如,上传者名称、上传者用户标识符)和/或属性(例如,视频标识符、标题、描述、文件大小、文件类型、帧速率分辨率、上传日期、包括内容的频道)。元数据还可以指示视频是否包括匹配由除上传者之外的实体拥有的内容的任何部分。在这样的情况中,视频的条目可以包括匹配原创视频的标识符和/或拥有者的帐户的标识符。视频的条目还可以使用时间范围、视频帧索引、像素范围、位范围、或指向内容的部分的其它指针来标识匹配部分。
[0026] 帐户存储133包含视频服务器用户和内容拥有者的帐户简档。帐户存储133可以将帐户简档作为条目存储在数据库中。帐户简档包括由帐户的用户提供到视频服务器的信息,包括用户标识符、访问凭证、和用户偏好。帐户简档可以包括由用户上传或呈现给用户的内容的历史,以及描述用户如何与这样的内容交互的记录。在帐户存储133包含由用户所提供的个人信息的范围内,用户的帐户简档包括由用户建立以控制由视频服务器130对个人信息的使用和共享的隐私设置。
[0027] 内容拥有者的帐户简档包括视频服务器130如何处理包括由内容拥有者拥有的内容的上传的视频的使用策略。使用策略可以指定是否使上传的视频的、匹配内容拥有者的内容的一部分退化。退化可以指代视频相对于初始地上传版本的可理解性和美学质量中的部分降低——例如通过压缩。在一些实施例中,退化可以包括质量中的完全降低——诸如从视频移除匹配场景、使匹配音频静音、或以单个颜色替换包含匹配内容的显示区域。使用策略可以指示退化的程度(例如,压缩量)或退化的类型。
[0028] 用户界面模块134生成图形用户界面,用户通过客户端设备110上的软件和输入设备(例如,触摸屏鼠标)与该图形用户界面交互。用户界面通过web服务器139被提供到客户端设备110,其与呈现用户界面的客户端设备110的软件通信。通过该用户界面,用户访问包括浏览、体验和上传视频的视频服务器功能。用户界面可以包括呈现内容的媒体播放器(例如,视频播放器、音频播放器、图像查看器)。用户界面模块134可以显示与视频相关联并且从内容存储131所检索的元数据。示例所显示的元数据包括标题、上传日期、上传用户的标识符、和内容归类。用户界面模块134可以生成供内容拥有者配置帐户存储133中的使用策略的分离的界面。
[0029] 内容识别器135识别匹配来自上传的视频的内容的部分。所识别的部分可以是例如视频中的、与显示另一用户的视频的电视显示器相对应的显示区域。内容识别器135从上传的视频的各部分获得数字概要并且将数字概要与其它内容的数字概要的数据库相比较。数字概要可以是指纹(即,内容的精简表示)、印(即,由内容创建者或分发者插入内容中的可察觉或不可察觉的标记)或从内容所提取的用于支持识别的任何其它精简信息。
[0030] 对于音频、视频或其它基于时间的内容而言,内容识别器135可以将内容分段为不同的时间部分(例如,根据两个连续的视频帧之间的像素值中的大改变或音频特性的移动平均)。内容识别器135从该时间部分生成数字概要并且识别数字概要(如果有的话)中的哪一个匹配数字概要的数据库。如果一部分具有匹配另一数字概要的数字概要,则内容识别器135将该部分标记为匹配部分并且将其与第三方内容的标识符(或指向第三方内容的指针)相关联。
[0031] 内容识别器135还可以识别视频帧内的包含匹配内容的部分。内容识别器135识别在多个帧内的具有一致的显示区域的多个连续的视频帧。基于显示区域内的内容,内容识别器135生成该部分的数字概要并且将该数字概要与数字概要的数据库相比较来确定视频的部分是否包括匹配内容。关于图2更详细地描述了内容识别器135。
[0032] 内容退化器137获得包含第三方内容的上传的视频并且使上传的视频的匹配部分退化。内容退化指代任何质量上的降低,其指退化的视频的副本传达存在于上传的视频中的信息和感知体验的程度。内容退化器137可以通过降低视频的帧速率、位速率、分辨率和/或文件大小来降低视频的质量。然而,内容退化器137还可以应用不必降低视频的文件大小但是相反使视频的语义可理解性降低或失真的质量降低(例如,通过模糊边缘或通过改变图像颜色或音频音高)。内容退化器137可以基于内容拥有者的使用策略或基于指派给视频的类别来选择一种或多种类型的退化以应用。内容退化器137还可以确定根据视频的内容或内容拥有者的使用策略来控制退化的程度或水平的质量降低参数。
[0033] web服务器139经由网络120将视频服务器130链接到客户端设备110。web服务器139派发网页,以及其它内容诸如 XML等。web服务器139可以从一个或
多个客户端设备110接收上传的内容项。此外,web服务器139传输来自用于呈现内容并且用于处理来自客户端设备110的用户的接收到的输入的用户界面模块134的指令。此外,web服务器139可以提供将数据直接地发送到客户端设备的操作系统——诸如 ANDROIDTM或 ——本原的应用的应用编程接口(API)功能。
[0034] 图2是根据实施例的示例内容识别器135的框图。内容识别器135包括分段模块201、运动模块202、区域模块204、概要模块206、搜索模块208和概要存储212。可以通过比本文所描述的那些模块附加的、不同的或更少的模块提供内容识别器135的功能。
[0035] 为了识别存在于视频的部分中的第三方内容,分段模块201将上传的视频分为场景(即,跨视频的一部分的一个或多个视频帧的序列)。为了检测整个场景的复制,概要模块206创建场景的数字概要(以及来自视频的数字概要作为整体),并且搜索模块208搜索概要存储212来确定视频或其场景中的任一个是否匹配其它视频中的内容。
[0036] 为了检测一个或多个视频帧内的匹配视频内容和原创视频内容的组合,内容识别器135使用运动模块202和区域模块204识别帧内的可能包含匹配内容的显示区域。概要模块206生成所识别的显示区域内的内容的数字概要。概要模块206可以从视频的所有帧上面或由分段模块201所识别的场景内的帧上面的显示区域生成数字概要。搜索模块208搜索概要存储212以确定所识别的一个或多个显示区域内的内容是否匹配其它视频中的内容。
[0037] 为了识别视频的音频的匹配部分,分段模块201将上传的音频分为轨道(即,跨越视频的一部分的音频样本的序列)。分段模块210可以依赖于音频的特性或还可以使用对于伴随音频的视频所确定的场景划分,如果有的话。概要模块206生成轨道的数字概要(以及视频的音频的数字概要作为整体),并且搜索模块208搜索概要存储212来确定音频或其轨道中的任一个是否匹配任何第三方音频。现在更详细地描述了每个模块的操作。
[0038] 分段模块201接收上传的视频并且将视频分为一个或多个基于时间的分段——诸如场景(来自视频的帧)和轨道(来自视频的音频)。分段模块201识别内容中的时间上的突然改变来确定分段边界。例如,分段边界可以在视频帧与音频样本之间出现。
[0039] 为了识别分段边界,分段模块201确定视频的帧和/或音频样本上面的内容特性(即,视频的一部分的聚合性质)。基于连续的视频部分之间的内容特性中的变化(或变化率),分段模块201确定分段边界。例如,分段模块201将连续的视频部分之间的内容特性中的变化(或变化率)与阈值相比较并且如果变化(或变化率)等于或超过阈值变化(或阈值变化率)则确定分段边界。
[0040] 视频帧之间的内容特性中的示例变化包括两个帧之间的总逐像素差或者帧内的平均像素值之间的差。可以对于像素的颜色通道(例如,RGB(红、绿、蓝)、YUV(亮度色度))、或像素的颜色通道的概要(例如,亮度或跨越通道的另一总体黑/白灰度值)中的一个或多个来计算差。例如,分段模块201确定每个帧的平均R、G和B像素值的移动平均(或中心趋势的其它度量)并且响应于移动平均的变化率超过分段边界处的阈值而确定场景之间的分段边界。其它示例内容特性包括帧中所检测到的对象(例如,线、形状、边缘、、面)。如果帧中所检测到的对象的集合包含小于与下一帧共同的对象的阈值数目或比例,则分段模块201可以识别帧之间的分段边界。分段模块201可以通过将运动向量应用到一个帧中的对象(如由运动模块202所确定的)来确定下一帧中的预测的对象位置并且然后确定下一帧是否包含预测的对象位置中的匹配对象来确定帧之间共同的对象的数目。
[0041] 音频的内容特性包括在音频样本之前和/或之后的时间段中的音高的清单(例如,基于傅里叶分析)、韵律谱(例如,基于自相关)、或音色轮廓(例如,基于美尔频率倒谱系数(MFCC))。分段模块201可以基于在样本之前和/或之后阈值数目的音频样本内的音调的清单来推断音调模式(例如,大调全音阶或小调全音阶、五声音阶)。类似地,分段模块201可以根据在样本之前和/或之后阈值时间内的韵律谱来确定样本的韵律计(例如,时间签名)。分段模块201响应于识别音频特性中的偏移——诸如音高清单、韵律谱、音色廓线、音调模式、或韵律计中的偏移,确定轨道之间的分段边界。
[0042] 分段模块201输出在所识别的分段边界之间出现的低层级分段的集合。分段模块201还可以通过组合临时相邻的低层级分段输出一系列高层级(例如,在时间方面更长的)分段。基于两个相邻分段的总体内容特性的比较,分段模块201可以将它们合并为高层级分段。例如,两个低层级视频分段对应于具有一致的照明的场景内的不同的镜头,因此分段模块201响应于确定分段具有阈值差内的平均颜色通道值(在每个分段中的帧上面取平均的)而组合低层级分段。分段模块201输出低层级分段、包括一个或多个连续的低层级分段的高层级分段、和/或包括整个视频的总体分段。
[0043] 为了确定是否将分段组合为高层级分段,分段模块201可以基于两个相邻分段之间的各个内容特性中的差的加权组合来确定相似性得分。响应于相似性得分超过阈值得分,分段模块201将相邻分段组合为高层级分段。分段模块201还可以将分段组合为涵盖更多帧和/或音频样本的高层级分段。内容识别器135将由分段模块201输出的分段与由他人拥有的内容的数字概要相比较来确定分段中的任一个是否包含第三方内容。
[0044] 运动模块202确定量化视频分段中的角运动的运动向量并且从视频分段移除该角运动。运动模块202针对角运动(垂直、水平和/或圆周运动)中的变化来分析分段的视频帧。例如,角运动起因于相机角度变化或视频分段内的对象的运动。对视频帧的分析包括运动模块202,其将视频分段中的每个帧与在该分段中紧接在其之前的一个或多个帧相比较。运动模块202确定垂直、水平和/或圆周运动是否已在相对于一个或多个先前帧的所比较的帧中出现。如果在比较帧中识别垂直、水平和/或圆周运动,则运动模块202在比较帧上执行必要的垂直、水平和/或圆周平移来移除角运动。基于包括角运动的视频帧的平移,分段的每个帧看起来已由固定相机记录。
[0045] 区域模块204识别在分段中所捕获的显示区域。在运动模块202从视频分段移除角运动之后,区域模块204在分段期间分析分段以识别显示其它内容的显示区域。例如,显示区域对应于在用户生成的视频的创建期间显示第三方视频的回放的物理显示器。例如,显示区域可以对应于电视或监视器的显示/屏幕。显示区域被识别,使得其能够与分段的其它部分分离并且因此概要模块206可以生成表示显示区域中的内容而没有在显示区域外部所捕获的内容的数字概要。
[0046] 在一个实施例中,区域模块204识别显示区域的上、下、左和右边沿。为了识别上和下边沿,区域模块204从上到下(和/或从下到上)分析分段的每个帧并且识别边缘。这些边缘被称为水平候选边缘。
[0047] 对于每个水平候选边缘而言,区域模块204基于边缘的像素中的亮度的变化,将候选边缘分类为变化的或一致的。变化的边缘将具有边缘内的各种亮度,而一致的边缘将不具有边缘内的各种亮度。为了将水平候选边缘分类为变化的或一致的,区域模块204确定边缘的像素中的每个像素的亮度水平。基于像素的亮度水平,区域模块204计算边缘的像素的中值亮度值。区域模块204确定亮度水平在中值亮度的亮度阈值内(例如,在5个值内)的边缘中的像素的数目和其亮度水平不在中值的亮度阈值内的边缘像素的数目。
[0048] 在一个实施例中,如果具有中值(或中心趋势的其它度量)的亮度阈值内的亮度水平的像素的数目大于其亮度水平不在中值的阈值内的像素的数目,则区域模块204将边缘分类为一致的。否则,区域模块204将边缘分类为变化的。在另一实施例中,如果亮度水平不在中值的亮度阈值的像素的数目大于某个数目,则区域模块204将边缘分类为一致的。否则,区域模块204将边缘分类为变化的。
[0049] 对于每个水平候选边缘而言,区域模块204将给定的变化的/一致的分类与分段的帧中的每一个中的相同边缘相比较来合并分类。如果水平候选边缘被给定每个帧中的相同分类,则区域模块204将相同分类指派给边缘。例如,如果在每个帧中边缘被给定一致的分类,则区域模块204将一致的分类指派给该边缘。然而,如果给定到水平候选边缘的分类在不同的帧中变化,则区域模块204选择分类中的一个。在一个实施例中,区域模块204根据大多数分段的帧中的边缘的分类对边缘进行分类。例如,如果在大多数帧中边缘被分类为变化的,则该边缘被指派变化的分类。在一个实施例中,如果给定到边缘的分类在帧之间变化,则区域模块204指派缺省分类(例如,一致分类)。
[0050] 在另一实施例中,不同于识别每个帧中的每个水平候选边缘并且对每个帧中的每个边缘进行分类,区域模块204混合分段的帧以生成单个混合帧。区域模块204识别混合帧中的水平候选边缘并且将每个边缘分类为变化的或一致的。
[0051] 除将每个水平候选边缘分类为变化的或一致的,区域模块204还将每个水平候选边缘分类为稳定的或动态的。基于每个水平候选边缘的像素随时间的方差,每个水平候选边缘被分类为稳定的或动态的。动态边缘具有随时间改变的像素,然而稳定边缘不具有随时间改变的像素。
[0052] 对于每个水平候选边缘而言,区域模块204确定贯穿分段的帧的边缘的像素中的每个像素的方差。区域模块204确定方差小于方差阈值(例如,65的值)的边缘的像素的数目和方差大于方差阈值的像素的数目。在一个实施例中,如果具有小于方差阈值的方差的像素的数目大于具有方差阈值的方差的像素的数目,则区域模块204将水平候选边缘分类为稳定的。否则,区域模块204将边缘分类为动态的。在另一实施例中,如果具有小于方差阈值的方差的像素的数目大于某个数目,则区域模块204将水平候选边缘分类为稳定的。否则,区域模块204将边缘分类为动态的。
[0053] 基于水平候选边缘的分类,区域模块识别近似的上边沿和近似的下边沿。为了识别近似的上边沿,区域模块204在一个帧顶部开始(例如,第一帧或混合帧的零的Y值)并且在帧中向下进行直到其识别已被分类为变化和/或动态的水平候选边缘为止。区域模块204确定所识别的边缘是显示区域的开始,因为边缘具有亮度多样性(如果被分类为变化的)和/或随时间变化(如果被分类为动态的)。区域模块204确定紧接地在Y轴上的所识别的边缘上面/之前的水平候选边缘是近似的上边沿。
[0054] 区域模块204针对近似的下边沿执行相同过程但是在帧的底部开始并且向上进行直到其识别被分类为变化和/或动态的水平候选边缘为止。区域模块204确定紧接地在Y轴上的所识别的边缘下面的水平候选边缘作为近似的下边沿。区域模块204可以在近似的上边沿和近似的下边沿上执行霍夫变换来识别显示区域的实际的上边沿和下边沿。
[0055] 为了识别显示区域的垂直边沿,区域模块204将分段90的每个帧旋转90度。区域模块204重复被用于识别上和下边沿的过程以识别左和右边沿。换言之,区域模块204识别垂直候选边缘、将每个垂直候选边缘分类为变化的或一致的、将每个垂直候选边缘分类为稳定的或动态的、识别近似的左边沿和右边沿、并且在近似的边界上执行霍夫变换来识别左边沿和右边沿。
[0056] 区域模块204将所识别的上、下、左和右边沿互连。由互连的边沿包围的区域是在其中分段被显示在分段中的显示区域。
[0057] 在另一实施例中,不同于通过识别如上文所描述的边沿识别显示区域,区域模块204通过分析区域/地区内的运动和这些区域外部的运动来识别显示区域。在该实施例中,区域模块204识别分段的帧中的多个候选区域。对于每个候选区域而言,区域模块204分析各分段的帧的候选区域内的运动量和各帧的候选区域外部的运动量。区域模块204将具有区域内的运动但是有很少或没有区域外部的运动的候选区域选择为显示区域。
[0058] 在一个实施例中,为了选择候选区域,区域模块204针对每个候选区域确定候选得分,其是指示与区域外部的运动量相比较的候选区域内的运动量的度量。在一个实施例中,与候选区域外部相比较候选区域内的运动量越大,则候选得分越大。从多个候选区域,区域模块204将具有最大的候选得分的候选区域选择为显示区域。
[0059] 作为识别由分段模块201所识别的部分中的显示区域的一个替选方案,区域模块204识别贯穿上传的视频存在的一致的显示区域。分段模块201可以然后裁剪视频以移除该显示区域外部的内容并且然后识别裁剪的视频内的内容的分段。
[0060] 概要模块206针对内容部分创建数字概要,包括针对如由分段模块201所识别的视频和/或音频分段,以及如由区域模块204所识别的视频分段内的显示区域。例如,概要模块206创建场景的视频指纹或轨道的音频指纹。作为另一示例,概要模块206识别由内容的最初创建者插入复制的部分中的水印。
[0061] 概要模块206生成分段的音频、视频帧和分段内所识别的任何显示区域的数字概要。为了创建分段中的显示区域的数字概要,概要模块206识别分段的包括显示区域的每个帧。对于每个所识别的帧而言,概要模块206裁剪帧以从帧移除被包括在显示区域外部的内容。在一个实施例中,如果必要的话,概要模块206必要情况下还在显示区域上执行透视失真。
[0062] 概要模块206还可以通过使来自分段的帧一起模糊并且确定最大稳定极值域来生成分段的显示区域的概要。这导致概要模块206生成描述符的集合并且将描述符变换为局部量化特征。概要模块生成视觉项(visterm),其是均与来自局部量化特征的权重相关联的图像特性的离散表示。视觉项的权重被合计以产生数字概要。
[0063] 搜索模块208搜索概要存储212中的类似数字概要。概要存储212包括从上传到视频服务器130的视频所生成的数字概要。概要存储212还可以包括不可从视频服务器130访问的内容的数字概要。概要存储212可以包括内容项的多个数字概要,其中,不同的数字概要对应于内容项的不同的部分。被存储在概要存储212中的每个数字概要包括与数字概要相对应的内容的标识符和/或第三方内容的内容拥有者帐户的标识符。
[0064] 对于由概要模块206针对视频所创建的数字概要而言,搜索模块208搜索与所创建的数字概要类似的概要存储212中所存储的数字概要。搜索模块208识别与所创建的数字概要最类似的一定数目的数字概要(例如,一个或三个数字概要)。对于每个所识别的数字概要而言,搜索模块208确定对应的视频分段是否匹配与所识别的数字概要相对应的原创视频。搜索模块208将与所识别的数字概要的内容标识符相对应的标识符提供到内容退化器137。
[0065] 图3是根据实施例的示例内容退化器137的框图。内容退化器137包括策略分析器302、部分分离器303、部分退化器305和退化内容生成器314。可以通过比本文所描述的那些模块附加的、不同的或更少的模块提供内容退化器137的功能。
[0066] 内容退化器137接收包含通过内容识别器135被识别为匹配第三方内容的内容的一个或多个部分的视频。策略分析器302基于由匹配内容的拥有者设置的策略来确定是否使匹配内容退化。部分分离器303将用户生成的内容中的匹配部分与原创部分分离。部分退化器305将一个或多个退化效果应用到分离的部分。退化内容生成器314将退化的匹配部分与非匹配部分组合来输出用户生成的视频的退化版本。
[0067] 策略分析器302作为输入接收上传的视频、包含第三方内容的上传的视频的一个或多个部分的标识符、和第三方内容的一个或多个拥有者的标识符,例如,如由搜索模块208所确定的。策略分析器302通过访问内容拥有者的用户策略来确定待应用到匹配内容的一种或多种类型的退化。在视频包括匹配由不同的内容拥有者拥有的内容的不同的部分的情况下,策略分析器302访问内容拥有者的不同的策略,使得内容退化器137可以将适当的策略应用到每个不同地拥有的部分。例如,如果视频帧包括显示不同地拥有的第三方内容的多个显示区域,则策略分析器302确定不同的策略以应用到相应的显示区域。在一些实施例中,策略分析器302访问待应用到由尚未建立用户策略的实体拥有的第三方内容的缺省策略。
[0068] 策略分析器302可以根据内容拥有者的策略确定退化的类型或程度。例如,内容拥有者可以选择一个或多个退化效果——诸如压缩、失真、噪声添加、颜色修改、时间失真、或音频失真,如关于部分退化器305进一步描述的。替选地或者附加地,策略分析器302根据内容的性质——诸如与内容相关联的类别来确定退化的类型。例如,策略分析器302将压缩和噪声添加应用到极限运动视频并且将音频失真应用到喜剧视频。
[0069] 策略分析器302可以根据内容拥有者的策略来获得指示质量降低的程度的质量降低参数。例如,内容拥有者策略通过压缩指定退化并且指定质量降低参数——诸如压缩视频的位速率、帧速率或分辨率。可以动态地确定质量降低参数,如关于部分退化器305在下面进一步描述的。
[0070] 部分分离器303将匹配部分与上传的内容中的原创内容分离,从而保持原创内容以防后续退化。部分分离器303输出用于退化的匹配部分和用于与退化的匹配部分重新组合的原创部分。在匹配部分是被包括在上传的视频中的原创场景之间的复制的视频场景的情况下,部分分离器303将复制的视频场景与原创场景分离。如果匹配部分是包括匹配显示区域的视频部分,则部分分离器303识别包括显示区域的视频的帧。部分分离器303裁剪所识别的帧以仅包括显示区域中的像素并且将裁剪的所识别的帧输出为匹配部分。部分分离器303通过将不包括显示区域的帧与所识别的显示区域外部的所识别的帧的像素组合来输出原创部分。
[0071] 部分分离器303可以将匹配音频与原创音频分离。在匹配音频在原创音频之前和/或之后出现的情况下,部分分离器303可以根据由内容识别器135所确定的时间跨度或字节范围来将匹配音频与原创音频隔离。在匹配音频包括与时间跨度期间的原创音频组合的第三方音频的情况下,部分分离器303可以检索第三方音频的副本以用于与上传的音频比较。部分分离器303根据第三方音频与上传的音频之间的差异来生成原创音频的近似。部分分离器303然后输出用于退化的匹配音频和用于与退化音频重新组合的原创音频的近似。
[0072] 部分退化器305接收由部分分离器303隔离的匹配部分并且生成匹配部分的退化版本。部分退化器305根据可以是缺省值或可以由内容拥有者的策略指定的质量降低参数使匹配部分退化。在一些实施例中,部分退化器305根据存在于内容中的语义信息量来动态地确定质量降低参数。部分退化器305包括压缩器307、伪影生成器308、边缘失真器309、颜色失真器310、时间失真器311和音频失真器312以将一个或多个退化效果应用到匹配部分。
[0073] 压缩器307接收匹配部分并且将有损压缩应用到匹配部分以生成退化部分。压缩器307可以根据指示压缩参数——诸如压缩部分的帧速率、分辨率或位深度——的质量降低参数来压缩视频部分。压缩器307可以通过例如将视频重新转码到更低的帧速率、丢弃像素、应用低通滤波器、或执行像素值的局部空间平均以降低分辨率来压缩视频。压缩器307可以根据指示压缩参数——诸如采样率、位深度或位速率——的质量降低参数来压缩视频部分。压缩器307可以通过例如下采样、应用低通滤波器、或截断音频样本的位来压缩音频部分。
[0074] 在一些实施例中,压缩器307动态地根据匹配部分的内容来动态地确定压缩参数。在一个实施例中,根据指定待丢弃的信息的比例(例如,20%)的质量降低参数来确定压缩参数。压缩器307确定一个或多个压缩参数来实现丢弃的信息的比例。例如,压缩器307将频率变换应用到匹配部分并且确定各种频率分量中的信息的比例。压缩器307然后确定截止频率分量,其中,大于截止频率分量的频率分量对应于待丢弃的指定比例的信息。压缩器
307然后应用具有截止频率分量的低通滤波器以丢弃指定比例的信息。
[0075] 在一个实施例中,压缩器307响应于检测到子部分中的感兴趣对象,动态地将压缩应用到匹配部分的子部分。对于匹配视频部分而言,压缩器307确定感兴趣对象的位置——诸如面部、文章或文本。压缩器307可以使用各种计算机视觉技术(例如,边缘匹配、几何散列、解释树)识别感兴趣对象。压缩器307确定基本上覆盖感兴趣对象的子部分并且然后对子部分进行压缩。对于匹配音频部分而言,压缩器307可以确定语音或其它语义上有意义的内容的时间位置。该压缩器确定包括与感兴趣音频相同时间范围中的音频的子部分的子部分并且然后对该子部分中的音频进行压缩。例如,取决于内容拥有者偏好,可以在比匹配部分的剩余部分更大的程度或更小的程度上对包含感兴趣内容的子部分进行压缩拥有。
[0076] 伪影生成器308接收匹配部分并且通过将一个或多个伪影添加到匹配部分来使其退化。被添加到视频的示例伪影包括文本、图像(例如,水印、徽标)或动画。伪影可以被添加到各帧或者可以持续多个帧。例如,伪影是原创内容创建者的徽标。伪影生成器308可以根据指示伪影性质——诸如类型、大小或位置的质量降低参数来创建伪影。例如,内容拥有者将伪影指定为占据匹配内容的中间三分之一的半透明的绿水滴。伪影可以是包括由内容拥有者指定的指针的交互性元素。当交互性元件被选择时,客户端设备110检索用于使用指针呈现的内容。
[0077] 伪影生成器308还可以生成音频伪影。该伪影可以是与匹配部分混合的音频伪影(例如,声效果、音乐、文本转语音)。音频伪影可以是缺省音频文件、从内容拥有者接收到的文件、或动态生成的文件。例如,伪影生成器308从随机噪声(例如,白噪声)或从以随机间隔出现的声效果来生成音频伪影。音频伪影的示例伪影参数包括:匹配音频和伪影音频的音量之间的相对混合水平,或者包括音频伪影的匹配音频的比例。
[0078] 伪影生成器308可以识别包含感兴趣内容的匹配内容的子部分,如关于压缩器307上文所解释的。伪影生成器308可以选择性地插入伪影以模糊感兴趣内容(例如,利用徽标替换面部)或保留感兴趣内容(例如,在包含感兴趣内容的子部分外部添加的白噪声)。为了使语义可理解性部分地退化,伪影生成器308可以将伪影添加到包含感兴趣对象的子部分的一部分。
[0079] 边缘失真器309接收匹配部分并且通过使该匹配部分中的边缘失真来使匹配部分退化。例如,边缘失真器309通过将高斯模糊、带通滤波器、带阻滤波器应用到匹配部分使视频的边缘模糊。类似地,边缘失真器309可以通过应用这些技术中的任一个来降低音频的脆度(crispness)。可以根据质量降低参数——诸如高斯模糊半径或一个或多个带阻或带通截止频率——来使边缘失真。
[0080] 在一些实施例中,边缘失真器309可以检测视频的匹配部分中的边缘(例如,使用Canny边缘检测、微分边缘检测)并且选择性地修改该边缘。边缘失真器309通过重要性得分(例如,通过沿着每个边缘的对对比度取平均、通过每个边缘的长度)对边缘进行排名并且根据该排名修改边缘的子集。作为识别边缘的一部分,边缘失真器309可以识别对象(如上文所描述的)并且然后识别那些对象的边缘。为了修改边缘,边缘失真器309可以应用效果,诸如改变边缘的厚度、选择性地使边缘模糊以降低对比度、添加伪影或修改颜色或边缘效果。边缘失真器309根据所选择的边缘的性质来确定质量降低参数。例如,边缘失真器309确定与沿着所检测的边缘的对比度成正比的高斯模糊半径。
[0081] 颜色失真器310接收匹配视频部分并且通过修改匹配部分中的颜色使该匹配部分退化。颜色失真器310可以应用将颜色从视频的一个或多个初始颜色通道映射到一个或多个经修改的颜色通道的颜色变换。例如,颜色失真器310将视频从彩色(两个或两个以上初始通道)转换为灰度级(一个经修改的通道)。作为另一示例,颜色失真器310使匹配部分的颜色反转。颜色失真器310可以通过丢弃颜色通道消除颜色信息。例如,颜色失真器310消除红色和绿色通道以仅留下蓝色通道,或者颜色失真器310消除Y(强度)和U(第一色度)通道以仅留下V(第二色度)通道。
[0082] 颜色通道之间的变换可以被表示为输入通道的一个或多个加权组合,其中,权重对应于由内容拥有者所指定的质量降低参数。在一些实施例中,颜色失真器310根据对匹配部分的分析来动态地确定颜色变换的权重。例如,颜色失真器310确定被包含在每个颜色通道中的信息量(例如,根据主成分分析所确定的)并且确定将总信息降低指定比例的权重。例如,颜色失真器310丢弃包含最少信息的颜色通道(通过将该颜色通道的权重设置为零)。
[0083] 在一个实施例中,颜色失真器310选择性地修改图像的子部分的颜色。颜色失真器310可以识别包含感兴趣对象的子部分(如上文所描述的)并且修改子部分内的颜色。颜色失真器310可以通过修改以所检测的边缘为边界的感兴趣对象内的颜色来选择性地修改对象的颜色。利用所检测的边缘,颜色失真器可以利用单个颜色替换具有类似颜色(即,阈值内的颜色值)的区域,从而向该区域应用卡通效果。
[0084] 时间失真器311将时间失真效果应用到匹配部分。时间失真器311可以通过应用慢动作效果或快进效果使视频失真。为了应用慢动作效果,时间失真器311在匹配部分的帧之间内插视频帧。类似地,为了应用快进效果,时间失真器311减少匹配部分中的帧。时间失真器311可以通过在不修改音频样本的回放速率的情况下对音频上采样或下采样来使该视频失真。该效果提供缓慢或快速的效果并且还修改音高。时间失真的程度通过质量降低参数——诸如回放速率确定,其是匹配部分的原始回放持续时间与失真的回放持续时间的比例。时间失真器311可以将时间失真应用到包含感兴趣部分的匹配内容的子部分或整个匹配部分。
[0085] 音频失真器312将音频失真效果应用到匹配音频部分。音频失真器312可以应用音频失真效果——诸如音高位移、音色修改、或音量失真。例如,音频失真器312通过将频率变换应用到音频、将频率乘以音高失真因子、并且应用反变换以生成失真的频率来修改匹配音频的音高(音调)。作为另一示例,音频失真器312通过修改与主频率的泛音相对应的频率应用音色修改。音频失真器可以将音频失真效果应用到音频的包含感兴趣部分的子部分或应用到整个匹配部分。
[0086] 退化内容生成器314从部分退化器305接收退化的内容部分并且从部分分离器接收原创内容部分。退化内容生成器将退化的内容部分与原创内容部分组合来生成上传的内容的退化版本。在匹配部分是视频场景的情况下,在维护来自存在于上传的内容中的原创场景和匹配场景的帧的相对顺序的同时,退化内容生成器314将匹配场景与原创场境组合。
[0087] 在匹配部分是视频场景内的显示区域的情况下,退化内容生成器314从视频场景获得包含匹配显示区域的帧。退化内容生成器314生成退化的视频帧以通过将显示区域的退化版本与显示区域外部的原创内容组合来替换这些帧。退化的视频帧然后被组合(连同不包括匹配内容的任何视频帧)为退化的视频场景。
[0088] 在匹配部分是音频的情况下,退化内容生成器314将由部分分离器303所确定的原创内容的近似与来自部分退化器305的退化的音频组合。例如,退化音频和原创音频的近似与音量级混合以重新创建与在上传的音频中相同的音量比或降低退化的匹配音频的音量。
[0089] 退化内容生成器314可以将退化的内容提供到请求上传的内容的客户端设备,或者退化内容生成器314可以将退化的内容存储在内容存储131中以用于稍后检索。
[0090] 图4是根据实施例的,图示用于处理包含匹配内容的上传的视频的示例过程的流程图。可以以不同的顺序或使用不同的、更少的或附加的步骤执行在本文中所描述的步骤。例如,可以串行地或并行地执行一些步骤。虽然关于生成视频进行描述,但是过程可以被执行以处理包含上传的内容的音频或其它媒体。
[0091] 视频服务器130从客户端设备110接收410视频。上传的视频包括第三方内容和原创内容的组合。第三方内容可以是整个视频场景、个体帧、或包含由另一实体所创建的内容的帧的一部分(显示区域)。
[0092] 内容识别器135识别420包含第三方内容的视频的一部分。例如,概要模块206生成视频的该部分的数字概要,并且搜索模块208将该数字概要匹配到上传用户不拥有的第三方内容的数字概要(在概要存储212中)。
[0093] 策略分析器302访问430指定内容拥有者对其内容的使用的偏好的策略。该使用策略可以指定是否使匹配内容退化。在一些情况下,该使用策略还可以指定待应用的退化的类型或控制内容退化的程度的质量降低参数。在一些实施例中,策略分析器302可以访问430对于匹配内容的缺省策略。
[0094] 部分退化器305通过将质量降低应用到匹配部分根据访问的策略来生成440匹配部分的退化版本。例如,通过将质量降低应用到场景的视频帧使匹配视频场景退化。作为另一示例,通过在匹配显示区域内应用质量降低使视频场景内的匹配显示区域退化。作为另一示例,使伴随视频的音频退化。
[0095] 部分退化器305可以基于内容拥有者策略或基于匹配内容的另一性质来确定退化或质量降低的类型(例如,由上传用户所指派的类别)。在一些实例中,部分退化器305识别匹配部分内包含感兴趣对象的子部分(例如,区域),并且部分退化器305基于所识别的子部分来选择性地使匹配部分退化。在一些实例中,部分退化器305根据内容拥有者策略或存在于匹配部分中的变化来确定质量降低参数并且根据质量降低参数来使匹配部分退化。可以针对整个视频场景或以逐帧方式来确定质量降低参数。
[0096] 退化内容生成器314通过利用匹配部分的退化版本替换匹配部分来生成450退化视频。例如,原创视频场景与退化的场景组合,退化的显示区域与显示区域外部的原创部分组合,或者原创音频与退化的音频组合。
[0097] 退化内容生成器314可以将退化视频存储460在内容存储131中。随后,视频服务器130向请求上传的视频的客户端设备110提供退化视频。视频服务器130可以响应于客户端设备请求而访问来自内容存储131的退化的视频,或者视频服务器130可以通过访问内容存储131中的上传的视频的原始版本响应于来自客户端设备110的请求使用内容退化器137来生成退化的视频。在一些实施例中,用户界面模块134可以包括用于请求用户通过向内容拥有者支付费用来访问匹配内容的原始版本的报价。
[0098] 视频服务器130通知470上传用户的客户端设备110上传的内容已被退化。通知上传用户可以包括:向上传用户供应许可条款以恢复由其它用户对上传的内容的初始版本的访问权。
[0099] 图5是根据实施例的,图示检测第三方内容并且利用该第三方布置许可的过程的交互图。可以以不同的顺序或使用不同的、更少的或附加的步骤来执行所图示的步骤。例如,可以串行地或并行地执行一些步骤。虽然关于分发视频进行描述,但是过程可以被执行以处理包含上传的内容的音频或其它媒体。
[0100] 内容拥有者客户端设备110B将原创视频上传505到内容服务器。内容拥有者还可以配置510指示是否阻止、允许、或退化匹配拥有者的原创内容的内容的使用策略。使用策略还可以包括许可条款(例如,费用、广告收入的份额)。上传客户端设备110A上传515包含内容拥有者的视频的一部分(或全部)的视频。
[0101] 内容识别器135识别520原创内容的上传的内容中的第三方内容。内容生成器137生成上传的内容的退化版本,并且视频服务器130分发525该退化版本。视频服务器130还通过向客户端设备110A发送通知来向上传用户请求530许可协议。许可协议可以是缺省协议或者可以由内容拥有者的使用策略指定。如果上传用户接受535该许可协议,则内容服务器分发540上传的视频的原始版本。视频服务器130可以在分发525退化版本同时存储原始版本,或者视频服务器130可以作为替代请求上传用户重新上传原始版本。
[0102] 客户端设备110和视频服务器130均使用计算机实现。图6是根据一个实施例的,图示可用于实现内容共享环境的实体的示例计算机600的高级框图。示例计算机600具有足够的存储器、处理能、网络连接性带宽、和其它计算资源来处理和派发本文所描述的上传的内容。
[0103] 计算机600包括耦合到芯片集604的至少一个处理器602(例如,中央处理单元、图形处理单元)。芯片集604包括存储器控制器中枢620和输入/输出(I/O)控制器中枢622。存储器606和图形适配器612被耦合到存储器控制器中枢620,并且显示器618被耦合到图形适配器612。存储设备608、键盘610、指示设备614和网络适配器616被耦合到I/O控制器中枢622。计算机600的其它实施例具有不同的架构。
[0104] 存储设备608是非暂态计算机可读存储介质,诸如硬盘驱动器、光盘只读存储器(CD-ROM)、DVD或固态存储器设备。存储器606保持由处理器602使用的指令和数据。处理器602可以包括具有执行指令的一个或多个核心的一个或多个处理器602。指示设备614是鼠标、触敏屏幕或其它类型的指示设备,并且在一些实例中与键盘610结合来被用于将数据输入计算机600中。图形适配器612在显示器618上显示视频、图像、和其它媒体和信息。网络适配器616将计算机600耦合到一个或多个计算机网络(例如,网络120)。
[0105] 计算机600适于执行用于提供本文所描述的功能——包括呈现内容、播放列表查找、和/或元数据生成——的计算机程序模块。如本文所使用的,术语“模块”指代被用于提供指定功能的计算机程序逻辑。因此,可以以硬件固件和/或软件实现模块。在实现视频服务器130的计算机600的一个实施例中,程序模块——诸如内容识别器135和内容退化器137——被存储在存储设备608上、被加载到存储器606中、并且由处理器602执行。
[0106] 由内容共享环境的实体所使用的计算机600的类型可以取决于实施例和由实体所要求的处理能力而变化。例如,客户端设备110是智能电话、平板计算机、膝上型计算机或台式计算机。作为另一示例,视频服务器130可以包括一起工作以提供本文所描述的功能的多个刀片服务器。计算机600可以包含一些组件的重复或可以缺少上文所描述的组件中的一些组件(例如,键盘610、图形适配器612、指示设备614、显示器618)。例如,视频服务器130在通过网络——诸如在服务器群中彼此通信的单个计算机600或多个计算机600中运行。
[0107] 以上描述的一些部分在信息上的操作的算法和符号表示方面描述实施例。这些算法描述和表示通常由数据处理领域的技术人员被用于将其工作的实质有效地传达给本领域的其他技术人员。虽然功能上、计算上、或逻辑上描述,但是这些操作被理解为由计算机程序或等效电路、微代码等实现。为了实现这些操作,视频服务器130可以使用将操作存储为由一个或多个处理器可执行的指令的非暂态计算机可读介质。可以使用一个或多个处理器执行在本文中所描述的操作、过程或步骤中的任一个。而且,还已证明将操作的这些布置视为模块是方便的,而不失一般性。可以以软件、固件、硬件或其任何组合实现所描述的操作和其相关联的模块。
[0108] 如本文所使用的,对“一个实施例”或“实施例”的任何引用意指结合实施例所描述的特定元件、特征、结构或特性被包括在至少一个实施例中。说明书中的各个地方中的短语“在一个实施例中”的出现不必全部指代相同实施例。
[0109] 如本文所使用的,术语“包括”、“包含”、“具有”、“有”或其任何其它变化旨在覆盖非排他性包括。例如,包括元素的列表的过程、方法、制品或装置不必仅限于那些元件而且可以包括未明确地列出或这样的过程、方法、制品或装置固有的其它元件。进一步地,除非明确地相反说明,否则“或者”指代同或而非异或。例如,条件A或B满足以下各项中的任一项:A是真(或存在)并且B是假(或不存在),A是假(或不存在)并且B是真(或存在),以及A和B二者是真(或存在)。
[0110] 另外,“一”或“一个”的使用被用于描述本文中的实施例的元素和组件。这仅出于方便并且给定实施例的一般意义。该描述应该被理解为包括一个或至少一个并且单数还包括复数,除非明确地另有所指。
[0111] 可以针对用于处理上传的内容的系统和过程实现附加的替选结构和功能设计。因此,虽然已图示并且描述特定实施例和应用,但是应理解到所公开的实施例不限于本文所公开的精确构造和组件。可以在本文对所公开的方法和装置的布置、操作和细节中做出各种修改、改变和变化而不脱离随附的权利要求书中定义的精神和范围。
相关专利内容
标题 发布/更新时间 阅读量
灯管上料机构 2020-05-11 498
海上供应管线 2020-05-12 146
管料上料装置 2020-05-12 399
自动上管机 2020-05-11 445
中心上水管 2020-05-11 139
上下文功率管理 2020-05-12 973
一种扁管上料机 2020-05-12 546
一种管胚上料机 2020-05-12 969
纸管上蜡机 2020-05-11 818
管芯上集成电路 2020-05-12 876
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈