当人们使用诸如移动电话、数字相机、web相机等等之类的电子多媒体捕捉设备时，大量的多媒体信息被生成。与所捕捉的事件或数据相关的信息，例如位置、所使用的应用、社交网络、所访问的物理和在线位置等等，可用于向末端用户提供有用的服务和有价值的信息，以及向广告主和零售商提供商业机会。传统上，这种信息是由服务内容提供商基于内容提供商的关于需要展现什么、在何处展现、何时接收和展现以及为了捕捉要展现的内容需要谁参与的见解来管理和提供的。此外，这种信息是基于内容提供商对事件/主题的解读来提供的。这导致了对所捕捉和展现的事件或数据的非常狭窄的表示。例如，电视新闻频道，尤其是在实况广播期间，不会向观看的用户(消费者)提供指导应当捕捉什么、应当如何捕捉的意见，也不会提供指导在何时或何处捕捉的意见。如果用户发现特定的新闻播报有趣，则用户将会花时间来观看该内容。否则，用户必须来回切换频道，直到有趣的事物出现为止。从而，消费者对于到底应当覆盖或捕捉什么是没有控制权的，而必须依赖于内容提供商来传递与事件/主题相关的适当信息。
正是在这种环境中出现了本发明的实施例。

本发明的实施例包括用户以及用户之间的交互事件以及内容流或内容对象的网络，该网络使能了赞助广告产品的新渠道和货币化模型，其中涵盖了赞助呈现、地理针对、行为针对、基于流行度的收入共享、真实世界产品放置以及表面货币化。
这里作为示例给出了若干个不同的实施例，包括方法、系统、计算机可读介质、程序指令和方法-系统组合。在一个实施例中，一种系统包括使能基于实况多媒体内容的管理和获取、索引、分发、个性化和消费来进行收入管理的硬件和软件。该实施例定义了分布式实时网络，其中与多媒体内容内的推广媒体相关的推广广告可基于多媒体内容的主题、捕捉或消费用户、偏好、流行度和/或重要度而被识别、过滤、动态注入/集成和管理。该系统和方法使得能够链接分布在全球的多个实况内容捕捉设备，并且使得消费用户能够从来自实况内容捕捉设备的许多可用实况馈送流中进行挑选，以及基于消费用户的明确和隐含反馈而从消费用户向捕捉用户提供实时反馈。可以针对特定的事件、主题、兴趣、位置、地图位置、人、群组、事务、题目、体裁等等来对多媒体内容进行搜索、过滤和管理，并且基于多媒体内容内的一个或多个推广媒体来管理推广广告。
在一个实施例中，公开了一种用于管理实况多媒体内容的货币化的方法。该方法包括基本实时地从捕捉设备接收多媒体内容。捕捉设备识别出所捕捉的内容的类型或者捕捉的位置。该方法还包括识别来自多媒体内容的一个或多个推广媒体。所识别出的推广媒体与一个或多个推广广告相匹配。该方法还包括将所识别出的推广媒体与一个或多个推广广告相集成，以生成合成多媒体流，并且基本实时地向接收设备呈现合成多媒体流。该方法包括基于在接收设备处的交互跟踪货币化收入。货币化收入取决于与多媒体内容的推广媒体相关联的货币化标准。
在另一实施例中，公开了一种用于管理实况多媒体内容的货币化的系统。该系统包括多个捕捉设备，被配置为捕捉并通过通信网络基本实时地发送多媒体内容。捕捉设备识别出所捕捉的内容的类型或者捕捉的位置。该系统还包括多个接收设备，被配置为接收多媒体内容并且基本实时地通过通信网络提供反馈。该系统还包括通信地连接到多个捕捉设备和接收设备的反馈引擎。该系统包括该反馈引擎被配置为通过基于搜索偏好对多媒体内容进行验证、检索、索引或优先级区分中的至少一种来处理对多媒体内容的请求，并且通过对反馈进行收集、审阅、索引、优先级区分中的至少一种来处理反馈。该系统包括通信地连接到所述反馈引擎的货币化引擎。该货币化引擎被配置为生成合成多媒体流并且管理与合成多媒体流的推广媒体相关的一个或多个推广广告，使得从推广广告生成的收入可基于来自捕捉设备的变化的内容馈送而在用户之间共享。
在另一实施例中，公开了一种包括用于管理实况多媒体内容的货币化的程序指令的计算机可读介质。该计算机可读介质包括用于基本实时地从捕捉设备接收多媒体内容的程序指令，捕捉设备识别出所捕捉的内容的类型或者捕捉的位置。该计算机可读介质还包括用于识别来自多媒体内容的一个或多个推广媒体的程序指令，所识别出的推广媒体与一个或多个推广广告相匹配。该计算机可读介质还包括用于将所识别出的推广媒体与所述一个或多个推广广告相集成，以及用于生成合成多媒体流以及基本实时地向接收设备呈现合成多媒体流的程序指令。该计算机可读介质还包括用于基于在接收设备处的交互跟踪货币化收入的程序指令。货币化收入取决于与多媒体内容的推广媒体相关联的货币化标准。
在另一实施例中，公开了一种用于管理实况多媒体内容的货币化的方法。该方法包括基本实时地利用捕捉设备捕捉具有一个或多个推广媒体的多媒体内容。捕捉设备识别出所捕捉的内容的类型或者捕捉的位置。该方法还包括识别出与一个或多个推广媒体相关联的一个或多个收入产生赞助者并将与所识别出的赞助者相关联的推广广告与推广媒体相集成，以生成合成多媒体流。该方法还包括基本实时地向接收设备呈现合成多媒体流，并且基于在接收设备处的交互跟踪货币化收入。货币化收入取决于与多媒体内容中的推广媒体的所识别出的赞助者相关联的货币化标准。
在另一实施例中，公开了一种用于管理实况多媒体内容的货币化的方法。该方法包括基本实时地利用捕捉设备捕捉多媒体内容，其中捕捉设备识别出所捕捉的内容的类型或者捕捉的位置。多媒体内容包括推广媒体的图像。该方法还包括基于在接收设备处选择所捕捉的多媒体内容的观看者的数目来检测所捕捉的多媒体内容的流行度。该方法还包括确定推广媒体的图像存在于所捕捉的多媒体内容中的时间段，以及在推广媒体的图像存在的时间期间所捕捉的多媒体内容的流行度，并且分配在推广媒体的图像存在的时间期间与所捕捉的多媒体内容相关联的广告收入。
这里限定的实施例和系统很多，这里提供的简要总结只应充当在详细描述、附图和权利要求中限定的许多可能性的概要。

图1A是示出在本发明的一个实施例中使用的服务器场(server farm)的网络的示意性概览。
图1B表示本发明的一个实施例中的服务器场的概览。
图2A示出了在本发明的一个实施例中用于多媒体内容的捕捉和分发的实况多媒体反馈网络的概览。
图2B示出了在本发明的一个实施例中使用反馈引擎的系统的概览。
图2C示出了本发明的一个实施例中的实况多媒体反馈网络的详细视图。
图3A是在本发明的一个实施例中用于捕捉多媒体内容的图2C的多流界面模块的示意性视图。
图3B是在本发明的一个实施例中用于利用基于地图的界面来识别在特定重现事件时的捕捉设备位置点/兴趣点的图2C的基于地图的界面模块的示意性视图。
图3C是在本发明的一个实施例中用于捕捉多媒体内容的图2C的单流界面模块的示意性视图。
图3D是在本发明的一个实施例中用于捕捉多媒体内容的图2C的基于移动电话的界面模块的概览。
图4示出了在本发明的一个实施例中用于过滤与一事件相关的多个多媒体内容馈送的过滤机制的结果的简单概览。
图5示出了本发明的一个实施例中的实况多媒体反馈周期。
图6示出了本发明的一个实施例中的实况多媒体切换网络。
图7示出了本发明的一个实施例中的切换引擎合成流流水线。
图8示出了本发明的一个实施例中的合成切换周期和数据流。
图9是示出本发明的一个实施例中的多媒体内容切换的框图。
图10示出了本发明的一个实施例中的上下文相关货币化机制的概览。
图11示出了本发明的一个实施例中的GU的捕捉设备。
图12示出了本发明的一个实施例中的CU的接收和反馈设备。
图13示出了本发明的一个实施例中的混合者的接收和反馈设备。
图14、14A和14B示出了本发明的一个实施例中的GU的移动设备，其用于捕捉事件的多媒体流，并带有所广播的多媒体流的实时状态。
图15示出了本发明的一个实施例中的用于接收和展现事件的多媒体流的CU的接收设备。
图16示出了本发明的一个实施例中的用于接收、展现和提供反馈给多媒体流的CU的移动接收设备。
图17A和17B示出了在本发明的一个实施例中由捕捉设备捕捉到的包括用于生成广告收入的推广媒体的多媒体内容。
图18示出了在本发明的一个实施例中用于确定广告收入的流行度与时间关系图和推广媒体与时间关系图。

本发明定义了使能通过创建分布式实时网络来对实况多媒体内容进行获取和管理、索引和分发以及个性化和消费的方法、系统、装置、网络和计算机代码，所述分布式实时网络可被搜索、过滤和动态管理，以依据消费用户的偏好、流行度、重要性、兴趣、以及来自捕捉地点的反馈，例如位置、时间、和/或共同位于捕捉地点处的人、物体、和/或正在发生和/或有可能发生的事件、和/或操作捕捉设备的人和/或组织，而从一个实况多媒体馈送改变到另一个，或者被网络操作者组织成频道或交互式环境以供用户消费。以下描述将包括描述“发现”方面的部分，之后是“切换”过程和系统，以及关于通过这里定义的实施例而辅助的货币化的描述。
示例性实施例的机制既包括人类元素也包括计算机元素，用于向消费用户提供丰富个体化和定制化的多媒体内容。人类元素包括多媒体生成用户(GU)及其电子多媒体捕捉设备(捕捉设备)、多媒体消费用户(CU)以及电子多媒体接收和反馈设备(或者称之为接收设备)。计算机元素包括具有多个服务器/服务器场的通信网络以及一反馈引擎，通过该反馈引擎GU和CU与彼此交互。该机制可包括使能依据多媒体内容的特定GU和CU的愿望、喜好、品味和偏好在特定时间获取和管理特定实况多媒体内容的软件和硬件。此外，多媒体内容可被搜索、过滤和动态管理，以依据CU和GU的偏好、流行度、重要性和兴趣、和/或捕捉的位置和/或时间、和/或共同位于捕捉地点的人、物体和/或事件、和/或操作捕捉设备的人和/或组织，而从一个实况多媒体馈送自动切换到另一个。可以针对特定的事件、主题、兴趣、位置、地图位置、人物、群组、事物、题目、体裁等等来搜索、切换或过滤多媒体内容。
GU利用其各自的多媒体捕捉设备生成多个多媒体内容，作为覆盖特定实况事件或数据的多媒体流，并且CU基于由CU和(一个或多个)网络和反馈引擎操作者确立的多个标准来接收这多个多媒体内容。CU可基于CU或网络确立的标准向反馈引擎提供连续反馈，因此多媒体内容可被定制以适合于各个CU的需求或网络或赞助商的目标。在一个实施例中，反馈引擎接收来自CU的连续反馈，基于接收到的反馈反复地定制内容并将其发布给CU。在另一实施例中，反馈引擎可接收来自CU的连续反馈、在可变的时间间隔上的反馈、或者在连续周期中的反馈，所述反馈随后被聚集并转发到GU，使得GU可以进行适当的调整，以捕捉CU所请求的或者网络所建议的多媒体内容。只要CU对相关事件/数据感兴趣，或者GU在捕捉流式多媒体内容，提供多媒体内容、接收反馈并基于反馈来定制多媒体内容的循环就一直持续。对于来自过去的实况事件的有组织内容的异步重放，反馈也是可能的。该机制使用GU和内容之间的动态、实况双向通信，使得每个CU接收满足相应CU的要求的定制的丰富多媒体内容。
所提出的方案提供了这样的优点，即使得CU能够动态地控制感兴趣的特定事件或数据的多媒体内容，而无需为了覆盖而依赖于任何特定的内容提供商，从而丰富了CU观看多媒体内容的体验。
为了帮助理解各种实施例，首先将描述反馈机制的基础设施，然后将参考反馈机制基础设施来描述所公开的实施例的各种过程的详细描述。反馈机制是在计算机系统的服务器上实现的，并且可通过通信网络(例如互联网)提供给所有用户使用。首先将描述其上实现反馈机制的基本计算机网络，然后将参考所描述的基本计算机网络来描述所公开的实施例的特征。
图1A示出了本发明的一个实施例中的基本计算机网络，其中可实现交互式多媒体反馈机制，以便向消费用户提供定制的内容丰富多媒体流。该计算机网络包括多个服务器计算系统(服务器)和多个服务器场110的组合，这些服务器和服务器场分布在全球，并且通过通信网络(网络)(例如互联网)与彼此通信连接。服务器场110中的每一个进而可包括利用互联网和内联网(一定实体内的通信网络)互连的多个服务器。服务器能够实现交互式多媒体反馈机制(反馈机制)。反馈机制可实现在服务器场内的一个服务器上并且被其他服务器通过网络访问，或者可以实现在多于一个服务器上并被其他服务器访问。具有一个或多个电子多媒体捕捉设备的多个生成用户(GU)200和具有一个或多个电子多媒体接收和反馈设备(接收设备)的多个消费用户(CU)300通过多个服务器或服务器场110通信地连接到计算机网络。GU 200的多媒体捕捉设备使得GU 200能够实时地捕捉多媒体内容并将其发送到服务器上的反馈机制，在反馈机制中，多媒体内容被处理并发布到CU 300。由反馈机制发布的多媒体内容可以是单个馈送、合成馈送和/或被混合或重新混合的馈送的形式。计算机网络从而使得GU 200能够从世界上的任何地方捕捉多媒体内容并通过反馈机制将其发送到CU 300，并且CU 300具有通过反馈机制来锁定世界上的任何特定事件或数据或不同事件和数据的组合的能力。
在本发明的替换实施例中，具有一个或多个电子多媒体捕捉设备的多个生成用户(GU)200和具有一个或多个电子多媒体接收和反馈设备(接收设备)的多个消费用户(CU)300通过计算机网络与相互通信连接。GU 200的多媒体捕捉设备使得GU 200能够实时地捕捉和发送多媒体内容到一个或多个CU的接收设备上的反馈机制，在该处多媒体内容被处理并在CU 300处被发布。被反馈机制处理并发布的多媒体内容可以是单个馈送、合成馈送/或被混合或重新混合的馈送的形式。在此实施例中，CU和GU以对等的方式交互。计算机网络从而使得GU 200能够从世界上的任何地方捕捉多媒体内容并通过反馈机制将其发送到CU 300，并且CU 300具有通过反馈机制锁定世界上的任何特定事件或数据或者不同事件和数据的组合能力。
图1B示出了在本发明的一个实施例中用于捕捉多媒体内容并经由网络发送多媒体内容的服务器场的示例性概览。当然，该系统并不要求整个服务器场，因为可以设立单个网络计算设备，只要处理力足以实现功能即可。然而，随着用户越来越多，以及在全球范围内的分发的实现，将需要更多的计算设备，以实现更健壮的基础设施。
如图所示，服务器场110包括多个服务器计算系统(服务器)115，这多个服务器计算系统115利用通信网络(网络)(例如互联网)通信地连接到服务器场110内和外的其他服务器115。属于一个或多个GU 200的多个电子多媒体捕捉设备可通信地连接到服务器，以实时地捕捉并发送多媒体内容到网络中的其他服务器。
图2A示出了本发明的一个实施例中在服务器上实现的简化多媒体发送机制的概览。如图所示，多个GU的多个捕捉设备200-A被用于捕捉和发送多媒体内容到网络上的服务器115。服务器115包括反馈机制，该反馈机制处理多媒体内容并且充当路由器并将适当的多媒体内容路由到一个或多个消费用户(CU)300接收设备300-A、300-B或300-C。GU 200所发送的多媒体内容还被存储在通信地连接到服务器115的仓库(例如数据库)中，以便能够根据来自一个或多个CU的请求而检索多媒体内容。在一个实施例中，数据库是服务器115的一部分。在另一实施例中，数据库在一不同的服务器(例如数据库服务器)上，并且通信地连接到服务器115。从服务器115上的反馈机制接收的多媒体内容在通信地连接到服务器115的CU 300的一个或多个多媒体接收和反馈设备被展现。CU 300的多媒体接收设备可以是任何形式的，只要它们被配置为接收和展现多媒体内容并向服务器115上的反馈机制发送反馈即可。从每个CU 300接收设备接收的反馈被反馈机制用于为各个CU 300定制多媒体内容。
图2B示出了在本发明的一个实施例中用于基于来自消费用户(CU)300的请求和反馈来向消费者提供实时定制多媒体内容的反馈机制的框图。反馈机制包括反馈引擎400，该反馈引擎400具有流管理模块400-A和反馈管理模块400-B。参考图2B来说明反馈引擎的功能的概要，更详细的说明将在下文中参考图2C来提供。在本发明的一个实施例中，流管理模块400-A接收来自消费用户(CU)300的对特定的实时多媒体内容的初始请求，并且搜索网络以识别出能够提供所请求的多媒体内容的多个生成用户(GU)200。此实施例是在CU发起对多媒体内容的请求的情况下描述的。然而，网络上的其他用户也可发起这种请求，或者GU 200可以向网络上的其他用户转发多媒体内容。
流管理模块400-A验证所识别出的GU 200、由GU 200捕捉的多媒体内容和/或多媒体内容主题、从识别出的GU 200收集多媒体内容、基于CU观看标准(例如偏好、位置、硬件、网络联盟、人口统计信息、订户状态等等)来对多媒体内容进行索引和格式化，并且将经格式化的多媒体内容以多媒体流的形式分发到发出请求的CU 300。在接收到多媒体流后，CU 300可以通过反馈管理模块400-B向GU 200提供对多媒体内容的反馈。
反馈管理模块400-B编制在接收设备处展现多媒体流的显示格式，控制CU 300的与多媒体内容流相关的各种形式的交互，收集反馈形式的交互，并且对反馈进行审阅、索引、优先级区分并将其实时发布到GU200。来自CU 300的反馈可被引导到特定的GU 200或者CU网络内的其他CU 300或者网络中的所有CU 300和GU 200。在反馈环的情况下，CU300提供与多媒体内容流相关的反馈数据，GU 200通过基于CU 300反馈提供多媒体流来作出响应，CU 300以进一步的反馈作为响应，等等。只要CU 300对多媒体内容感兴趣或者GU 200继续捕捉和发送与事件/数据相关的多媒体流，反馈环过程就一直继续。在一个实施例中，CU 300可以查阅较旧的多媒体内容，并且为GU 200提供后实时反馈，以改善其将来的内容产生或者请求现有的/保存的多媒体内容的另一修订版。反馈环过程的细节将参考图5来更详细说明。
反馈机制的功能方面可被宽泛地分类成三个主要过程-发现、切换和货币化。发现过程使用交互式实况多媒体反馈机制和网络来提供供多个生成用户(GU)200实时地捕捉并经由网络发送多媒体内容的基础设施，以便允许多个消费用户(CU)300接收多媒体内容并提供实时反馈，使得多媒体内容可被切换、混合和重新混合，以获得满足CU要求的最优多媒体内容流。切换过程使用实况多媒体切换网络来提供供多个CU 300和GU200基于来自CU 300的实况反馈执行多媒体内容的切换的基础设施。货币化过程包括定义在GU 200捕捉多媒体内容和在CU 300处发布多媒体内容期间使用的货币化方案的度量。下面更详细说明各种过程。
I.发现过程：
发现过程是识别多个生成用户(GU)200、消费用户(CU)300和用于广播和观看的多媒体内容以便可向CU提供可定制的多媒体内容的过程。本申请的上下文中使用的术语“发现”应当被宽泛地解释为涵盖了任何将使能搜索特定内容、过滤内容、在整个全球网络中识别源(GU)以及从全球网络中识别某类源的功能和过程。识别可以通过与搜索、索引、过滤、层次定义、加权算法或任何其他优化程序(可与被执行来完成一个或多个发现功能的过程相链接、耦合或与之联合运行)相关联的任意数目的方式来完成。可利用分布式处理来执行处理，以优化基本实时的呈现、反馈和交互。
在一个实施例中，发现过程是由多个GU 200、多个CU 300或多个混合者发起的。发现过程涵盖了发现的多个阶段或级别，包括发现事件/主题、发现计算机网络上覆盖该事件/主题的一个或多个GU 200、发现对该事件/主题感兴趣的CU 300和混合者、从GU 200、CU 300和混合者生成反馈，以及将反馈发送到各个接收者，以便向CU 300提供丰富的基于上下文的定制多媒体流。为了使得GU 200、CU 300和混合者发起发现过程，GU 200、CU 300和混合者中的每一个应当在如图1A和1B中所述的具有反馈机制的计算机网络上注册，使得GU 200、CU 300和混合者可以就广播或接收特定事件/主题的多媒体内容而被验证和识别。
GU 200可以通过向计算机网络(网络)生成警告来在注册的计算机网络上发起发现过程。警告可以是暗示GU 200在该网络上注册的信号的形式。此外，警告还可以表明：i)GU正准备广播多媒体内容；ii)GU已经开始捕捉和广播特定事件的多媒体内容(正实况进行并且记录)；iii)GU可用于独立地或者作为团队的一部分与其他GU一起捕捉和广播多媒体内容；iv)GU捕捉的多媒体内容可用于“混合”；v)GU已经在计算机网络(网络)中上载或提供了多媒体内容，或者vi)GU可用于邀请混合者、CU和其他观看者(例如广告主)观看GU正在捕捉和广播的多媒体内容。GU可以基于经济和社交激励而发起发现过程。
与GU相关、用于捕捉和广播多媒体内容的多媒体捕捉设备可包括使得GU能够捕捉多媒体内容并为其提供实时反馈的各种控件。在本发明的一个实施例中，GU用于捕捉和广播多媒体内容的捕捉设备的表示在图11中示出。在此实施例中，捕捉设备可包括观看窗口330，用于显示所捕捉的事件/数据，设备上的多个硬件控件，由“气泡1”表示，其定义了由GU 200生成的多媒体内容的状态以及GU 200广播多媒体内容或者将多媒体内容与网络上由其他GU 200、CU 300或对多媒体内容感兴趣的其他用户提供的其他多媒体内容混合的可用性。
例如，“广播”控件可用于发起从GU 200的捕捉设备向网络发送所捕捉的多媒体内容，从而其他用户可能能够观看广播的多媒体内容，并且还可向GU 200指示出所捕捉的多媒体内容的状态(多媒体内容是否正被广播)。“警告”控件可用于警告多个CU 300、其他GU 200和其他感兴趣的用户群组(例如广告主或混合者)关于GU 200作为独立广播者或者作为群组进行广播的可用性或者多媒体内容用于混合的可用性，和/或邀请混合者、其他GU 200、CU 300和其他感兴趣的用户群组(例如广告主)观看所广播的多媒体内容。“反馈”控件可用于接收和展现来自CU、其他GU和感兴趣的用户群组对所广播的多媒体内容的实时反馈。实时反馈可以以文本、语音、非语音音频、图形、动画、照片、视频、振动信号、温度变化或这些模式的组合的形式来提供，以及以其他多媒体或多模式通信手段的形式提供。反馈可以是依所广播的多媒体的内容而定的，或者可以用于协调广播。“记录/保存”控件可用于提供一选项，用于在捕捉设备本地或者远程存储设备上存储多媒体流，该远程存储设备可被网络上的其他用户通过中央服务器来访问。“货币化”控件可用于提供一种通过赞助、产品放置、广告媒体或表面货币化来货币化多媒体内容的方式。
在另一实施例中，捕捉设备中的多个控件是通过软件来提供的。该软件是从网络接收的并在捕捉设备上被展现。所展现的软件包括图形用户界面(GUI)和专门功能，用于实现这多个控件，以使得捕捉设备可以像具有专门硬件控件的捕捉设备那样工作。
在一个实施例中，来自CU、GU和其他用户的实时反馈可以由元数据定义，元数据可以提供关于多媒体内容的流行度的有用信息和/或任何其他相关信息。例如，流行度可以由统计量来定义，例如当前调谐到该广播的观看者的数目，如“气泡2”所示，或者可以是方向性箭头的形式，其指示出CU希望特定GU的捕捉设备指向的兴趣点，如“气泡3”所示，或者作为从CU和其他用户接收的流式评论，如“气泡4”所示，或者作为基于地图的用户界面，如“气泡5”所示。
在本发明的一个实施例中，GU 200用来捕捉和广播一事件的多媒体流的实际移动捕捉设备的快照在图14中示出。如图所示，移动捕捉设备包括与参考图11详细论述的那些控件类似的多个控件，用于提供当前正在捕捉和发送的多媒体流的实时状态。例如，实时状态可包括关于用户(例如CU、GU和混合者)的统计量，如图14和14A的框350中所示，和/或来自请求继续覆盖该事件/主题的CU的实时流式反馈(包括位置、时间、和/或共同位于捕捉地点处的人、物体、和/或正在发生和/或有可能发生的事件、和/或操作捕捉设备的人和/或组织)，如图14和14B的框350中所示。此外，移动捕捉设备包括控制按钮，如图11和图14和14A的框1405中所示。反馈可以是依位置而定的，或者依事件而定的，或者依GU而定的。
在一个实施例中，CU 300可以通过向计算机网络(网络)(其上有反馈引擎可用)注册并向其请求特定事件/主题的多媒体内容来发起发现过程。CU 300可以基于为由GU 200捕捉的事件/主题提供的标签来发起对多媒体内容的搜索。在一个实施例中，标签可以由GU 200提供，并且可供网络上的其他用户使用。在另一实施例中，标签可以由GU和CU两者提供，以使能更容易且更迅速地搜索与特定事件/主题相关的多媒体内容。多媒体内容可以是能够被捕捉并在网络上发布的文本、音频、视频、图形、振动等等中的任意一种或多种。GU、CU和混合者随后着手使用实况多媒体反馈机制和网络来广播和接收多媒体内容。
用于请求多媒体内容的CU多媒体接收和反馈设备(接收设备)可包括各种控件，用于使得CU能够请求、接收并在接收设备上实时展现多媒体内容，并提供关于所接收内容的实时反馈。如对捕捉设备所提及的，接收设备中的各种控件可以以硬件控件或软件控件的形式来提供。在通过软件来提供控件的实施例中，从网络接收软件并在接收设备上展现该软件。所展现的软件包括图形用户界面(GUI)和专门功能，用于实现多个控件，以便接收设备可以像具有专门的硬件控件的设备那样工作。
此外，接收设备可被配置为编辑所接收的多媒体流的内容并将其与由CU生成或来自由网络上的其他注册用户提供的其他多媒体文件的内容重新混合。在本发明的一个实施例中，用于接收和基本实时地提供反馈的接收设备的表示在图12中示出。如图所示，接收设备包括由“气泡1”示出的一组选项控件，其允许CU保存由GU广播的针对特定事件/主题的部分或全部多媒体内容、邀请和/或与其他CU、混合者和其他感兴趣的用户共享多媒体内容、以及向GU、CU、混合者和网络上的其他用户提供对多媒体内容的反馈。在一个实施例中，反馈可包括通过在线聊天、语音、媒体、短消息服务(SMS)(常由移动接收设备使用)、在线web日志(博客)等等做出的关于混合者、GU、多媒体的内容、位置、时间、和/或共同位于捕捉地点处的人、物体、和/或正在发生和/或有可能发生的事件、和/或操作捕捉设备的人和/或组织、题材等等的评论。
除了选项控件之外，接收设备还可包括具有用于向GU提供反馈的“关注点指示符”的观看窗口；过滤机制，用于接收和基于个体的偏好标准来过滤与事件/主题相关的多个多媒体馈送；混合者机制，用于接收、保存和使用与多媒体内容的多个“混合”馈送并将混合馈送转发到网络以供其他用户观看；实时通信窗口，用于提供实时反馈；以及多媒体内容信息机制，用于以元数据(包括统计量)的形式提供关于特定事件/主题的信息。在一个实施例中，关注点指示符可用于为GU提供方向性信息，使得GU可以调整捕捉设备以捕捉所广播的多媒体内容中或所广播的多媒体内容外的特定兴趣领域。此外，该指示符可提供关于放大或缩小的反馈。来自该指示符的反馈通过FE被发送到GU，并且作为方向性箭头或其他形式的反馈(例如声音、热度图、图标、振动等等)出现在GU取景器中。在一个实施例中，接收设备还可包括基于地图的界面，用于向用户提供通过地理定位器相关元数据请求该事件/主题的来自其他位置的多媒体内容的能力，该元数据可以指示出GU在事件/主题的地图中的位置，以及记录设备所指向的方向。该地图是完全交互式的。在一个实施例中，还可以提供一搜索界面，用于搜索CU可能感兴趣的其他事件、人物或频道。
图15示出了本发明的一个实施例中的实际CU的多媒体接收反馈设备(接收设备)的快照。如图所示，接收设备包括显示当前选择来供CU观看的由特定GU捕捉的多媒体流的观看(兴趣点)窗口，以及指示出从其他GU或覆盖同一事件/主题的同一GU接收的多媒体流的更小窗口。更小窗口中的多媒体流可以来自单个位置或者来自同一事件/主题内的多个位置。在一个实施例中，多个更小窗口包括关于GU的信息，例如标识、位置等等，以使得CU可以识别当前正在捕捉多媒体流的GU。该信息可用在社交方面，其中具有相同或相似兴趣的CU和GU可与彼此交互，和/或被赞助者/混合者/广告主/其他用户用来放置广告，用于收入生成，或者其他形式的价值创造和跟踪，或者只是提供评论。应当注意，收入生成和其他形式的价值创造和跟踪并不限于金融方面，而是也包括社交方面。
图16示出了CU接收和反馈设备的替换实施例的快照。如图所示，移动多媒体接收和反馈设备用于请求、接收和提供反馈给多媒体内容。与其他实施例中一样，移动接收设备包括兴趣点窗口330，用于显示当前被选择来供CU观看的由特定GU捕捉的多媒体流，并且还具导航控件385形式的控件，用于在移动电话设备处可用的各种选项之间导航，以及小键盘370，用于提供与所展现的多媒体内容相关的基本实时的反馈，以使得CU能够切换到来自同一GU或其他GU的其他多媒体流，或者向所展现的多媒体流提供反馈。在CU的移动多媒体接收设备上展现的多媒体流可以利用在FE 400处可用的选择标准、由CU或由网络自动选择。在一个实施例中，选择标准可以使用多媒体流的流行度、GU的流行度、事件/主题的流行度、位置、时间、和/或共同位于捕捉地点处的人、物体、和/或正在发生和/或有可能发生的事件、GU的状态、CU的状态等等，用于选择要在CU的接收设备上展现的多媒体流。
在本发明的一个实施例中，混合者可以通过注册并随后观看或请求特定事件/主题或多个事件/主题或其某种组合的多媒体内容来在计算机网络上发起发现过程。在本申请中使用的“混合者”是这样一个用户，其不是CU或GU，但却对GU所广播的多媒体内容感兴趣，并且希望将其他多媒体内容混合到当前正在广播的多媒体内容流中和/或在一个多媒体内容流和另一个之间切换，以执行多媒体内容流的实时(或后实时)编辑。其他多媒体内容可能与所述多媒体内容流内的内容相关也可能不与其相关，并且可能源自混合者，或者可能可在计算机网络上得到。与GU一样，混合者可以基于经常或社交激励而发起发现过程。
为了帮助混合者接收多媒体内容，混合者配备有多媒体接收和反馈设备(混合者接收设备)，以使得混合者能够实时接收和观看多媒体内容并且提供对所接收内容的实时反馈。在一个实施例中，混合者接收设备(接收设备)与CU的接收设备类似。如对CU接收设备所提及的，混合者的接收设备中的各种控件可以以硬件控件或软件控件的形式提供。在通过软件提供控件的实施例中，软件提供的控件在性质上类似于针对CU接收设备论述的那些，并且是以类似的方式获得和实现的。
除了在混合者接收设备上可获得的类似于CU接收设备的机制之外，混合者接收设备还配备有先前选择的混合/切换的媒体流(气泡3)的图形表示以及用于观看同一事件的其他实况混合的实况混合选项(气泡8)，而不是CU接收设备的搜索选项。在一个实施例中，混合者所使用的混合者接收设备的样本表示在图13中示出。
为了更详细说明发现过程的实施例，现在关注图2C，该图示出了在本发明的一个实施例中在发现过程中使用的实况多媒体反馈机制和网络(LMFN)。LMFN使得能够协调正在对实况事件进行发现、广播、索引、提供反馈和编辑的多个用户，以实时产生世界上的事件的由用户开发的、个性化的、实况的、经编辑的广播。LMFN通过将多个捕捉设备和相应设备操作者(CU)连接到实时实况多媒体的多个混合者和消费用户来实现此目的。LMFN还允许了对实时实况多媒体的发现、索引、排名、提供反馈、切换、混合和流/频道呈现、基于社交关系和实况反馈来定制或个性化多媒体内容呈现、适当地识别流行的内容并回报给它更大的曝光度和补偿，从而满足消费用户对交互式控制的需求。LMFN包括具有其多媒体捕捉设备的多个多媒体生成用户(GU)200，通信网络、反馈引擎(FE)400、具有其多媒体接收和反馈设备的多媒体消费用户(CU)300以及混合者。
如前所述，GU 200配备有多媒体捕捉设备，例如视频相机或配备有视频相机的移动电话，以捕捉并实时发送多媒体内容到FE 400。捕捉设备并不限于用于捕捉视频内容的视频相机或具有视频相机的移动电话，而可以扩展到包括能够捕捉并经由LMFN发送视频和其他形式的多媒体内容(例如文本、振动、音频等等)的其他设备。GU 200最初向LMFN注册，使得它们能够访问通信网络并且发送所捕捉的多媒体内容。多个注册的GU200可以同时覆盖单个事件或主题或位置、时间、和/或共同位于捕捉地点处的人、物体和/或正在发生和/或有可能要发生的事件、和/或操作捕捉设备的人和/或组织。由GU 200发送的多媒体内容包括一组元数据，该组元数据提供与GU 200和所捕捉的事件/主题的多媒体内容相关的持续信息。注册的GU 200可以基于一种激励(经济的或者社交的)或者其他因素而开始发送多媒体内容。来自一个位置或事件的多个GU 200可以产生从涵盖不同视角的许多角度覆盖该位置或事件的多媒体内容的众多同时的流。
图2C示出了在给定的时间从两个不同位置(位置1和位置2)覆盖同一事件的两组GU 200-1和200-2，其中每组GU生成覆盖许多角度和视角的多媒体内容流。这多组GU 200-1和200-2从其各自的位置向FE 400发送其自己的多媒体内容以及相应的元数据。GU 200的位置可以通过若干种方式来确定，例如通过地理定位器机制，比如嵌入在各个注册的GU 200的多媒体捕捉设备内的全球定位系统(GPS)设备，或者通过来自GU 200的显式位置编码，或者通过其他手段，比如小区塔ID映射、小区塔三角测量、蓝牙位置信标、WiFi三角测量等等。
与针对特定事件/主题的多媒体内容相关联并封装在一起的元数据可以是基于上下文的或者基于消费的。基于上下文的元数据涉及特定事件/主题和/或特定事件/主题的上下文内容，例如位置、时间、和/或共同位于捕捉地点处的人、物体、和/或正在发生和/或有可能要发生的事件。元数据可以由GU、由FE或由GU所使用的设备生成，或者在多媒体流内的特定内容中生成。这些基于上下文的元数据可包括与以下各项相关的信息：位置、时间、和/或共同位于捕捉地点处的人、物体、和/或正在发生和/或将要发生的事件、CU、GU和混合者的感兴趣的子群组、就特定事件/主题而言CU、GU和混合者的关系、以及正在捕捉和发送的事件/主题或内容的细节。基于消费的元数据可以涉及普通公众中一般流行的或者感兴趣的事件/主题，而无需来自任何CU、GU或混合者用户群组的对这种信息的具体请求，或者可以涉及CU、GU和混合者的感兴趣的子群组的消费模式。
FE 400处理来自覆盖同一事件或主题和其他事件/主题的不同GU 200的多个传入流，基于与多媒体流一起提供的元数据根据GU 200、事件/主题和其他标准对其进行排名和排序，并且以有组织的方式使得这些流可供公共CU 300或特定用户群组或特定类型的用户使用。本申请中使用的“用户”是来自CU用户群组、GU用户群组、混合者、赞助者、广告主或者对多媒体流的内容感兴趣的任何其他用户中的任何一个。此外，FE400可以针对许多GU发布的特定事件或主题或其他事件/主题而跟踪GU200的多个和/或重叠的位置。FE 400将接收到的多媒体流相互比较，以确定这些流之间的关联，并且通过基于该关联、上下文元数据和消费元数据进行过滤来组织这些多媒体流。例如，在一个实施例中，FE 400可以通过基于该关联(例如针对特定事件/主题的GU 200的位置)对多媒体流进行过滤并归组到一起，来组织多媒体流。元数据信息可用于对多媒体内容进行归组和优先级区分。FE 400将经组织的多媒体流转发到包括CU 300在内的对多媒体内容感兴趣的用户。
FE 400包括两个主要功能-流管理和反馈管理。这两个功能可被集成到一个FE 400中，或者可以是两个分离的FE 400，它们通过应用编程接口(API)而相互补充地运行。在图2C所示的实施例中，这两个功能被集成到单个FE 400中。
在一个实施例中，FE流管理模块包括流取入管理器(SIM)、流排名管理器(SRM)和流发布管理器(SPM)、用于接收、排名、组织和发布多媒体流。SIM负责接收新的多媒体内容流和新的GU用户请求，并且验证GU用户和多媒体流的内容。随后通过将多媒体流聚合成单个多媒体流源或者以合成多媒体流源的形式将经验证的多媒体流传递到SRM。
SRM负责对从SIM接收的经批准和验证的多媒体流进行审阅、对照和填充，以形成各种索引，这些索引被FE 400维护和使用，以便向CU300发布和分发流。SRM使用多媒体流的显式元数据以及与多媒体流和GU相关联的其他属性，以将每个多媒体流动态地组织在一个或多个有序列表中以及与事件/主题相关的一个或多个类别中。随着时间的过去，多媒体流在有序列表中的位置或者属于特定类别的有效性可能基于恒定地更新多媒体流的排名的LMFN周期或者恒定的改变多媒体流的可用性或有效性的SIM而改变。SRM将经索引、排序和排名的多媒体流转发到SPM。
SPM负责将经排名、排序和索引的多媒体流分发到CU 300。SPM基于多个搜索偏好以多种格式将这些多媒体流提供给CU。搜索偏好可以定义用户的搜索标准(用户标准或用户偏好)、多媒体内容的兴趣类型、位置，等等。搜索偏好从而可包括诸如以下信息：事件或题材类型、要捕捉的事件的长度、要捕捉的事件的位置、所期望的多媒体格式的类型、消费用户的偏好状态、用户预订状态、多媒体内容的类型、与多媒体内容相关联的元数据/标签、捕捉多媒体内容的时段、捕捉设备的硬件偏好、接收和捕捉设备的位置、网络联盟、人口统计信息，等等。
在一个实施例中，这些多媒体流基于来自CU 300的初始搜索请求被从FE 400分发到CU 300。在此实施例中，搜索请求包括CU 300的搜索偏好。通过基于搜索偏好进行索引、排名、排序和过滤来组织多媒体流，以使得可以以有组织的方式在CU 300的接收设备处呈现多媒体流。经组织的多媒体流随后基于与CU 300的接收设备相关联的呈现标准被捆绑。呈现标准定义了在接收设备上展现多媒体流的要求，并且是由用户标准、网络标准和接收设备的限制来驱动的。呈现标准可包括多媒体内容的覆盖的长度、将要以哪种格式来呈现多媒体内容以供展现、多媒体内容的类型、网络带宽等等。CU可用的格式可以基于用户标准，并且可以包括多流视图、基于地图的视图或者单流视图。CU 300接收设备可包括适当的界面来以期望的格式在接收设备上展现多媒体流。
图3A至3D示出了在CU 300和混合者接收设备处可用的、用于观看由FE 400发送的多媒体流的各种格式界面页面。格式界面页面可包括多流界面(MSI)、基于地图的界面(MBI)和单流界面(SSI)，其中每一个是可配置的，并且依据所涉及的GU和/或CU的状态而被公开或隐蔽。图3A示出了在本发明的一个实施例中，在接收设备可用来观看被发送到CU300的多个流的多流界面300-A(在图2C中示为MSI 300-A)。如图所示，MSI 300-A包括大的观看窗口300，用于观看所选择的多媒体内容，并且具有可配置的多行小窗口340，其内实时或基本实时地(即，在经过FE时略有缓冲)播放着成分流。
本发明的实施例描述了基本实时发生的操作。这里使用的“基本实时”应当被宽泛地定义为包括实时或者看起来实时的操作。在基本实时的定义内还包括由于传输和/或处理延迟而不可能实现实时操作的实施例。示例性的延迟可以产生包括略微缓冲延迟的处理，使得多媒体内容的观看者和捕捉者被呈现以看起来实时的环境，虽然能够察觉到或勉强能够察觉到的微小延迟不脱离应当被应用到基本实时的定义的宽泛范围。
返回参考图3A，用于提供反馈的交互式屏幕350(也称为观看窗口)以及屏幕控件385也被提供来允许消费用户在CU接收设备上可用的各种选项之间导航。从而，CU的屏幕资源允许其打开多少个流，CU就可同时观看多少个流，并且FE 400的SPM将继续跟踪和协调流的递送，即使CU可能在其自己的MSI内定制或重新组织个体流。
如前所述，多个注册的GU 200可能正在捕捉和发送针对特定事件/主题的多个多媒体流。FE 400接收这多个多媒体流(可达数千个流)并且基于在FE 400处定义的特定组织和过滤标准来对多媒体流进行组织。在本发明的一个实施例中，样本多媒体流金字塔在图4中示出。该金字塔的基底表示在SIM处接收到的所有多媒体流。FE 400基于内容和搜索偏好反复对多媒体流进行过滤和组织，并且以多流视图格式将经过滤的流提供给CU。例如，最初接收到总共12,000个多媒体流，如金字塔的基底所示。这些多媒体流被迭代过滤，以减少馈送(12,000→4,500→870→225→75→34→12→1)。经过滤的流随后被发送到CU，以便在接收设备上展现。在一个实施例中，经过滤的流以单个合成流的形式被发送。合成流可包括在该组较小窗口中展现的顶部两层选择，其中最顶部的单个流在观看窗口中展现，或者可以包括顶部三层，这取决于接收设备上的资源空间的可用性和多媒体流与CU请求/期望/品味的相关度。
在一个实施例中，MSI完全可由CU配置，以填充其自己的屏幕，并且CU可以使用搜索和发现工具来帮助选择流添加到其个人MSI。CU可以一次一个地进行此操作，或者通过选择特定的流群组(例如，最流行的等等)进行此操作，或者通过指定CU屏幕的一部分用于显示CU选择的空间内装得下的特定流行流群组中的尽可能多的顶部流，来进行此操作。这样，MSI可以充当个人流主页，它完全可由CU配置为任意数目的用户定义的或网络提供的流类别。
在另一实施例中，MSI是完全自动化的，并且由FE操作者或其他第三方关联发布者来填充给每个特定CU。在此实施例中，MSI可由FE操作者(不像前一实施例中那样由CU)基于CU、流或CU属性或数据来个性化。这样，FE操作者可以创建多个专门的MSI模板或类型，用于为各个CU创建更好的用户体验。MSI模板可基于所针对的年龄群组、收入水平和/或CU的兴趣来设计。此外，MSI模板可适合于特定的题材，例如金融服务、运动类别或运动队、资源、各种新闻组织或政治联盟、商业产业或职业等等。MSI可以基于许多标准来对多媒体流进行排名和分类，所述标准例如是基于内容的标准，比如颜色、照明、形状、运动、焦点等等，以及共同的元数据，比如在同一位置中，被某人的社交网络所观看、被GU团队所捕捉等等。在一个实施例中，FE操作者可以在LMFN的起始页面上填充表示特定MSI模板页面的图标选集。MSI页面随后可被填充以可供CU选择和反馈的当前可用的流的排名列表。
接收设备的MSI可以使用多个控件和选项来通过MSI中的当前正在播放GU的流的多个窗口向GU提供反馈。反馈机制可以依据用户偏好和/或MSI模板而变，并且可包括诸如单击确认机制、双击确认机制、点击并拖动确认机制、鼠标滚轮机制等等之类的机制，用于表明改变角度、继续聚焦于同一题材或者提供对该题材的更深入覆盖的CU反馈。例如，观看MSI页面的CU可通过点击一个流以表明他/她对该特定流的兴趣，来与MSI页面交互。由于LMFN是其中CU有能力动态改变其正在观看的内容的实时系统，因此CU可以通过点击动作来提高特定流在合成流中以及在MSI模板群体中的排名和突出度。
在另一示例中，CU可以直接在观看窗口中点击或者点击并拖动一个流，以向相应CU指示改变其捕捉设备的角度或该流的主题。该点击或点击并拖动动作可以针对屏幕上内容或者GU应当关注的屏幕外内容。来自CU的这些动作被FE看作是对排名和流行度的投票，以及对角度和主题改变的投票。FE在某个预定的时间间隔中聚集所有投票(CU动作)，并且将聚集的反馈以建议指令的形式传达给GU。例如，建议指令可包括在特定方向上移动捕捉设备的指令、指示特定方向的独特声音、或者出现在GU的取景器中的具有指示聚集CU反馈的闪烁箭头的观看叠覆、或者可能出现在GU的取景器中以指示对广播内容的各部分的各种兴趣级别的“热度图”叠覆，等等。在一个实施例中，MSI包括图形对象，其中包括方向性选项卡和按钮，用于指示共同的相机动作、滤波器或者由FE 400提供的其他可配置选项。CU可以使用其鼠标来与此图形对象交互，以便控制其对当前选择来反馈的特定多媒体流或特定的一组多媒体流的反馈或操纵。
在一个实施例中，MSI还包括用于混合的资源和CU的通信工具，比如即时消息传递器(IM)窗口，用于与连接到同一流的其他CU通信，或者通过在MSI模板中提供的通信工具，或者通过用户选择的IM-通信偏好，比如实况语音或通过电信网络创建的多媒体通信电路、基于因特网协议的语音(VOIP)或其他通信工具。在一个实施例中，例如，LMFN可以被多媒体制作团队使用，该团队中有些成员在远程现场，充当GU，其他成员则在另一远程位置，充当网络上的CU。在此实施例中，CU还充当指导GU与现场的其他GU协调多媒体流的制作者。在此实施例中，GU和CU可以将其MSI和/或MBI配置为限于团队成员以及利用LMFN上的封闭的、私有的通信在团队成员之间通信。
图3B示出了在一个实施例中的基于地图的界面(在图2C中示出MBI300-B)，其包括用于观看与事件/主题相关的地图345的大观看窗口330。该视图标识了当前在事件处可用的多个捕捉设备200，这些捕捉设备或者准备好捕捉事件/主题，或者已经在捕捉事件/主题并发送。观看窗口330包括导航控件385，用于帮助在屏幕之中导航。MBI是交互式网页或设备界面，其包括实际空间中的GU集群的实际或近似地图。基于在任何给定时间LMFN上的(注册的)活动GU的数目、排名、类型和密度，MBI可以是成比例的或者是相对的。MBI还可以是全局的或者是依频道、类别、GU或上下文/事件而定的(由LMFN操作者提供，或者通过CU与基本MBI的查询或交互来创建)。
在一个实施例中，MBI利用小图标和方向性箭头叠覆来指示GU及其媒体捕捉角度。通过点击并拖动，CU可以滚动MBI的场景，并且MBI将根据需要重新绘图，以显示出GU以及该方向上可用的任何新GU或主题之间的相对位置变化。类似地，MBI可包括“变焦条”(本领域已知的)，用于改变MBI的视角。按固定的时间间隔，所有MBI将重新绘图，以更新实际时间和空间中GU的变化的位置或角度。除了在MBI上显示GU的状态外，CU在向GU提供反馈时还可操纵GU的位置、朝向、焦距和视野的图标表示。MBI中的关于GU的该状态信息可被动画化(如果被足够频繁地采样和刷新的话)。
在一个实施例中，如果变焦上下文小到足以示出有限数目的GU，则MBI可包括“调出”框/窗口，其中来自该GU的当前多媒体流被显示在MBI中。例如，某次马拉松的GU的MBI可以利用所有活动的、有效的、可选择的GU的图标示出整个路线，但也可具有用于起始线处的GU、结束线处的GU和路线中间的突出位置处的GU的调出框。关于GU、其位置、朝向、焦距和视野、以及(当前的以及先前广播的)某一场景处的物体、人、位置的将来和过去的信息也可被叠覆在MBI上，以支持关于广播什么、在何处广播、谁来广播、何时广播的判决。
在任何时刻，CU可以选择MBI上的一GU的任何图标，从而立即在SSI中加载来自该GU的相应流，通过MBI直接向该GU提供反馈，或者将该流添加到新的或现有的MSI。或者，CU可以推荐或请求来自特定GU的或者针对特定事件/主题的新的多媒体流。在一个实施例中，双击MBI中的一GU图标将会在SSI中加载该流，而对GU的图标进行点击并拖动将使得CU可以将该GU添加到其当前默认MSI。向GU或CU表示关于GU的位置、朝向、焦距和视野的信息以及可在MBI上可视化的关于相关位置、事件、人、物体等等的信息的其他方式可用于在GU的捕捉设备和/或CU的接收设备上以广播流上的叠覆的形式表示反馈信息，其中广播流被叠覆以被合成和/或插入到广播流的实况视频中的反馈流。
图3C示出了在本发明的一个实施例中提供给CU和混合者的单流界面(在图2C中示为SSI 300-C)。SSI 300-C包括使得能够对所选多媒体流进行高分辨率展现的大观看窗口330。该多媒体流可以是来自一个GU的实况多媒体内容，或者它可以是由LMFN、由其他CU或者由进行观看的CU本身自动创建的合成流。在一个实施例中，SSI包括用于观看单个所选多媒体流的主观看窗口330，以及布置在其下的一系列更小的窗口，这些更小的窗口被示为缩略图340，指示出可从CU、GU、MSI获得的或者与SSI中当前正在播放的单个多媒体流相关的其他多媒体流，和/或最近观看的广播流的片段。SSI 300-C还可包括定时器控件360，其使得CU可以基于对该定时器控件的设定来检索与事件相关的适当的先前观看过的多媒体流。为了提供检索先前观看的多媒体流的能力，多媒体流可被存储在接收设备本地或者存储在CU可通过通信网络访问的远程数据库中。SSI包括导航控件385，供CU与当前多媒体流交互，以及提供反馈和/或建议给该多媒体流的GU、其他GU、相关CU或其他CU、以及接收来自GU或CU的反馈。在一个实施例中，由于SSI也是其中向任何多媒体流给予最大量的屏幕资源的视图，所以可以允许CU使用其鼠标来在当前流的框架内选择主题、题材或对象，并且将关于GU正在捕捉的该所选主题、题材或对象的反馈或指导传达给GU。
图3D示出了在本发明的一个实施例中具有用于接收和展现多媒体流的观看器界面的移动电话设备的表示。以上已经参考图16详细说明了移动电话接收设备的各种组件/选项的功能。
继续参考图2C，发现过程以CU响应于在CU接收设备处展现的实时多媒体内容通过FE 400的反馈管理模块向GU、其他CU和混合者提供实时反馈继续。反馈管理模块包括反馈取入管理器(FIM)、反馈分析管理器(FAM)、反馈递送管理器(FDM)和事务管理器(TRM)，这些管理器一起工作以通过MSI、MBI或SSI处理CU交互并将该反馈传达给GU、CU、混合者和其他用户。
FE 400辅助两个主要反馈环(常规通信渠道和直接通信渠道)，这两个反馈环一旦被启动，就独立运行，直到逻辑上被解析为止。常规通信渠道是在CU、GU、混合者和其他用户通过反馈管理模块相互通信时的。反馈管理模块接收来自用户的反馈，并且聚集、组织并转发反馈给适当的用户。除了CU与GU之间的常规通信渠道之外，反馈管理模块与流管理模块不同，还包括通过CU到GU直接电路在GU与CU之间的基于人类的通信交互。由于反馈管理模块帮助将某种形式的反馈传达给GU以及传达来自GU的跟进响应，所以反馈管理模块可以包括相关或第三方通信网络。
反馈管理模块对所有GU、CU和混合者之间的动作、交互和通信事件作出反应，以便修改个体或相关流的排名以及合成流的成分池中的群体可用性。为了在多媒体展现期间提供丰富的用户体验，LMFN被配置为允许用户群组之间的实时通信以帮助实时体验到CU对GU的影响。用户群组之间的反馈可包括CU与GU之间、CU与CU之间、CU与混合者之间、GU与GU之间和/或GU与混合者之间的直接交互或者通过FE的交互。用户群组之间的反馈可采取许多形式，例如直接设备反馈、文本、图形、音频、社区评定、实况流行度、振动、温度或其任何组合，只要这各种形式可被接收设备捕捉并发送即可。
GU和CU是通过与每个用户相关联的各种角色/类型和标准来区分的，并且可以通过各种关系而相互链接以及链接到各种主题，以及被组织成可被进一步链接和归组的群组。典型的GU角色可包括以下各项中的任何一项或其组合：从各种角度捕捉事件/主题/人/活动/物体/产品/品牌或服务的快照的捕捉设备操作者、在适当的时间将所捕捉的多媒体内容与适当的广告内容相混合的混合者、为了即将发生的事件而被定位在特定的位置、评论员、导演和加标签者。在一个实施例中，GU或混合者可基于多媒体流的相关上下文内容来选择适当的广告内容并将其放置在多媒体流内的适当位置。典型的CU角色可包括观看者、评论员、切换者、混合者、转录者、加标签者、导演、广告单元插入者、对多媒体流中的对象的超链接添加者。各种用户之间的通信和反馈可以是不同模式的，例如可被捕捉和发送的文本、数值、语音、音频、图形、图标、视频、振动、温度等等。
在用户之间交换的反馈可以应对规模和上下文的问题。规模问题应对的是有多少反馈被产生并消费以及被多少人消费。上下文问题应对的是反馈的上下文消费和产生。FE 400在将反馈提供给用户(GU、CU、混合者)之前进行聚集、过滤、总结、仲裁和转码。此外，FE 400协调来自CU的请求并且帮助识别一组GU来服务该CU请求。例如，CU可以选择MBI内不包含GU的位置，并且FE反馈管理模块将帮助到在CU所识别的该位置的有限地理阈值内的最近的一组GU的实时呼叫，从而可能改变多媒体内容。FE 400向该组GU发送实时通信，并且将GU响应(接受或拒绝)报告回请求所源自的CU。在多个CU向FE 400发出这种基于地理的GU请求的情况下，LMFN操作者可以介入以安抚请求并按类别或通性来组织请求，以提供更交互式的用户体验。除了实时反馈之外，LMFN还可接收对CU或GU希望LMFN广播的地点/事件/人/主题/物体的提前请求。这些请求既可帮助GU决定挑出哪些主题来广播，又可以充当在一个事件中要注意或挑出的初始一组目标。
返回参考图2C，FIM负责辅助向CU进行MSI、MBI、SSI的浏览器显示或设备显示或者任何其他流呈现，并将该数据中的一些或全部提供给FAM。FIM还控制并收集可基于多媒体内容从CU跟随的任何和全部用户动作，例如鼠标悬停动作、点击动作、点击并拖动动作以及其他交互形式。FIM批准并验证CU、CU动作并且收集这些动作作为CU反馈，以将所收集的反馈转发到FAM。
FAM接收来自FIM的原始数据或建模数据，并且负责审阅、对照和填充与特定或聚集的CU、主题和LMFN操作者指定的任何其他模型或标准相关联的经批准和验证的反馈。例如，在一个实施例中，操作者可以利用收入优化模型，该模型将使得预订CU的反馈的权重强于访客或公共CU的反馈。FAM收集反馈并且基于在FAM处选择的模型/标准来创建CU与多媒体流、与GU和与其他CU和混合者的交互的实时动态逻辑表示。FAM可以通过编制捕捉设备和/或分析广播内容以不仅确定GU的位置而且确定GU与广播题材之间的关注向量，来使用关于GU的更精密定位信息组织反馈，从而有效地确定GU的三维位置、GU正在产生的广播题材和图像平面以及GU之间的向量、广播题材和图像平面。该关注地图帮助描绘出网络上的GU和CU的动作、通信和流投票/交互行为的加权表示。
为了帮助GU与CU之间的交互，FAM使用与多媒体内容相关联的元数据以及所导出的多媒体和相关联的GU和CU的属性来将每个反馈事件放置到与GU、CU、混合者、赞助者、发布者或网络上的任何其他用户(包括第三方用户)相关联的一个或多个数据库中。这些数据库随后可供其他FE组件查询，以便实时地做出排名或聚集判决。在由CU交互的规模限定的预设时间阈值之后，FAM基于CU动作或GU响应向TRM提供长期数据，并且发起对FDM的调用，以便立即将聚集的或个体的反馈递送到所有GU。实质上，LMFN基本上计算任何给定CU与真实世界中开展的事件之间的时空关注路径(由LMFN的各种组件作为媒介)。
FDM接收所聚集的响应并且与使能与GU直接通信的通信网络和其他通信运营商网络交互。交互可以是同步或异步的，并且包括所有已知形式，其中包括MSI、MBI、SSI以及GU侧界面，包括语音、多媒体、文本、IM等等。在GU通过LMFN广播但没有CU与其流交互的情况下，不生成长期反馈数据。在这种情况下，只有GU和多媒体流数据库被更新。
在LMFN过程中，CU响应于多媒体流向GU提供连续反馈，GU以经调整的多媒体流和/或反馈作为响应，并且CU再次响应，并且该过程继续，直到GU停止捕捉多媒体内容或者CU失去兴趣或退出为止。TRM收集数据来更新个体GU和CU配置文件以及按事件/主题生成的聚集的GU、CU和任何相关赞助者数据。TRM可以基于事务事件维护其自己的用户和内容排名和记分数据库，或者它可共享或提供此信息给其他LMFN模块或过程来维护。
在以上详细描述了反馈引擎400内的各种模块之后，在本发明的一个实施例中参考图5来描述样本LMFN环过程或反馈周期。该周期开始于GU捕捉并通过通信网络发送多媒体流到FE 400。FE 400取入、审阅多媒体流、对其进行排名并利用反馈界面和机制将其发布给感兴趣的CU。如图所示，反馈界面机制可以是任何形式的，只要它们能够接收并转发由GU发送的多媒体内容即可。多媒体流可以以单个、多个或合成流的形式提供。CU消费多媒体流并且向GU提供与主题、内容、角度等等相关的反馈。FE 400接收、处理并聚集CU反馈并将反馈发送到GU。GU接收反馈并以经修改的或新的多媒体流作为响应，该周期继续，直到CU停止观看多媒体流或者GU停止捕捉和发送多媒体流为止。
II.切换过程：
切换过程被定义为在多个实况多媒体馈送之间切换以便基于来自用户的实况反馈来实时产生合成流。本申请中使用的术语“切换”应当被宽泛地解释为定义了使能从聚焦于实况多媒体内容的一个源到聚焦于实况多媒体内容的另一个源的过程。切换可被配置为在观看多媒体内容的过程中利用特定用户的预设偏好列表或者在该特定用户是具有更多偏好的群组的成员的情况下利用一算法来自动执行。虽然已经利用特定类型的切换技术来详细说明了本发明的实施例，但是必须强调，也可使用其他类型的切换技术。切换能力涵盖了从实况多媒体内容的一个流到实况多媒体内容的另一个流的任何类型的移动、转变、转移或重点放置，并且这种内容类型之间的移动可以通过任意数目的方式来执行，所述方式包括淡入、点击、变成分割屏幕、在缩略图内生成缩略图等等。此外，切换过程应当被广泛地解释为包括任意数目的过程、算法、功能代码或硬代码，它们使得能够依据多媒体内容的特定消费者的愿望、喜好、品味和偏好在特定时间适当地囊括入特定的实况多媒体内容。
切换过程可以由多个CU、多个GU或多个混合者发起。切换过程使能根据多媒体消费用户的数目及其对每个流的反馈、基于所捕捉的媒体流的排名来实时产生合成流，包括基于流行度、位置、题材内容和用户反应来集聚流的方式。切换过程涵盖了切换的多个阶段或级别，包括在CU、GU或混合者反馈期间和/或来自GU的响应期间的切换，并且既包括自动切换也包括手动切换。
为了更详细说明切换过程，现在关注图6，该图示出了在本发明的一个实施例中用于切换过程的实况多媒体机切换网络(LMSN)。LMSN在结构上类似于LMFN，并且包括媒体生成用户(GU)、GU捕捉设备、反馈引擎(FE)内的切换引擎(SE)、媒体消费用户(CU)、CU接收设备以及通信网络。GU、CU和混合者都是LMSN的注册用户，LMSN具有切换机制，使得在切换过程期间可以验证和识别这些用户。
由GU(也称为“捕捉用户”)捕捉设备捕捉到的多媒体内容被实时发送到FE，在这里它被SE处理并随后被FE以各种格式发布给CU，所述格式包括单源馈送、多源合成馈送以及被FE操作者、一个或多个SE或其他可协同操作的第三方软件编辑或重新混合的馈送。注册的GU可以是独立的或者与一组织相关联、被付费的或者未被付费的、被赞助的或未被赞助的。注册的CU可以是媒体制作或才能产业中涉及的业余或职业用户，或者只是进行观看的公共或私有用户群组的成员，也可以是混合者。LMSN使用关于CU及其偏好的实时和历史数据来对交互式多媒体环境进行个性化。
在本发明的一个实施例中，切换过程在LMSN上开始，并且是在CU选择特定多媒体流时由CU发起的。虽然本实施例描述了切换过程由CU发起，但切换过程也可被扩展到包括由诸如GU、混合者、广告主、内容赞助者等等之类的其他用户群组发起。在手动和自动化切换过程中，对于每个选择流的CU，开始的相对性对于帮助在每个流的特定上下文内对CU排名是很重要的。该排名用于帮助基于资历和历史来对给GU的CU反馈进行优先级区分和加权。
本发明的当前实施例使用排名算法来基于每个CU的观看持续时间、每个CU的观看评定和其他因素来对多媒体流排名。排名算法需要足够智能以识别出新创建的多媒体流和先前创建的多媒体流，以便新创建的多媒体流被适当地排名。从而，CU和GU存在于社交关系和网络反馈环交互的动态网络中，这些社交关系和网络反馈环交互结合当前网络状态和配置变更CU和GU相对于彼此的排名和在全局的排名。CU从而不仅可以通过主动点击实况馈送来选择流，还可以通过搜索功能，基于预期将提供给CU的广播信息，来程序化地指定在创建后要实时观看或者保存来以时移方式观看的流。GU上载广播信息，例如预期的广播位置和事件/主题，或者基于时间表和内容风格。例如，从本地海滩进行实况访谈节目的GU将向网络注册他/她的“节目”，并且CU随后可以在广播时访问节目实况，通过网络内容搜索功能以时移的方式发现它，或者甚至预订访节目，以便一旦其被发布网络就将向CU递送通知(或拷贝)。CU还可以针对所请求的节目向网络张贴信息。例如，观看从本地海滩广播的节目的CU可能知道其认为值得访谈的老热狗商贩。在这种情况下，CU以内容建议(请来这个嘉宾、进行这个访谈)、风格建议(从热狗车的轮下拍摄访谈，以获得酷的效果)或者对GU的任何其他反馈的形式提供期望性意见。
在一个实施例中，CU可是针对其产品、事件、人情味故事或特定题材或主题的多媒体覆盖张贴提议请求(RFP)的付费客户，而GU可以通过网络搜索这些许诺以挑选并选择它们下一个付费制作小节目。响应于CU发出的RFP，GU签订某种形式的合同以完成所协定的覆盖，或者广播多媒体制作。所捕捉的关于事件/主题的多媒体可通过网络被广播到有限的或者私有的GU网络，比如公司销售人员会议，或者公开广播，例如股东会议或市政厅会议等等。这样，可以促成这种广播多媒体，以便获得货币补偿、网络补偿、职业担保或网络进行的其他非货币安排。
从CU加载第一个登录或MSI、MBI或SSI页面起，SE就跟踪和记录CU的所有动作和交互。SE聚集CU在接收设备处的动作以及与其他用户的交互，并且馈送到用于SE的整个GU和CU的网络中的多媒体流的核心排名算法中，其中GU和CU是实时连接的。在一个实施例中，与网络上的流的非实时(异步)交互也被包括在用户和流事务日志、用户排名和未来的成分默认得分中。例如，拥有“成功命中”的多媒体流的GU在核心排名算法中将开始于较高的排名，这是因为将该成功命中看作是对给定CU明确或隐含地支持了由该GU捕捉的该多媒体流的指示。核心排名算法可以使用加标签、观看计数、兴趣度、个人对流行度的社交网络过滤以及基于地理的度量，来对多媒体流进行排名和优先级区分。核心排名算法还可包括诸如用户状态(付费赞助者和未付费赞助者)之类的度量来对多媒体流排名，使得付费赞助者(GU)多媒体流的排名可以高于未付费GU的。除了上述度量之外，核心排名算法还可基于来自诸如CU、混合者、网络操作者等等之类的用户的请求来导出。
SE还包括任何实时交互，包括与多媒体流的异步交互，这是用户和流事务日志、用户排名和未来成分默认得分中的强成功指标。随着特定多媒体流积累成功命中，这些多媒体流的流行度增大，并因此被认为可能被赞助或产生收入。此外，这些多媒体流可被进一步用于在LMSN内开发新的用户社交网络。
SE聚集这些指标(成功命中等等)，并且生成动态网络质量得分(QS)，该质量得分定义了这些多媒体流在网络上的声誉和价值。在一个实施例中，如果多媒体流被生成并在选定的一组私有GU和CU之间共享，则多媒体流的QS值是在该选定的一组私有GU和CU内计算和排名的，但可能不会提供给网络上的公共用户。在另一实施例中，如果GU和CU作为配对一起工作，则这种GU和CU QS也被聚集。
从而，用户和多媒体流的QS值与用户和多媒体流的流行度和声誉、关系和状态直接相关。用户可以是CU、混合者、提供多媒体流的其他GU或者任何其他提供反馈的感兴趣用户。与用户相关的QS值可以表示每个用户的流行度度量，并且基于这些QS值，作为回报系统的一部分，用户可被授予更大的网络权利和责任。例如，铜、银、金和白金用户的分层系统可用于征募在社区创建、策略施行以及请求构建的特征的定制化选项的过程中最活跃的用户。这些级别还可以以特定制作功能、广播主题和/或赞助满意度来限定范围。在一个实施例中，基于各个多媒体流的QS值，多媒体流可用于赞助、潜在货币化等等。
在本发明的一个实施例中，一旦GU被指派以特定的QS值，SE就可以同时向该GU生成的任何新多媒体流指派以相同的QS值，而不论新生成的多媒体流的流行度如何。在至少一个反馈周期已被处理之后，默认QS评定将实时地基于来自聚集的GU的交互数据而被修改。SE从而是一种允许LMSN操作者监视事件的多媒体流的创建和消费以及消费趋势的调谐机制。SE的调谐机制还可用于最大化操作者的目标，例如赢得更多流量、签下更多CU或GU、委托赞助者或者推广特定内容或用户。既可以计算关于作为个体的GU或CU的QS，也可以计算关于GU广播或CU混合的各种题材(地点、事件、人、物体等等)的QS。这两个QS的各种混合可以创建组合QS，该组合QS可用于对多媒体流的流行度排名。例如，具有较低QS的GU可能正在广播具有高QS的主题，而具有高QS的GU可能正在广播具有低QS的主题。所有QS都是相对于消费广播多媒体流的给定CU的，并且可以针对CU的整个网络或者CU网络的各种子集来计算。
返回参考图6，为了辅助切换过程，LMSN配备有一个或多个SE，负自动生成、维护和归档(适当时)合成流。SE基于多媒体内容和用户(消费用户和生成用户)的相对排名来生成合成流，并将合成流传递回FE，以便递送到特定CU或CU组。SE通过使用一个或多个排名算法以对照风格模型应用排名模型来完成这一点。排名模型可以由用户事务日志和网络目标、GU或制作实体提供，而风格模型可以由切换界面、网络、用户或其他第三方提供。所生成的合成流包括来自多个GU的多媒体流，以及任何文本、图形、叠覆、音频、音乐、语音或其他多媒体内容的混搭。由SE创建并传递到FE的每个合成流被视为单个流。合成流包括定义源的元数据和属性数据，其中包括构成合成流的成分贡献。
自动化切换过程开始于SE通过FE连接到用户数据。在一个实施例中，FE通过向SE提供实况多媒体流的动态有序列表来促使SE访问用户数据。在另一实施例中，SE向FE发出对用户数据的请求，并且FE以实况多媒体流的动态有序列表来响应给SE。动态有序列表可以是基于FE可用的排名算法实时生成的。FE提供的用户数据可包括诸如排名、流行度、QS等等之类的信息。SE随后加载SE当前可用的风格模型和成分排名模型。风格模型向SE提供用于呈现在切换过程期间创建的合成多媒体流的模板。当在SE处通过FE接收到由多个GU生成并发送的新多媒体流时，SE自动将从GU接收的新生成多媒体流与来自所有GU的现有多媒体流相比较，进行索引并排队以便包括在合成流中。SE内的合成创建者可以使用一个或多个排名算法来对照排名模型的有序列表应用风格模型，以为每个CU创建个体化的合成多媒体流。SE将个体化的合成多媒体流转发到FE，以发布/分发到各个CU。在分发后，FE更新各个多媒体流和GU的流行度列表。SE基于所接收的新多媒体数据和经更新的流行度列表来调整合成多媒体流。切换过程继续，直到风格模型或FE要求结束合成计划制作为止。
在本发明的一个实施例中，经历切换操作的合成流的示例在图9中示出。CU接收由SE根据CU的明确请求而转发的多媒体内容的合成流。CU接收设备展现合成多媒体流。合成流包括由多个GU生成的多个多媒体内容。多媒体内容是在主观看窗口旁边的一组较小窗口中展现的，在主观看窗口中展现了具有总体较高排名的优选多媒体内容。例如，在CU的接收设备处，多媒体内容C(具有较高相关性排名)被展现在兴趣点(主观看)窗口中，而其余的多媒体内容则多个较小窗口中展现。应当注意，多个内容正被实时发送，并且合成流中的内容可以不断地变化。内容C可以基于内容的、用户的或者位置的流行度而被选择。在切换过程期间，主窗口的内容(内容C)被切换成另一内容(内容H)，因为基于CU反馈排名发生了转变。反馈可以是点击、点击并拖动的形式或者采取其他形式。在一个实施例中，CU、GU或对多媒体内容感兴趣的其他用户可以通过插入广告或评论来定制正在展现的多媒体内容，以生成定制的多媒体内容H。评论可以采取诸如音频、视频、图形、振动等等之类的任何形式。基于由CU、GU或混合者设定的偏好，定制的内容H可以被发布或与CU、GU的私有群组共享或者公开共享，从而网络中的其他用户可能能够展现该定制的多媒体内容。
为了辅助切换过程，SE可以包括多个模块。在图6所示的本发明的一个实施例中，每个SE至少包括成分管理器(CM)、排名管理器(RM)、风格管理器(SM)以及赞助者事务管理器(STM)，用于监督为CU生成合成流。一些SE可以考虑到特定CU或CU组而加以调整(例如，针对儿童、成人、体育爱好者的混合)，而其他的则可以围绕着特定的GU或GU组来加以调整(例如，Michael Moore的最新网络项目、GU才能发现竞赛、仅限个人的家庭电影，等等)，或者SE可能不知道GU或CU，而只是使用关于实际多媒体内容的数据和元数据来产生合成流。
CM负责接收来自FE的经验证的流，以用于SE的合成流创建流水线中，并且对其进行索引，以便立即和/或继续包括在可能的合成流中。由于LMSN既包括已经创建的合成的经编制的实例，也依赖于实时合成创建能力，因此SE可以基于CU对同一多媒体流的刚才创建的部分的实时交互来优化其自身对源和风格的混合。CM保持跟踪由该SE创建的任何合成内的多媒体流的所有源GU，并且将任何新可用的流移交给RM，以便可能包括在即将发生的合成中。
RM负责取得其从CM获得的每个可用多媒体流，并且对这些多媒体流进行审阅、对照和填充，以形成被SE用来创建合成流的各种索引。利用多媒体和相关联的用户的显式的以及导出的元数据和路径属性，RM将每个潜在的流放在一个或多个有序列表上以及一个或多个类别中的特定初始位置处。
随着时间的过去，多媒体流在有序列表上的位置或者属于特定类别的列表的有效性将基于LMSN周期更新多媒体流的排名或者CM动态改变多媒体流的可用性或有效性而动态变化。一旦类别和排名列表的索引已被创建，RM就将经排名和排序的列表提供给SM。
SM负责通过针对来自GU的所有可用多媒体流对照其从RM接收的排名列表和类别应用风格模型，来组装实际合成。风格模型控制视觉外观、场景长度、转变偏好、声轨、图形和其他交互或合成创作变量。风格模型可以是用户指定的，或者由GU或LMSN操作者创建。通过将若干种风格模型与若干种排名列表相组合，可通过此系统创建均使用相同原始内容的许多由此得到的合成。SM还可向LMSN中的其他模块反馈信息。在本发明的一个实施例中，样本SE合成流创建流水线在图7中示出。如图所示，SE将合成流与赞助者皮肤(以提供页面的观感)、风格模型(定义用户偏好标准)和成分排名模型相集成，以生成合成流。
图8示出了在本发明的一个实施例中用于切换过程中的样本自动合成切换周期(LMSN环过程)。切换过程开始于通过FE在SE接收到用户数据时。SE中的SM向用户数据的适当内容应用风格模型、排名模型和赞助者内容，并且生成通过FE被转发到CU的合成流。CU通过FE向SE提供关于合成流的反馈。SE将反馈转发到GU以用于定制多媒体流，并且更新在SE处可用的各个数据库或仓库中的各个成分数据和用户数据，使得经更新的成分和用户数据可被用于在切换过程期间确定多媒体流和GU的排名和流行度。
每个风格模型中可包括的必要成分是合成流或SE的赞助广告属性。赞助广告属性可以涉及存储在赞助内容数据库中的相关赞助内容。在将包括赞助内容的流或SE中，STM负责访问赞助内容数据库、识别赞助内容、协调赞助内容取入、批准、匹配、嵌入和在合成流内递送所识别的赞助内容。赞助内容数据库可以与SE/FE集成在相同的服务器上，或者容宿在远程存储设备上并且通过通信网络被提供给SE/FE。STM可以在内部包括所有这些功能，或者通过API与适当的赞助内容管理系统程序化地一起工作以访问赞助内容数据库。
SE创建的合成流的CU就反馈和界面选项而言可包括与单个GU创建流相同的所有选项。在一个实施例中，LMSN操作者已将专门的SE编程为基于来自感兴趣的用户(例如赞助者)的输入来创建公共合成频道，用于在任何时间(某种指定的一段时间)进行用户交互。例如，赞助的合成频道可以由LMSN操作者基于多媒体流的内容、正在覆盖的事件或者正在针对的用户，针对特定的品牌(例如，Coke、Ford、WSJ、ACLU等等)来创建。
在赞助合成频道实施例中，广告主可以直接就为广告主的频道选择或配置GU提供意见，或者它们可以委托LMSN基于对活动目标和目的的指定来为广告主进行适当的匹配。基于从与广告内容的实际用户交互中接收的反馈，带品牌的频道可随着时间的过去而被优化。
在一个实施例中，LMSN创建一系列公共的基于度量的合成频道。这些基于度量的合成频道可以按GU或CU特性、主题、流行度或相关性来组织。在另一实施例中，重混合者界面(RMI)可供意欲创建其自己的合成流的CU使用。RMI基本上是使CU可以生成其自己的自动化合成的SE编程工具。在一个实施例中，SE被优化以专门针对实时观看计数来排名，从而使得由此得到的合成取决于当时的实际网络条件从一个GU到多个GU将是连续的。在CU狂热投票并且GU尝试对CU作出响应并保持其流最流行的游戏中，此实施例随着时间的过去将增大网络参与度和流量。
FE基于多媒体流中的内容的排名标准，以适当的格式来显示可用多媒体流。在一个实施例中，FE在MSI中显示可用多媒体流，在MSI中，用于每个多媒体流的个体窗口是基于指定的排名标准(用户或LVFN操作者)来分别设定大小的。例如，一个流越流行(基于当前CU交互和/或一段时间中的总CU交互)，显示该流的窗口就越大。从而，此实施例的MSI将具有各种大小的窗口，其中更大的窗口表示更紧密地匹配指定标准的流，例如搜索查询结果在更大的窗口中呈现更高排名的馈送，等等。从而，切换机制提供了一种工具来基于CU请求和用户反馈对来自各种GU的多媒体流进行排名和优先级区分，从而使得用户可以接收满足其需要和要求的丰富的定制多媒体呈现。
III.货币化过程：
货币化过程提供了一种工具或机制，通过这种工具或机制，内容提供商和用户能够通过将赞助内容与捕捉到的多媒体内容包括在一起和/或通过推广多媒体内容、事件/主题和用户来产生收入。本申请中使用的“货币化”应当被宽泛地解释为包括针对将与某一赞助者相关联的特定捕捉内容、图像或赞助内容的“点通(click-through)”，等等。本申请中使用的点通可以包括对关注特定GU或特定捕捉区的观看者/消费者的计数。该计数可用作类似于网页上的导航的度量。此外，货币化可与来自关注特定多媒体流的社区和用户的评定或者定义货币化级别的矩阵相关联。例如：为了获得对最流行的多媒体内容或者最流行的GU的更高级访问，可以收取或者回报更高的费用，因为最流行的多媒体内容或者最流行的GU会使得最多的观看者来观看该特定多媒体内容。货币化从而应被宽泛解释为定义了可被确立来将用户与可能希望赞助、付费或以其他方式影响特定GU捕捉的或者特定CU消费的内容的第三方之间与实况多媒体流相关联的观看活动和交互耦合在一起的任何算法、过程或协定。
这样生成的收入可以是财政的、社交的、基于网络的或者基于货币的等等。货币化过程使得诸如广告公司、混合者、GU、CU或任何其他感兴趣的用户之类的用户能够利用赞助呈现、地理针对、行为针对、基于流行度的收入共享、基于多媒体呈现的内容的真实世界产品放置和广告包/表面管理、所捕捉的事件/主题以及基于相关联的用户(捕捉、混合、重新发布、赞助或消费)来向多媒体内容提供收入生成赞助。
货币化过程使得能够基于所涉及的特定用户和内容的属性和当前所捕捉的多媒体流的根据流行度和价值的排名，通过将推广性多媒体内容与所捕捉的多媒体内容相集成来自动实时生成合成多媒体流。所捕捉的多媒体流可以利用从排名算法获得的信息来排名，并且可以基于多媒体消费用户的数目及其对每个流的反馈，包括基于流行度、位置、题材内容和用户反应来集聚流的方式。货币化过程涵盖了多个用户和级别以用于推广内容，包括诸如CU、GU、混合者、广告主、赞助者等等之类的用户，以及在CU、GU、混合者反馈期间，在从GU响应期间，等等，并且可包括合成多媒体流的自动和手动生成。GU、CU和混合者是具有货币化机制的通信网络上的注册用户，从而在多媒体内容的推广期间可以验证和识别GU、CU和混合者。
在一个实施例中，货币化过程使得消费用户可以遵循流式媒体的照片库型模型来赞助定制的/个体化的流式多媒体。这里应当注意，定制/个体化的流式多媒体可以是为了个人使用或者为了商业使用而生成的。在两种情况下，用于将赞助内容与捕捉的内容相匹配的过程实质上都是相同的。在为了商业使用而创建定制的多媒体流的实施例中，CU在将流式多媒体定制为符合CU要求之后，可以赞助所定制/个体化的多媒体，以便吸引更多的观看者流量。或者，货币化过程可允许通过分布式移动网络来进行对定制的多媒体流的本地化针对性刺激呈现，或者可以允许基于用户反馈的即兴的、实时的广告。从而，取决于CU位置、偏好、市场状况等等，在单个位置捕捉的同一流可以被捆绑到多个不同的合成流中。
在一个实施例中，货币化过程允许在GU(多媒体捕捉者)、制作者、重混合者和评论员之间以与在消费用户间的流行度成比例的方式共享或分配收入。货币化过程可以使用排名算法(与切换过程中定义的那种类似)，基于当前对多媒体流的内容感兴趣的每个用户的先前历史，在用户(GU、制作者、重混合者和评论员)之间提供按比例的收入共享。实质上，一个流的收入共享协定的每一方将被分配以随着时间的过去由该流的货币化生成的收入或利益的静态或动态的百分比。这些收入共享安排可基于用户关于一组范围的协定而被预先安排或者实时安排，在该组范围内，收份额可依据实际贡献而滑动。
在另一实施例中，货币化过程允许了GU基于所捕捉的多媒体内容来生成货币化(广告)收入。在此实施例中，GU捕捉特定事件/主题的多媒体内容。所捕捉的多媒体内容包括被GU识别为属于收入支付赞助者之一的一个或多个推广媒体。GU可以访问愿意为捕捉设备所捕捉的推广媒体支付广告收入的广告主/赞助者的列表。广告主/赞助者的列表可在本地供GU使用，或者远程地存储在远程存储设备上并可由GU利用通信网络来访问。广告主可以是网络操作者在没有来自GU的输入的情况下自动选择的，或者可以由GU利用某种表单来选择，该表单提供关于为了货币化而要与其多媒体内容相匹配的赞助内容和广告主的有限到完整的输入。不同的货币化模型可用于自动系统或基于选择的系统。
与从GU接收、聚集和转发多媒体内容到接收设备相关联的系统将收入产生赞助者所定义的一个或多个推广广告与相应的推广媒体相集成以生成合成多媒体流。在一个实施例中，每个推广广告是从数据库获得的，并且对推广媒体的属性的检查使得能够识别指向推广广告中的所选推广广告的至少一个链接。推广广告的集成是通过首先识别与接收设备相关联的屏幕上用于放置推广广告的位置、并随后将相应的一个或多个推广广告注入到所识别出的位置中来执行的。位置可以是可观看屏幕的特定一段或一部分，或者它也可以是足够将推广内容添加到常规内容中以实现货币化目标的图像的一部分或一层。推广广告使得GU能够为推广媒体生成货币化收入。合成多媒体流随后基本实时地在接收设备处被呈现。在一个实施例中，与一个或多个推广广告相关联的货币化收入可以基于对所捕捉的多媒体内容感兴趣的观看者的数目来实现。在另一实施例中，货币化收入可基于与在接收设备处执行的推广广告相关的特定动作和交互来实现，而在又一实施例中，可以使用上述的某种组合。
在另一实施例中，货币化收入是基于推广媒体图像来实现的，如图17A和17B所示。在此实施例中，由捕捉设备捕捉的多媒体内容包括推广媒体的图像175。推广媒体的图像175可以是针对赞助的商业产品的，例如CokeTM，或者是针对某一服务或品牌的。GU将多媒体内容与该推广媒体一起发送到接收设备以供展现。来自GU的所捕捉的多媒体内容可以是合成多媒体流的一部分，该合成多媒体流可包括来自其他捕捉GU和混合者的多媒体流。
与从GU接收、聚集并转发多媒体内容到接收设备相关联的系统通过跟踪选择所捕捉的多媒体内容来在其各自的接收设备处观看的消费用户178的数目来确定所捕捉的多媒体内容的流行度。在图17A所示的实施例中，总共123个消费用户在11:00a.m.正在观看来自GU的所捕捉的多媒体内容，其不包含推广媒体。对于由同一GU捕捉的包含推广媒体的多媒体内容，消费用户的数目在2:50p.m.变成了1,235，如图17B所示。
系统还确定推广媒体的图像被包括在当前在接收设备处展现的所捕捉的多媒体内容中的时间段(在2:50p.m.到3:50p.m.之间)，以及在该时间段期间多媒体内容的相应流行度评定。图18示出了“流行度与时间”图和“推广媒体与时间”条线图，其中推广媒体与时间图中的条线185表示在所捕捉的多媒体内容中示出推广媒体的时间段，在此多媒体内容的流行度处于峰值。虽然只示出了一个峰值并且在此示例中只跟踪了一个赞助者，但是随着所捕捉的内容变化，对于多个赞助者也可具有多个峰值。
系统基于在所捕捉的多媒体内容中存在推广媒体的图像的时间段期间多媒体内容的流行度来识别与推广媒体相关联的收入生成算法并且计算与所捕捉的多媒体内容相关联的广告收入。计算出的广告收入被分配给GU作为对在事件/主题捕捉期间捕捉推广媒体的激励、向赞助广告主收取，并且可以适当地与任何其他网络用户(例如，混合者、语音才能者等等)共享。
现在将参考图10来详细说明货币化过程的另一方面。货币化过程开始于基于真实世界存在的特定产品/物体/事件/主题/人物放置。广告主或赞助者可以参与多媒体流中的产品放置(推广媒体)，以通过包括用于广告现有产品或介绍新产品的适当广告(ad)来产生收入，或者就只是作为品牌广告活动的一部分。ad放置和/或收入生成可以基于特定货币化标准来按比例缩放，所述标准例如是产品相对于多媒体流的放置、产品的赞助角度、多媒体流内的静态或动态可点击元素、展示该产品的时间量、多媒体流的流行度、多媒体流所捕捉的事件/主题的类型、或者针对的观众，等等。图10中的实施例示出了一个样本ad生成事件，其中屋顶上有产品标志的公寓大楼由于其楼层之一失火的重大新闻故事而被覆盖。
一般地，对GU和CU的实时反馈可以指示出在真实世界中的这些货币化机会。这种实时反馈可以被销售给广告主、产品提供者和其他感兴趣的用户，以产生收入。由于多媒体流被实时观看，所以内容制作者或者产品提供者可能在流式媒体内的虚拟空间中插入推广广告。这种推广广告的插入不限于内容制作者或者产品提供者，而也可以由诸如GU、CU、混合者等等之类的用户执行。这种推广广告可以是基于上下文的或者不基于上下文的广告。
在本发明的一个实施例中，推广广告是交互式的。用户在消费设备上的交互作为反馈被实时提供给预订的广告主，以允许广告主增加、减少或修改所放置的适当推广广告。推广广告插入可以基于特定用户的品味、用户的配置文件、位置和区域等等而被定制。货币化过程从而支持了新的赞助机会以更好地向创造性的项目分发可用资金，以及合成媒体的更顺利的产生到消费流水线，并且允许了赞助者立即且动态地访问有才能的多媒体内容开发者和重混合者。通过允许基于内容和用户属性在多媒体内显示上下文ad，ad可被定制以针对特定的一组用户、主题、多媒体类型或事件。
为了辅助多媒体内容的货币化，货币化过程包括货币化引擎，用于基于从与多媒体流/事件/主题/题材/人相关联的推广媒体收集的信息，识别多媒体流内插入广告层的特定表面。货币化引擎可包括用于基于收集到的信息来检测潜在货币化机会的算法，并且提供货币化工具来插入适当的广告，以便赞助者或广告主能够生成ad收入。该算法可使用历史数据、全球定位系统(GPS)技术和手动信息插入来基于上下文信息识别在多媒体流中要插入推广广告形式的赞助ad的表面或位置。推广广告可以直接与多媒体流集成，或者可以利用应用编程接口(API)从存储在本地或远程的广告数据库引用。应当注意，赞助广告可以采取任何形式，例如多媒体剪辑、音频、图形、文本、动画等等，并且并不局限于多媒体流的内容。此外，货币化引擎可包括用于识别对广告有兴趣的所有用户(例如已经签约了某一ad活动的广告主或者付费赞助者成员)以便允许向多媒体流放置/插入/叠覆推广广告的逻辑，并且在一些实施例中，广告主可以互相竞价以赢得被包括在特定流中的权利。货币化引擎可被包括在实况媒体反馈机制和网络(LMFN)的基础设施内，并且可在反馈周期期间被使用，或者可被包括在实况媒体切换网络(LMSN)内并且在切换周期期间被使用。LMFN基础设施已经在“发现过程”下进行了详细说明，LMSN基础设施已经在“切换过程”下进行了详细说明，因此这一节不再描述。
一旦推广广告已与多媒体流集成，货币化引擎就基于具有推广广告的多媒体流被访问的频率或者在交互式广告的情况下用户与推广广告进行了多少交互、交互的频率以及方式(例如，点击、鼠标悬停、签约等等)，利用LMFN或LMSN，来保持跟踪由用户交互生成ad收入。通过与推广广告的交互而收集的信息被货币化引擎用于通过FE而反馈给用户(CU、GU、赞助者、广告主等等)。来自货币化引擎的反馈可以采取基于所收集的信息利用货币化引擎可用的预定收入生成算法确定的广告收入的形式。从而，货币化过程提供了一种对定制的多媒体流的内容进行货币化的机制，这可用于吸引更多的GU、CU、广告主和赞助者。
本发明的各种实施例的优点是很多的。例如，流水线式实时反馈机制使能了低成本甚至无成本的多媒体制作。当前的实施例允许了基于直观、动态且自优化的反馈/呈现的更个性化的媒体消费和收入生成。该过程通过使得有才能的用户群组(个体以及群组)之间能够进行发现、呈现和收入生成、用于合成媒体的更平滑的产生到消费流水线、以及允许各种用户在社交上交互，从而允许了有才能的多媒体GU的新团体提供多媒体内容。发现、呈现和与有才能的用户群组(个体以及群组)的收入共享是通过LMFN、LMSN和货币化引擎(统称为LMN“实况媒体网络”)来使能的。LMN的社交方面包括识别有才能的GU和CU、GU和CU的团队以及经纪人，并且允许这种用户群组之间和与感兴趣的赞助者、内容制作者和代理之间的社交交互，同时基于用户偏好来递送定制的按需实况多媒体流。
然而，对于本领域的技术人员来说显而易见的是，没有这些具体细节的一些或全部也可以实现本发明。在其他情况下，没有详细描述公知的过程操作，以免不必要地模糊本发明。
本发明的实施例可以利用各种计算机系统配置来实现，包括手持设备、微处理器系统、基于微处理器的或可编程的消费者电子设备、微型计算机、大型计算机等等。本发明也可在分布式计算环境中实现，其中任务是由通过有线或无线网络链接的远程处理设备执行的。
了解了上述实施例后，应当理解，本发明可以采用各种计算机实现的操作，其中涉及存储在计算机系统中的数据。这些操作是要求对物理量的物理操纵的操作。通常(虽然并非一定)，这些量采取能够被存储、传送、组合、比较或以其他方式操纵的电信号或磁信号的形式。
这里描述的形成本发明的一部分的任何操作都是有用的机器操作。本发明还涉及用于执行这些操作的设备或装置。该装置可以是为了所要求的目的而专门构造的，或者该装置可以是通用计算机，其被该计算机中存储的计算机程序而选择性地激活或配置。尤其地，各种通用机器可以结合根据这里的教导编写的计算机程序使用，或者构造一个更专用的装置来执行所要求的操作可能更为方便。
本发明也可体现为计算机可读介质上的计算机可读代码。计算机可读介质是能够存储数据的任何数据存储设备，数据随后可被计算机系统所读取。计算机可读介质还可以分布在通过网络耦合的计算机系统上，从而计算机可读代码是以分布方式存储和执行的。
虽然已经为了清晰理解而较为详细地描述了前述发明，但是很明显，在本发明的范围内可以实现某些变化和修改。因此，当前的实施例应当被认为是示例性的而不是限制性的，并且本发明并不限于这里给出的细节，，而是可在等同范围内修改。