技术领域
[0001] 本公开涉及通过网络
流式传输的数据的动态调整。具体地说，本公开的方面涉及用于确定输出装置的显示能
力并且随后格式化被配置用于显示在输出装置上的两个或更多个数据流的系统和方法。
背景技术
[0002] 随着数字流式传输服务和各种基于云的计算解决方案的日益流行，在远程装置之间快速且准确地传送大量数据的能力是关键任务。当前，资料流式传输服务并未考虑要在上面显示数据的装置的规格。因此，装置之间的缩放和
像素变化可产生不合需要的显示情境，例如，文本在较小屏幕上不可读，或显示器的纵横比可能不适合于特定媒体
片段。
[0003] 另外，当利用对延时敏感的应用程序(诸如视频游戏)时，数字流式传输服务和基于云的计算解决方案可能在网络的质量和带宽方面经受限制，所述网络是在远程装置之间传送数据期间建立或使用的。这些限制可引起数据传输中的延迟并且可因此导致延时，所述延时通常在使用应用程序期间产生不一致性。尽管客户端装置将试图通过多种方法实现最低延时，但不可避免的是，由于诸如所传输数据的解码速度、呈现速率、输入轮询或甚至客户端网络连接的因素的差异，每个客户端装置将经受不同量的延时。在一些形式的媒体中，诸如文本或
用户界面(UI)数据的特定媒体的延时显示(latent display)可能更不利于用户的享乐，从而导致用户失望且或许甚至导致完全放弃一个标题或平台。
[0004] 此外，在对消费者可用的多种媒体播放装置上，显示器的取向可根据用户需求而快速改变。某些装置取向可能使得几乎不可能看见媒体标题，所述媒体标题在替代取向中本来将正常可见。因此，本领域中需要找到用于调整和显示通过网络流式传输的媒体的替代手段，所述替代手段考虑了网络延时、显示器取向和多种装置的特定显示能力。
发明内容
[0005] 根据本公开的某些方面，非暂时性计算机可读介质可含有体现在其中的计算机可读指令。所述指令可被配置来在执行时实现一种方法。所述方法可包括确定输出装置的显示能力。可建立并格式化被配置用于显示在输出装置上的两个或更多个数据流。数据流可包括用于视频数据和用户界面(UI)数据的分开的流。随后可将数据流输送到输出装置。
[0006] 根据本公开的某些实现方式，一种用于将数据流式传输到输出装置的方法可包括确定输出装置的显示能力。可建立并格式化被配置用于显示在输出装置上的两个或更多个数据流。数据流可含有用于视频数据和用户界面(UI)数据的分开的信息。随后可将数据流输送到输出装置。
[0007] 根据本公开的某些实现方式，一种计算系统可包括至少一个处理器单元和联接到所述至少一个处理器单元的至少一个
存储器单元。至少一个处理器单元和至少一个存储器单元可被配置来执行一种方法。所述方法可包括确定输出装置的显示能力。可建立并格式化被配置用于显示在输出装置上的两个或更多个数据流。数据流可含有用于视频数据和用户界面(UI)数据的分开的信息。随后可将数据流输送到输出装置。
附图说明
[0008] 通过结合附图考虑以下详述，可容易地理解本公开的教义，在附图中：
[0009] 图1是显示在输出装置上的媒体标题的一部分的屏幕截图的实例，所述媒体标题是从通过网络流式传输的数据导出的，并且图1意图示出显示标题的各种组件。
[0010] 图2是根据本公开的某些方面的示例性系统的
流程图。
[0011] 图3是根据本公开的某些方面的示例性系统的
框图。
[0012] 图4是根据本公开的某些方面的从
服务器侧的示例性资产管理技术的流程图。
[0013] 图5是根据本公开的某些方面的从输出装置侧的示例性资产管理技术的流程图。
具体实施方式
[0014] 尽管以下详述出于说明目的含有许多特定细节，但是本领域任何一个普通技术人员将了解，对以下细节的许多变化和变更在本发明的范围内。因此，以下所描述的本公开的说明性实现方式是在对要求保护的本发明没有任何一般性损失且对要求保护的本发明不强加限制的情况下阐述的。
[0015] 介绍
[0016] 本公开的方面涉及用于响应于不同的装置类型、取向和网络质量来动态调整UI和
视频流式传输数据的系统和方法。
[0017] 根据某些方面，被配置来在网络上操作的客户端装置可为用户提供可从进行提供的用户借来的一个或多个数字资产的列表。用户随后可能够
请求使用可从进行提供的用户借来的资产。用户可随后从进行提供的用户接收某些权利，诸如对应用程序或应用程序特征的
访问。替代实施方案提供一种方法，在这种方法中，进行提供的用户可将资产权利授予给另一个用户而无需首先接收请求。
[0018] 实现方式细节
[0019] 在图1中，提供显示在输出装置上的媒体标题的屏幕截图的实例，所述媒体标题是从通过网络10流式传输的数据导出的。这个实例意图示出流式传输的标题的各种组件。例如，在输出装置12上，根据装置的取向或网络连接的质量，显示器的各种部分在质量和清晰度方面可能变化。例如，诸如14的视频数据在独立于装置来显示时可以是清晰的，其中在所述装置上显示视频数据14。然而，诸如文本16和地图数据18的UI数据可能难以适当地显示在较小屏幕上，或可在经格式化来适合较小显示器时呈现为不可读或不可用的。
[0020] 现在转到图2，提供可如何从通过网络100流式传输的数据在各种装置上显示媒体标题的说明性实例。具体地说，图2描绘根据本公开的某些实现方式的用于为不同的输出装置提供若干数据流的示例性方法流程。应注意，图2中的提供应用程序资产的示例性方法可具有与图4和5中所指示的方法共有的一个或多个方面。也重要的是应注意，图2的实例仅是简化实例，其目的在于示出根据本公开可如何提供数据流的仅某些方面。
[0021] 最初，重要的是应注意，在这个实例中，将数据流提供到向含有媒体信息的服务器请求流的输出装置，但可向替代源请求数据且可由替代源输送数据。在这个实例中，如图2所示，利用输出装置103的用户向服务器102请求媒体标题的流。服务器接收这个请求182并且确定来自兼容装置的列表的输出装置103的能力186。相关能力可包括诸如以下参数：以像素为单位的屏幕大小、物理屏幕尺寸、屏幕
分辨率、色彩格式(例如，8位、15位、16位、24位、30位、36位或48位色彩)和类似参数。
[0022] 可使用的参数的另外实例包括但不限于以下各项：像素纵横比(通常假设像素是方形，具有相同的宽度和高度。尤其是对旧SD电视
信号来说，未必如此)、色彩空间信息(RGB、YUV等)、伽
马校正信息、屏幕取向、显示器
背光等级(‘
亮度等级’)、显示器再新速率。关于再新速率，知道最大再新速率(60Hz)可能是有用的，但装置也可支持更低的或甚至可变的再新速率。
[0023] 这些参数中的一些可随时间变化。例如，针对诸如平板计算机和智能电话的手持式装置，取向可改变。在流式传输到在本端连接到不同显示装置的一个装置时，显示能力也可能会改变。例如，正在将视频流式传输到诸如平板计算机或电话的装置的用户可能突然将所述装置连接到4K显示器。这可能改变所述能力中的一些。
[0024] 也可能存在一些其他的相关
图形处理单元(GPU)参数。例如，一些GPU(尤其是嵌入式平台上的GPU)支持视频
叠加。具体地说，
帧可具有多个图层，在将帧输出到显示器之前，对所述图层以某种方式进行组合(‘复合’)。这可允许独立呈现视频和UI。例如，视频流可呈现在与UI不同的层上。UI和视频流可具有不同更新
频率且都不必彼此‘等待’。例如，
数字电视使用叠加来将系统菜单系统层叠在‘TV图像’上。
[0025] 在替代实施方案中，服务器可在显示能力未知时向输出装置请求装置信息183，且输出装置可继而将所述信息输送到服务器184。例如，输出装置可包括一个或多个
传感器，例如惯性传感器和/或面向用户的摄像机，所述一个或多个传感器允许输出装置感测显示器屏幕相对于用户的取向。显示器屏幕可以是矩形但具有非方形纵横比(宽度与高度的比)。服务器102可请求输出装置指示所述输出装置相对于用户处于
水平取向还是垂直取向，以便可最好地格式化将要流式传输的数据以便以所述取向来呈现。
[0026] 关于装置能力的信息(例如装置是否支持480p、720p...)给出服务器信息，所述服务器信息涉及在技术上的可能。服务器知道装置的某些当前设置(诸如取向和输出分辨率)也将是有用的。诸如
颜色深度的其他信息可能不太重要，例如，因为可在客户端装置处调整所述信息，或服务器将出于压缩效率原因或为了减小所要求的带宽而规定所述信息。
[0027] 服务器102还可请求关于在服务器与输出装置103之间的网络100的质量的信息。这种信息可包括诸如网络延时、可用网络带宽、数据包丢失或网络协议的参数。这个信息可用于将数据流188格式化。例如，例如统一数据报协议(UDP)的一些网络协议是很不可靠的。
如果服务器102知道网络100使用UDP，那么流188可被配置成包括前向误差校正(FEC)数据包，输出装置103可使用所述FEC数据包来恢复丢失的数据包。
[0028] 流式传输技术常常使用FEC技术。在开始流式传输到客户端装置之前，服务器设置用于流的带宽预算，例如8Mbps。为设置带宽预算，有用的是，服务器选取诸如视频分辨率、
帧速率和压缩设置的一些客户端装置设置。
[0029] 在流式传输期间，服务器可监测带宽，并且基于诸如带宽和数据包丢失的网络参数，相应地调整视频分辨率、帧速率和压缩设置。可针对
音频流式传输调整类似的设置，这种调整可变得更重要。知道音频设置允许服务器针对例如六通路环绕声设置(例如，5.1环绕声)或立体声设置来优化音频流。
[0030] 某种流式传输技术有些粗糙地减小帧速率或分辨率。例如，一些视频游戏流式传输系统从HDMI捕获视频，因此如果游戏生成60fps且流式传输速率需要减小到30fps，那么流式传输服务器直接将帧丢弃。此外，如果分辨率需要减小，那么服务器可仅仅缩放从游戏接收到的
视频帧。通过举例的方式，游戏可以720P生成视频，且如果服务器102需要以540P进行流式传输，那么仅仅在
软件中对帧进行缩放。
[0031] 用于一些应用程序(诸如在线视频游戏)的服务器常常在与用来处置视频到客户端装置的流式传输的
硬件不同的硬件上运行
应用软件。流式传输服务器和应用硬件可位于
数据中心并且由局域网连接起来。根据本公开的方面，可使用生成用于视频流的视频帧的应用程序来完成将视频数据格式化。通过举例的方式而不是通过限制的方式，流式传输服务器可通知运行应用程序的硬件：它需要减小帧速率或显示器分辨率。应用程序随后可针对输出装置103调整帧速率或分辨率或以其他方式调整视频格式化。生成视频帧的应用程序常常可在调整帧速率、显示器分辨率或其他视频格式化参数方面表现更好。此外，以这种方式将视频格式化甚至可节省少许电力(较低的分辨率或帧速率对服务器来说强度较小且因此使用较少电力)。
[0032] 一旦确定了装置显示能力信息，服务器就可创建用于视频和UI信息的分开的流188。执行这个步骤以便可在输出装置103上单独地格式化UI和视频数据信息，从而允许单独缩放UI和视频数据以确保流式传输的标题的所有方面清晰且可用。将这些格式化的流输送190到输出装置103，在输出装置103中以与所述输出装置的显示能力一致的方式接收并显示所述流140。在替代实施方案中，输出装置可优先排序所述流的显示150。通过举例的方式而不是通过限制的方式，如果UI数据的每个方面包含在分开的流中，那么输出装置可按(文本数据、视频数据、地图数据等的)次序优先排序所述流的显示，以使得显示的某些方面在网络延时的时间期间维持清晰而其他方面变得不太清楚。
[0033] 作为实例，用于在线视频游戏的‘游戏’流可以是压缩视频流。用于游戏的UI流可能未必是视频流，而是如上所述可以是文本、位图数据、向量化图形和其他类型的数据。可与输出装置103共享这些类型的数据。在一些实现方式中，输出装置103可能已在本端具有所述数据中的一些，例如作为存储器232’或高速缓存244’中的数据236’的部分。例如，用来呈现文本的字体可能已在客户端上可用。在一些实现方式中，输出装置103可能能够基于用户设置来配置UP。在这种实现方式中，用户可例如使用已存储在输出装置103上的任何数据来
覆盖位图或字体，以创建如同常常在大型多玩家在线游戏(MMO)中使用的游戏‘mod’的产物。
[0034] 图2中的说明还提供了第二用户请求从服务器流式传输媒体标题的实例，并且被提供来展示可将数据流式传输到各自具有它们自己的相应数据流的各种装置，以使得以与大量输出装置的显示能力一致的方式接收并显示数据140’。
[0035] 应强调的是，仅出于说明目的提供图2所描绘的实例，以便突出本公开的某些方面。实际上，本公开的实现方式可将图2的实例并未描绘的另外或替代的考虑因素包括在内，且可比图2中所描绘的简化方案复杂。
[0036] 本公开的方面的某些实现方式包括被配置用于动态调整流式传输的内容的系统。通过举例的方式而不是通过限制的方式，图3描绘包括三个装置102、103和104的分布式计算系统，且计算系统102、103和104被配置来根据本公开的某些方面通过网络传送数据。在某些实现方式中，装置102可被配置来执行指令，所述指令具有与参考图2和/或图4所描述的那些方面共有的一个或多个方面。在某些实现方式中，装置103和104可被配置来执行指令，所述指令具有与以上参考图2或以下参考图5所描述的那些方面中的一个或多个共有的一个或多个方面。装置102、103和104中的每一个可被配置有适合的软件和/或硬件以实现本文中所述的方法的各种方面。装置102、103和104中的每一个可以是服务器、
嵌入式系统、
移动电话、个人计算机、膝上型计算机、平板计算机、便携式游戏装置、工作站、游戏控制台、诸如智能型
手表的可穿戴装置、“软件狗(dongle)”装置等。如本文中所使用，术语“软件狗装置”是指插入到诸如计算机或电视的其他设备中以向所述设备添加功能的装置。这种功能可包括为仅当软件狗被附接时才可利用的复制保护、音频服务、视频服务、游戏服务、数据服务或其他服务。软件狗装置的实例包括但不限于可用于“智能型”移动电话的互联网内容流式传输装置和红外遥控适配器。输出装置103、104具有与服务器102共有的某些部件。
在图3中，服务器102的部件由无撇号的参考数字表示，输出装置103的对应部件由带有撇号(‘)的相同参考数字表示，且输出装置104的对应部件由带有双撇号(‘’)的相同参考数字表示。
[0037] 根据某些实现方式，装置102可以是被配置来格式化并提供
媒体流式传输数据的服务器，且装置103和104可以是想要显示媒体标题的用户所利用的输出装置。服务器102可被配置来创建并格式化媒体188，并且例如使用互联网连接或局域网连接将数据通过网络260输送190到输出装置103或104。应注意，网络260不需要是互联网连接。在一些实现方式中，可通过局域网发生从位于给定
位置处的一个装置到位于所述位置中的另一装置的流式传输。
[0038] 此外，即使网络260是广域网，仍然可以由不同于互联网的技术(诸如
电缆网络)来实现所述网络。
[0039] 即使所请求的媒体标题是相同的，仍然可针对相应装置103或104单独地格式化数据流188，因为相应输出装置的装置能力186可能变化。通过举例的方式而不是通过限制的方式，数据流188可包括用于视频数据、UI数据、文本、库存数据、地图数据或音频数据的流。在一些实现方式中，可压缩某些类型的数据流以减少需要在流中传输的数据的位数。具体地说，视频数据和音频数据通常在传输之前加以压缩。
[0040] 装置102、103和104中的每一个可包括一个或多个处理器单元231、231’、231”，所述一个或多个处理器单元231、231’、231”可根据熟知的体系结构来配置，所述体系结构诸如像单核心、双核心、四核心、多核心、处理器-共处理器、单元处理器等。装置102、103和104中的每一个还可包括一个或多个存储器单元232、232’、232”(例如，RAM、DRAM、ROM等)。处理器单元231、231’、231”可执行可存储在存储器232中的一个或多个程序233、233’、233”，且处理器231、231’、231”可例如通过通过
数据总线250、250’、250”存取存储器而操作性地联接到存储器232、232’、232”。存储器单元232、231’、231”可包括数据236、236’、236”，且处理器单元231、231’、231”可利用数据236、236’、236”来实现程序233、233’、233”。根据本公开的各种方面，用于装置102、103和104中的每一个的数据236、236’、236”可包括例如从输出装置103或104传输到服务器102的
对流式传输数据的请求120，以及用于从服务器102输送140到输出装置103或104的特别格式化的数据流188的集合。程序233、233’、233”可以任选地包括指令，所述指令在由处理器执行时执行与以下各项相关联的一个或多个操作：请求流式传输用于媒体标题的数据120，确定从它接收到请求的输出装置的能力186，创建并格式化分别含有视频和UI数据的两个或更多个视频流188以便显示在输出装置103或104上，或接收并显示140经格式化来最好地利用输出装置103或104的显示能力的数据流；例如，一种具有与图2、图4和/或图5的方法共有的一个或多个特征的方法。例如，服务器102的程序
233、233’、233”可包括指令，所述指令在由处理器231、231’、231”执行时致使服务器根据图
2中所描绘的方法和/或流式传输数据的发送的服务器侧的方面来将流式传输数据格式化并输送到至少一个接收装置103或104。在替代实施方案中，服务器102的程序233、233’、
233”可包括指令，所述指令在由处理器231、231’、231”执行时致使服务器根据图2中所描绘的方法和/或流式传输数据的发送的服务器侧的方面来向至少一个接收装置103或104请求显示能力信息。输出装置103或104的程序233、233’、233”可包括指令，所述指令在由处理器
231、231’、231”执行时致使输出装置根据图2中所描绘的方法和/或流式传输数据的发送的输出装置侧的方面来请求流式传输数据120，随后可由服务器102提供所述流式传输数据。
在替代实施方案中，输出装置103或103的程序233、233’、233”可包括指令，所述指令在由处理器231、231’、231”执行时致使输出装置根据图2中所描绘的方法和/或流式传输数据的发送的输出装置侧的方面来将显示能力信息输送184到服务器102。
[0041] 装置102、103和104中的每一个还可包括熟知的支持
电路240、240’、240”，诸如输入/输出(I/O)电路241、241’、241”(在输出装置103、104的情况下可联接到
控制器245’、245”)；电源供应器(P/S)242、242’、242”；时钟(CLK)243、243’、243”；以及高速缓存244、
244’、244”，所述支持电路240、240’、240”可例如通过总线250、250’、250”与系统的其他部件通信。装置102、103和104中的每一个可以任选地包括
大容量存储装置234、234’、234”，诸如磁盘
驱动器、CD-ROM驱动器、磁带驱动器、闪存等，且大容量存储装置234、234’、234”可存储程序和/或数据。装置102、103和104中的每一个还可任选地包括显示单元237、237’、
237”。显示单元237、237’、237”可呈以下形式：
阴极射线管(CRT)、平板屏幕、触控屏幕，或显示文本、数字、图形符号或其他视觉对象的其他装置。装置102、103和104中的每一个还可包括用户界面206、206’、206”以促进所述装置102/103或104与用户之间的交互。用户界面
206、206’、206”可包括
键盘、
鼠标、光笔、游戏控制板、触控界面或其他装置。用户界面还可包括诸如扬声器和/或麦克
风的音频I/O装置。
[0042] 用户可通过用户界面206、206’、206”与
计算机系统中的任一个交互。通过举例的方式，服务器102可以是云游戏服务器，且输出装置103或104可以是云游戏客户端，且视频游戏用户可通过用户界面206、206’、206”与视频游戏交互，所述视频游戏由服务器102执行并且被流式传输到输出装置104。用户界面206、206’、206”的部分可包括可显示在显示单元237、237’、237”上的
图形用户界面(GUI)以便促进用户与系统102/103或104的交互。系统
102/103或104可包括网络
接口239、239’、239”，所述网络接口239、239’、239”被配置来允许使用Wi-Fi、以太网络端口或其他通信方法。网络接口239、239’、239”可并入适合的硬件、软件、韧体或其某种组合，以促进通过电信网络260的通信，且可根据本公开的某些方面来支持使用不可靠的协议的数据传送。网络接口239、239’、239”可被配置来通过局域网和诸如互联网的广域网来实现有线通信或无线通信。
[0043] 如图4所示，可例如由服务器102实现服务器侧指令370的集合。服务器指令370可形成在诸如存储器232、232’、232”或大容量存储装置234、234’、234”的非暂时性计算机可读介质上。服务器侧指令370也可以是过程控制程序233、233’、233”的部分。如在372处所指示，服务器指令370可包括用于请求输出装置信息的指令，所述输出装置信息任选地包括将要通过网络260从一个或多个客户端装置103或104接收的输出装置显示能力183。指令370可包括用于基于输出装置的能力来格式化两个或更多个内容数据流188的指令374。其后，在376处，指令可包括用于将数据流输送190到输出装置103或104的指令，并且随后，在378处，指令可包括用于将数据流格式化或优先权信息输送到相应输出装置的指令。
[0044] 如图5所示，可例如由输出装置103或104实现输出装置指令480的集合。输出装置指令480可形成在诸如存储器232、232’、232”或大容量存储装置234、234’、234”的非暂时性计算机可读介质上。输出装置指令480也可以是过程控制程序233、233’、233”的部分。如在482处所指示，指令480可包括用于输送输出装置信息的指令，所述输出装置信息任选地包括将要由一个或多个客户端装置103或104通过网络260输送的输出装置显示能力183。指令
470可包括用于基于输出装置的能力来接收140两个或更多个内容数据流188的指令474。其后，在476处，指令可包括用于优先排序150数据流在输出装置103或104上的显示的指令，并且随后，在478处，指令可包括用于格式化文本或其他用户界面(UI)以使得以与输出装置
103或104的显示能力一致的方式显示流式传输的内容的指令。
[0045] 以上部件可以硬件、软件、韧体或其某种组合来实现。
[0046] 尽管以上所述的实例采用在客户端侧上加以组合的游戏流和UI流，但还可包括另外的流，例如视频
聊天流。此类另外的流可点对点来自其他用户的客户端装置并且可由客户端装置加以组合。在一些实现方式中，服务器102上的程序233可得知在输出装置103与104之间存在视频聊天流并且可保留资源以用于处置这个流。由于延时原因，服务器102可协调点对点(p2p)会话以使客户端装置103、104将视频聊天流与其他流组合。可能有多种类型的本端内容可由客户端装置加以复合。
[0047] 本公开的方面允许格式化和流式传输不同格式的数据，所述不同格式的数据得以一起显示以最佳地显示在不同装置上。
[0048] 虽然以上是本发明的优选实施方案的完整描述，但是有可能使用各种替代方案、
修改和等效物。因此，本发明的范围不应参考以上描述来确定，而是应参考随附
权利要求书以及权利要求书的等效物的完整范围来确定。本文所述的任何特征(无论是否优选的)都可以与本文所述的任何其他特征(无论是否优选的)组合。在以下权利要求书中，不定冠词“一”或“一个”是指接在所述冠词后面的项目中的一个或多个的数量，除非另有明确说明。随附权利要求书不应解释为包括装置加功能限制，除非在给定权利要求中使用短语“用于...的装置”明确地叙述了这种限制。
