首页 / 专利库 / 图形技术 / 图像互换格式 / 用于传递媒体信号的系统和方法

用于传递媒体信号的系统和方法

阅读:566发布:2020-07-10

专利汇可以提供用于传递媒体信号的系统和方法专利检索,专利查询,专利分析的服务。并且提供了一种用于流媒体 信号 的 媒体流 系统。该媒体流系统采用分开的和截然不同的CODEC的库(145),提供其具有可搜索的CODEC库,并用来确定在媒体信号中的特定特性,从而识别信号的类似部分。该媒体流系统使用计算机实现的智能系统,比如智能机制来随着信号流(150)学习和捕捉信号的独特的特性。该媒体流系统还随着信号从源媒体(100)流到目的装置(130,135,140)来压缩和解压媒体信号。,下面是用于传递媒体信号的系统和方法专利的具体信息内容。

1.一种用于处理媒体信号的系统,包括:
可搜索的CODEC库,其适于存储多个分开的和独特的CODEC, 并且还可由人工智能(AI)系统和操作系统中的至少一个存取和搜索, 使得能够单独的定位并存取存储在CODEC库中的每一CODEC,以 由AI系统和操作系统中的至少一个为了压缩媒体信号以从源传输到 目的装置而使用。
2.如权利要求1所述的系统,其中该CODEC库包括至少一个是 下面三种类型的CODECS中至少一个的CODEC:模CODECS;分 型CODECS;以及小波CODECS。
3.如权利要求2所述的系统,其中该CODEC库包括:
三种类型中第一类型的第一CODEC,以及
三种类型中第二类型的第二CODEC。
4.如权利要求3所述的系统,其中该CODEC库包括:
三种类型的第一类型的第一CODEC,
三种类型的第二类型的第二CODEC;以及
三种类型的第三类型的第三CODEC。
5.如权利要求4所述的系统,其中该CODEC库包括:
是运动预测CODEC的第一CODEC;以及
是静止CODEC的第二CODEC。
6.如权利要求5所述的系统,其中该CODEC库包括:
是有损CODEC的第一CODEC;以及
是无损CODEC的第二CODEC。
7.如权利要求1所述的系统,进一步包括:
和CODEC库相关联的注册,并且为了在CODEC库中搜索和定 位特殊的CODEC是可搜索的。
8.一种用于通过传输信道从源到目的装置传递媒体信号的系 统,包括:
目的代理,其适于由目的装置使用来和源通信,并从源接收媒体 信号的压缩的表示,以及将压缩的表示解压为媒体信号的解压的表 示,这样解压的表示可由目的装置存储或使用。
9.如权利要求8所述的系统,其中该目的代理包括:
诊断代理,其适于提供用于传输到和源相关联的神经网络的诊断 信息,其中该诊断信息表示目的装置接收、存储、处理或显示媒体信 号的能;以及
解压代理,其适于将媒体信号的压缩的表示解压为要由目的装置 存储或播放的信号的解压的表示。
10.如权利要求9所述的系统,其中该目的代理进一步包括:
解压代理,其适于接收媒体信号的压缩的表示并且还适于接收和 来自传输系统的信号的压缩的表示相关联的CODEC解压器,其还适 于使用CODEC解压器来将信号的压缩的表示解压为要由目的装置存 储或播放的信号的解压的表示。
11.如权利要求10所述的系统,其中目的代理适于在多个不同 目的装置上被存储和操作以解压和播放媒体信号,其中每一目的装置 都具有用于解压、存储或播放媒体信号的不同性能。
12.如权利要求11所述的系统,其中通过使用不同的CODEC解 压器,该目的代理适于解压多个媒体信号的不同的压缩的表示,其中 每一CODEC解压器和用来压缩信号的对应的不同CODEC压缩器相 关联。
13.如权利要求12所述的系统,其中该目的代理适于使用CODEC 解压媒体的压缩的表示,其中基于至少一个下面的参数提供CODEC: 关于参考媒体信号的CODEC的计算机实现的先前学习的行为,关于 压缩或解压相同媒体信号的先前尝试的CODEC的计算机实现的先前 学习的行为,关于媒体信号的CODEC操作和媒体信号的参考算法压 缩的比较,传输信道的学习到的约束条件,以及目的装置的学习到的 约束条件。
14.如权利要求13所述的系统,其中该目的代理适于可互换的 使用模块CODEC、分型CODEC或小波CODEC。
15.一种用于从源到目的装置通过传输信道通信媒体信号的系 统,包括:
CODEC,其适于压缩媒体信号以最优化沿着传输信道的传输和 由目的装置的解压,其中该压缩由CODEC基于至少一个下面的参数 做出:关于另一参考信号的CODEC的先前学习到的行为,关于压缩 或解压相同媒体信号的先前尝试的CODEC的先前学习到的行为,关 于媒体信号的CODEC操作和媒体信号的参考算法压缩的比较,传输 信道的学习到的约束条件,以及目的装置的学习到的约束条件。
16.如权利要求15所述的系统,其中该CODEC适于将媒体信号 压缩为n个不同的媒体信号的压缩的表示,并且这些表示适于分别在 n个独特的比率速率被发送到目的装置。
17.如权利要求15所述的系统,进一步包括:
可搜索的服务质量(QoS)库,其和CODEC相关联,并且适于 由人工智能系统或操作系统中的至少一个使用,以基于存储在QoS标 准库中的至少一个QoS标准确定关于媒体信号的CODEC的合适的使 用。
18.一种用于处理媒体信号的系统,包括:
CODEC操作系统,其适于和CODEC库和人工智能(AI)系统 接口,以使用AI系统来从库中识别合适的CODEC,并以该CODEC 处理该媒体信号。
19.如权利要求18所述的系统,进一步包括:
至少一个CODEC,其和CODEC操作系统相关联,用于使用在 至少部分基于由CODEC操作系统操作的处理媒体信号中。
20.如权利要求19所述的系统,进一步包括:
可搜索的CODEC库,其和CODEC操作系统相关联,并且适于 存储多个分开的和独特的CODECS,其中该CODEC操作系统适于和 可搜索的CODEC库并和AI系统合作,以确定存储在CODEC库中的 用于用在处理媒体信号中的合适CODEC。
21.如权利要求20所述的系统,进一步包括:
可搜索的网络传输标准库,其和CODEC操作系统相关联,并且 适于由AI系统或CODEC操作系统中的至少一个使用,以基于存储在 网络传输标准库中的至少一个网络传输标准确定关于媒体信号的 CODEC的合适的使用。
22.如权利要求21所述的系统,进一步包括:
可搜索的标准质量(QoS)库,其和CODEC操作系统相关联, 并且适于由AI系统或操作系统中的至少一个使用,以基于存储在QoS 标准库中的至少一个QoS标准来确定关于媒体信号的CODEC的合适 的使用。
23.如权利要求22所述的系统,进一步包括:
目的代理,其和CODEC操作系统相关联,并且适于由目的地址 使用来和也和CODEC操作系统相关联的源通信,从而从源接收媒体 信号的压缩的表示,以及将压缩的表示解压为媒体信号的解压的表 示,使得可由目的装置存储或使用解压的表示。
24.一种用于处理媒体信号的系统,包括:
目的装置,其适于和源通信并从源接收媒体信号的压缩的表示, 其包括CODEC,该CODEC适于基于至少一个下面的参数将压缩的 表示解压为解压的表示;关于另一参考信号的CODEC的先前学习到 的行为,关于压缩或解压相同媒体信号的先前尝试的CODEC的先前 学习到的行为,关于媒体信号的CODEC操作和媒体信号的参考算法 压缩的比较,传输信道的学习到的约束条件,以及目的装置的学习到 的约束条件。
25.如权利要求24所述的系统,其中该媒体信号适于被根据最 初的格式使用,其中最初的格式根据最初的一组参数,而且目的装置 适于以另一格式处理和显示媒体信号的解压的表示,并且此格式是根 据和最初的一组参数不同的另一组参数的,这样目的装置不能根据最 初的一组参数处理和显示最初的格式的媒体信号。
26.如权利要求25所述的系统,其中CODEC适于将媒体信号压 缩为n个不同的媒体信号的压缩的表示,并且这些表示适于分别在n 个独特的比特速率被发送到目的装置。
27.如权利要求26所述的系统,其中n个不同的压缩的表示适 于被至少在n个基本上不同的传输速率发送,其中基于至少一个下面 的参数区分不同的传输速率;不同的传输系统标准;不同的目的装置 标准;以及不同的媒体类型标准。
28.一种用于处理媒体信号的系统,包括:
CODEC,其适于在媒体信号上执行压缩和解压的至少一个;以 及
人工智能(AI)系统,其适于结合CODEC操作,以调整相对媒 体信号的CODEC的操作,其中AI系统适于学习CODEC的关于至少 一个影响CODEC的操作的参数的行为,并且还适于基于学习到的行 为更改AI系统本身或CODEC中至少一个的操作以增加以合适的形式 提供CODEC以最优化压缩或解压媒体信号的能力。
29.如权利要求28所述的系统,其中该CODEC包括离散余弦变 换CODEC。
30.如权利要求29所述的系统,其中CODEC包括分型CODEC。
31.如权利要求30所述的系统,其中CODEC包括小波CODEC。
32.如权利要求31所述的系统,其中CODEC包括有损CODEC。
33.如权利要求32所述的系统,其中CODEC包括基本上无损的 CODEC。
34.如权利要求33所述的系统,进一步包括:
可搜索的CODEC库,其适于存储多个分开的和独特的CODECS, 其中该CODEC适于被存储在可搜索的CODEC库中,并且AI系统适 于和CODEC库合作,以定位并存取CODEC,使得AI系统可以执行 至少一个关于CODEC的操作。
35.一种用于处理媒体信号的系统,包括:
CODEC库,其适于存储多个分开的和独特的CODECS;
人工智能(AI)系统,其和CODEC库相关联,并且适于执行关 于CODEC库的操作,以从多个CODECS中确定合适的CODEC以使 用在处理媒体信号中;
CODEC操作系统,其和CODEC库及AI系统相关联,并且适于 控制AI系统关于CODEC库的操作;
源系统,其适于基于来自CODEC库的CODEC和基于AI系统 的操作压缩媒体信号;
目的系统,其适于和源系统通信及从源系统接收媒体信号的压缩 的表示,并将压缩的表示解压为用于由目的系统使用的解压的表示,
以及
通信系统,其和源系统以及目的系统相关联,使得源系统适于将 媒体信号的压缩的表示发送到目的系统,并且目的系统适于接收压缩 的表示并且还适于将压缩的表示合适的解压为解压的表示以由目的系 统存储或使用。
36.如权利要求35所述的系统,进一步包括:
可搜索的网络传输标准库,其和AI系统及CODEC操作系统相 关联,并且适于由AI系统使用,以基于存储在网络传输标准库中的 至少一个网络传输标准从CODEC库中确定用于处理媒体信号的合适 的CODEC。
37.如权利要求36所述的系统,进一步包括:
可搜索的QoS标准库,其和AI系统及适于由AI系统使用的 CODEC操作系统相关联,以基于存储在QoS标准库中的至少一个QoS 标准从CODEC库中确定用于处理媒体信号的合适的CODEC。
38.如权利要求37所述的系统,其中AI系统适于基于至少一个 下面的参数从CODEC库中确定用于处理媒体信号的CODEC的合适 的使用:关于另一参考信号的CODEC的先前学习到的行为,关于压 缩或解压相同媒体信号的先前尝试的CODEC的先前学习到的行为, 关于媒体信号的CODEC操作和媒体信号的参考算法压缩的比较,传 输信道的学习到的约束条件,以及目的装置的学习到的约束条件。
39.一种用于在源和n个独特的目的装置之间传递媒体信号的系 统,并且每一独特的目的装置具有处理媒体信号的独特的能力,其中 n是大于等于一的整数,该系统包括:
压缩系统,其和源相关联,并且适于将媒体信号压缩为n个媒体 信号的独特的压缩的表示;
其中n个独特的压缩的表示的每一个适于被从源发送到n个目的 装置中的独特的一个,并且适于由各个目的装置解压为n个要由各个 目的装置播放的媒体信号的解压的表示中的独特的一个。
40.如权利要求39所述的系统,其中该压缩系统进一步包括:
可搜索的CODEC库,其和压缩系统相关联,并且适于存储多个 分开的和独特的CODECS,其中该压缩系统适于至少部分基于由 CODEC库存储的至少一个CODEC将媒体信号压缩为n个独特的压 缩的表示的每一个。
41.如权利要求40所述的系统,其中该压缩系统进一步包括:
可搜索的网络传输标准库,其和压缩系统相关联,并且适于由压 缩系统使用,以基于存储在网络传输标准库中的至少一个网络传输标 准确定至少一个用于将媒体信号压缩为n个独特的压缩的表示的合适 的CODEC。
42.如权利要求41所述的系统,其中该压缩系统进一步包括:
可搜索的QoS标准库,其和压缩系统相关联,并且适于由压缩 系统使用以基于存储在QoS标准库中的至少一个QoS标准从CODEC 库中确定用于将媒体信号压缩为n个独特的压缩的表示的合适的 CODEC。
43.如权利要求42所述的系统,进一步包括:
目的代理,其和压缩系统相关联,并且适于由n个独特的目的装 置的每一个使用来和源通信,使得n个目的装置中的每一个可以从源 系统接收媒体信号的n个压缩的表示中的独特的一个,并且至少部分 基于由压缩系统使用来创建各个压缩的表示的CODEC来使用合适的 CODEC,使得各个目的装置可以将各个压缩的表示合适的解压为可由 各个目的装置存储或使用的媒体信号的解压的表示中的合适的一个。
44.如权利要求43所述的系统,其中该压缩系统适于将媒体信 号至少部分基于至少一个下面的参数压缩为n个不同的压缩的表示中 的每一个:关于另一参考信号的至少一个CODEC的先前学习到的行 为,关于压缩或解压相同媒体信号的先前尝试的至少一个CODEC的 先前学习到的行为,关于媒体信号的CODEC操作和媒体信号的参考 算法压缩的比较,传输信道的学习到的约束条件,以及目的装置的学 习到的约束条件。
45.一种用于从至少一个源到通常的接收器的传递n个媒体信号 的独特的压缩的表示的系统,包括:
目的装置,其适于和至少一个源通信并从至少一个源接收n个独 特的压缩的表示中的每一个,其中该目的装置进一步适于将n个独特 的压缩的表示中的每一个解压为n个媒体信号的解压的表示,并且播 放n个解压的表示中的每一个。
46.一种用于从源到目的装置通过传输信道传递媒体信号的系 统,包括:
压缩系统,其适于接收关于传输信道的参数的信息并且通过使用 至少部分基于参数信息的压缩技术将媒体信号压缩为媒体信号的压缩 的表示。
47.一种用于在源和目的之间传递n个独特的媒体信号的系统, 包括:
压缩系统,其适于接收关于媒体信号的参数的信息,并且通过使 用至少部分基于参数信息的压缩技术将媒体信号压缩为媒体信号的压 缩的表示。
48.一种用于压缩来自源的用于传输到目的装置的媒体信号的系 统,包括:
压缩系统,其适于基于传输信道约束条件、目的信道约束条件、 媒体信号的参数和压缩系统的先前压缩操作的比较中的至少一个,将 媒体信号压缩为媒体信号的压缩的表示。
49.一种用于在目的装置解压从源接收的压缩的媒体信号的系 统,其中该目的装置适于从源接收媒体信号的压缩的表示以及来自源 的解压说明,使得目的装置适于至少部分基于指令将压缩的表示解压 为媒体信号的解压的表示。
50.一种用于构建用来压缩媒体信号的神经网络的方法,包括:
提供多个CODECS;以及
以一种方式预先学习至少一个和每一CODEC的关于预先确定的 类型的媒体信号的压缩性能相关联的参数;以及
以一种方式记住每一预先学习到的参数,使得将来可以选择至少 一个特殊的CODEC来基于特殊CODEC的预先学习到的参数来压缩 特殊的新的媒体信号。
51.如权利要求50所述的方法,进一步包括:
形成具有多个CODECS的CODEC库;
以在CODEC库中的每一CODEC压缩至少一个预先确定的类型 的测试媒体信号;
自动地学习至少一个关于在压缩至少一个预先确定的类型的测试 媒体信号中的每一CODEC的表现的参数;
以一种方式自动记住每一这种学习到的参数,使得可以压缩特殊 的媒体信号。
52.一种用于在源和目的之间至少部分通过无线传输信道传递媒 体信号的系统,其中压缩的表示是:
压缩系统,其适于将媒体信号压缩为可进一步适于通过无线载波 发送到无线目的装置的媒体信号的压缩的表示;以及
神经网络,其使用人工智能来通过压缩系统学习至少一个下面的 参数,从而最优化媒体信号的压缩:无线目的装置的约束条件,无线 传输载波的约束条件,以及媒体信号的参数和压缩系统的先前的压缩 操作的比较。
53.一种用于压缩用于从无线源传输到目的装置的媒体信号的系 统。
54.一种用于将媒体信号压缩为用于传输到无线目的装置的媒体 信号的压缩的表示的系统。
55.一种用于在目的装置将媒体信号的压缩的表示解压为媒体信 号的解压的表示的系统,其中从源通过无线载波在目的装置接收压缩 的表示。
56.一种用于通过IP网络在源和目的装置之间传递媒体信号的系 统,其中将媒体信号的压缩的表示从源通过IP网络发送到目的装置。
57.一种用于将媒体信号压缩为媒体信号的压缩的表示的系统, 使得能够将媒体信号的压缩的表示从源通过IP网络发送到目的装置。
58.一种用于将媒体信号的压缩的表示解压为媒体信号的解压的 表示的系统,其中在目的装置从源通过IP网络接收压缩的表示。
59.一种用于通过IP网络传递媒体信号的方法,包括:
使用人工智能来从多个可用的CODECS中确定最合适的用于压 缩和解压媒体信号的CODEC,其中基于至少一个下面的参数确定合 适的CODEC:关于另一参考信号的CODEC的先前学习到的行为, 关于压缩或解压相同媒体信号的先前尝试的个CODEC的先前学习到 的行为,关于媒体信号的CODEC操作和媒体信号的参考算法压缩的 比较,传输信道的学习到的约束条件,以及目的装置的学习到的约束 条件。
60.如权利要求59所述的方法,其中该系统适于通过IP网络传 递流媒体信号。
61.一种用于在源和目的之间通过传输信道传递音频信号的系 统,其中压缩音频信号来形成可以通过传输信道发送到目的装置的音 频信号的压缩的表示,使得目的装置可以将压缩的表示解压为用于由 目的装置存储或使用的解压的表示。
62.如权利要求61所述的系统,其中该系统适于传递流音频信 号。
63.一种用于将音频信号压缩为音频信号的压缩的表示以从源通 过传输信道传递到目的装置的系统。
64.一种用于在目的装置解压音频信号的压缩的表示以由目的装 置存储或使用的系统,其中由目的装置从源通过传输信道接收压缩的 表示。
65.一种用于从源通过传输信道传递流音频信号到目的装置的方 法,包括:
从源通过传输信号,在低到大约25Kbps的传输速率上传送CD 质量的音乐到目的装置。
66.如权利要求65所述的方法,其中通过将源音频信号压缩为 压缩的表示并且通过传输信号将压缩的表示在传输速率传送到目的装 置来传送CD质量的音乐,其中可由目的装置将压缩的表示解压为解 压的表示,其中解压的表示基本上是最初音频信号的CD质量的表示, 并且可由目的装置存储或播放。
67.一种用于在源和目的之间通过传输信道传递视频信号的系 统,其中将流视频信号压缩为压缩的表示,其中可以将压缩的表示从 源通过传输信道发送到目的,并且由目的装置解压为解压的表示以由 目的装置存储或播放。
68.一种用于在源和目的之间传递流视频信号的系统,包括:
媒体处理模块;
动态播放器模块;
图像处理器;
基线快像模块;
信号分类器;
多个依靠神经网络处理器的CODECS;
CODECS库;
网络层输入模块;
网络层输出模块;以及
计时器。
69.如权利要求68所述的系统,进一步包括动态客户请求处理 模块。
70.如权利要求69所述的系统,进一步包括装置和网络参数测 量模块。

说明书全文

技术领域

本公开涉及一种用于在源和目的装置之间传递媒体信号的系统和 方法。更为特别的,它涉及一种用于使用人工智能机制压缩和解压流 式和静态媒体数据,以在源和目的装置之间有效传递那些信号的系统 和方法。

背景技术

随着网络的通信,比如互联网的发展,呈指数式的出现了在彼此 相隔较远的装置之间有效传递流式和静态媒体的性能的可观的需要。 近来也在世界范围内对这个需要投入了大量的开发资源。
这里术语“媒体”意在表示从源装置以信号的形式传递到目的装 置以由目的装置使用的信息;并且,作为在这里使用的,通常期望媒 体包括流式或静态媒体信号。为了这个公开的目的,作为应用到目的 装置在媒体信号上的操作的术语“使用”意在包括播放(例如,声音, 图像,视频),处理(例如,遥测数据),或任意其它是媒体信号的 有意的目的的使用或操作。
在这里,术语“流媒体”意在表示包括意在被传递到并且由目的 装置以暂时的,流式方式使用的媒体信号。在这里作为应用到流媒体 信号的术语“流式”意在包括在一定时间内以连续方式传递和处理的 信号,或者可能是在一定时间内以连续方式传递和处理的信号的信号, 或者是以一系列的被相互关联并且可能之后由目标装置以连续的,相 关联的方式使用的离散分组、片断、或模传递的信号。因此,用于 这个公开的流媒体的实例包括,但是不限于下面类型的媒体:视频, 音频,结合视频的音频,以及比如暂时遥测的数据串。术语“流媒体” 通常由表示主题媒体的数字化形式的数据参考使用。
在这里,术语“静态媒体”通常意在表示不是作为上面定义的“流 式”的媒体。静态媒体信号通常是被传递并且意在被作为分组,模块 或片断使用的类型。因此,静态媒体可能包括,但是不限于下面的: 离散图像,单独的和相关的暂时短视频剪辑片段,声音或声音字节, 或者比如遥测信息的信息的片断或模块。但是,期望这样的“单一片 断”的静态媒体可能具有足够的大小来包括:多个更小的片断或子部 分,例如,整个图像的区域或象素;和在一起可以形成视频剪辑的单 独的;和在一起可以包括声音的数字字节,包括声音字节的一组声 音,或者和在一起包括信息的较大的模块的信息比特。
流媒体通常包括比静态媒体文件要大得多的数据文件,并且还通 常通过这种文件的暂时通信表示比大多数的静态媒体文件所经历的要 多得多的变化。因此,有效的压缩流媒体用于适当的传递到目标装置 以进行使用的能通常非常复杂,而且难于达到目的。因此,很多这 种公开通过特别参考流媒体通信提供,并且本发明也是要提供用于这 种通信的显著的益处。但是,在这里关于背景特别参考了流媒体,并 且在此进一步公开关于很多关于本发明的益处,并且根据本领域中的 一个也进一步期望静态媒体是适用的。
已经有很多不同的“特定类型”的媒体系统在很长时间内用于在 源和远程目标之间发送特定类型(例如,视频、音频、图像、语音等) 流式和静态媒体信号。这种特定类型的媒体系统的典型实例包括电视 传输系统、电话线路系统、以及无线电传输系统,并且因此每个电视、 电话和无线电都是媒体的接收装置。因此,用于有效传递流式和静态 媒体的需要也涉及到了很多不同的通信工业,例如包括电话、电视、 电影、音乐,以及近来的互动游戏工业。
另外,很多媒体通信系统(包括多种长期存在的特定类型的系统) 通常也是“特定格式”的,其中以特殊格式传递主题媒体信号,使得 源、传输信道、以及目的装置必须特别兼容以在那个格式下工作。这 种特定格式的媒体系统的实例包括,例如,仅为确定类型的媒体工作 并且仅以特别编码的格式从电缆载体传送的编码电缆电视系统。因 此,这些系统在硬件软件上通常仅专用于由内容提供商提供的媒体 的类型和格式。
社会的需要已经超过了这些专用的,内容特定和格式特定的系统 的性能。特别的,没有构造这些专用系统来容纳逐渐增加的客户对于 特定流媒体的实时需要。另外,近来互联世界的技术发展引起了社会 对于使用一个装置以多个格式拉动、接收、推动以及发送多种类型的 媒体的兴趣。此外,需要内容提供商能够传送很多不同媒体信号到很 多在他们的客户的办公室、居室、以及手中的不同类型的装置。个人 和公司还需要使用多种不同格式和使用多种不同的各自的装置彼此通 信。
因此,出现了大量用于通过互联网的集中型网络传送流式和静态 媒体的重要行业。内容传送公司当前通过互联网,以视频和音频格式 传送很宽范围的流媒体,包括实况赛以及医学遥测和教育的提供。 根据来自DFC情报机构的一个公布的报告,2000年在互联网上的视 频流增长了215%,超过了总共9亿的访问的流。这包括占据了总访 问量大约29%的宽带流。这个相同的报告还估计现有的流总量中大约 15%在其中包括流内广告。在另一由互联网研究者Jupiter Media Metrix 公布的报告中,随着公司在与雇员、客户和其它商业伙伴的通信中转 向电子互动形式,在流式视频技术上花费的费用将从2000年的1.4亿 美元上升到2005年的将近30亿美元。
此外,人口爆炸和在这些系统上人们发送的数量的增加也为对现 有的可用信息的可用带宽带来很大影响。因此,使用有限的带宽资源 和有限的传输速度来有效传递流媒体的性能也变得越来越具有社会重 要性。
压缩/解压算法(“CODECS”)
考虑到用于传递不同类型的媒体的指数式增长的需要,在很多年 中开发出了多种压缩/解压系统(“CODEC”),并且已经成为近年 来特别重要的研究和开发。为包括(例如)比如图形和照片的静止帧 图像的特定类型的媒体和流媒体开发了关于通信流式和静态媒体信号 的特定类型的CODECS和用于管理CODECS的系统。
图像CODECS
开发了多种不同类型的静态媒体CODECS,并且这些CODECS 中的很多种已经是已知的或正在使用的。一种特定类型的静态媒体是 受到特别关注的话题,其包括图像(虽然,因为显著影响适当的压缩/ 解压需要的更为复杂的变量,例如,尺寸和帧之间的临时关系的缘故, 通常将较长的关联图像帧序列,比如在视频环境中的,作为流媒体)。 因此,在这里通过参考确定的特定类型的现有图像CODEC技术和方 法示出静态媒体CODEC的实例。
通常考虑用于图画(例如,艺术线条)和照片的各个标准,已知 两种最常见的用于在万维网上的图形图像的文件格式是“GIF”和 “JPEG”格式,并且为了进一步理解的目的,在下面会结合其它图像 压缩形式来进行进一步描述。
“JPEG”是“联合图象专家组”的首字母缩写,并且是满足ISO 标准10918的图形图像文件。通常用于照片压缩/解压的,JPEG文件 通过从压缩质量的范围中选择,或者,像在另外的描述中的,通过从 一组压缩算法中的一个选择来创建。为了创建JPEG文件,或者从另 一格式转换到JPEG格式,必须指定所需要的特定图像的质量。通常, 因为高质量的图像会产生最大的文件,就像由用户在图像质量和图像 大小之间选择的,必须对此做出折衷。JPEG压缩模式通常包括29个 不同的编码处理,虽然JPEG的实施者可能不会全部使用它们。通常 给予JPEG图像名称后缀“jpg”。
“GIF”是“可交换的图像文件格式”的首字母缩写,并且通常 被认为是用于互联网通信的图画图像压缩/解压的实际上的标准形式。 GIF格式使用已知为LZW算法的压缩算法,该算法由Abraham Lempel, Jacob Ziv,和Terry Welch开发,并且由Unisys Corporation实现商业 应用(尽管通常公众可以无需付费许可来使用这种算法)。更为特别 的,“LZW”压缩算法需要每一给定长度(例如,12比特)的输入比 特序列,并且在表中对特殊的位图形创建入口,有时被称为“字典” 或“电报密码本”。这个入口由图形本身和一更短的码组成。随着读 取输入,任意已经被读取的图像引起更短的码的置换,有效的压缩了 输入的总量到更小的程度。已知为LZ77和LZ78的更早的方法不包括 作为压缩的文件的一部分的查询表。但是,当前最新的LZW算法形 式不在文件中包括表,并且当它处理编码的输入时,解压文件用于观 看的解压程序能够自己来使用算法建立表。该GIF格式使用2D光栅 数据类型(和使用光栅线的显示屏相关联)并且以二进制编码。
GIF格式的两种版本包括GIF87a,及已经更新的GIF89a,其允 许用于“动态GIF”文件创建,或者在以顺序播放来表现图像的运动 或变化(或者在无限循环中或者通过可以到达终点的进程)的单一GIF 文件中的更短的图像序列。GIF89A还允许,并且还用于“交织的GIF”, 其是首先作为图像的模糊的轮廓达到接收者并由接收者播放,之后逐 渐由七个连续波的比特流代替的GIF图像,其中的比特流填满缺少的 线直到达到整个分辨率。交织的GIF允许(例如)使用14.4Kbps和 28.8Kbps调制解调器的观看者观察到在处理主题图像中的确定信息, 比如做出决定(例如,点击图像来执行比如链接的操作)之前的更短 的等待时间。
通过呈现分辨率填满图像序列的波,交织的GIF类似于“前进的 JPEG”,其使用一组在连续的波中“渐显(fade in)”的JPEG压缩 算法来描述创建的图像。虽然通常认为前进的JPEG是在调制解调器 连接速度上传送图像的更为常见的方式,具有更快的连接的用户可能 不会注意到区别。
近来为图像压缩开发了“PNG”或“可移植的网络图形”格式, 并且,及时发布来代替GIF格式用于互联网使用(虽然JPEG格式通 常不允许大小/质量平衡)。为公众的消费和发展开发了这个格式,类 似于GIF,认为PNG是“无损的”压缩格式,并且因此当在观看过程 中解压压缩的文件是保存了所有图像信息。但是,PNG格式的文件通 常意在比GIF格式多压缩百分之10到30。提供PNG文件格式的另外 的方面如下:(i)可能不会将颜色透明度限制到一种颜色,而是可以控 制透明度的程度(“不透明性”);(ii)相对于标准GIF改进了图像的 “交织”;(iii)起动了“伽马校正”,允许按照特定显示器制造者的 需要关于颜色亮度“调谐”图像;(iv)可以使用类似于GIF的真彩色, 调色板和灰度级来保存图像;以及(v)虽然通常认为PNG可扩展并且 由此可以将软件分层来提供用于这种编写的图像动态,但是通常不支 持“动态”。
“TIFF”是“标签图像文件格式”的首字母缩写,并且是用于在 应用程序之间交换光栅图形(或“比特地图”)图像,例如,用于扫 描仪图像的图形的通常格式。通常给予TIFF文件后缀“TIF”或“TIFF”, 并且通常具有在1980年代中期开发的Adobe软件、微软(Microsoft)、 和惠普(Hewlett-Packard)的支持。TIFF文件可以是任意的一些种 类,包括灰度级、颜色调色板或RGB完全颜色,其描述和差别将在 本公开的这里的其它地方进一步涉及。TIFF文件还包括具有JPEG、 LZW或CCITT组4标准游程长度图像压缩的文件,也会将其在这里 的其它地方进一步描述。作为一种最为常用的图形图像格式,通常在 桌面出版、传真、3-D应用、以及医学摄像应用中使用TIFF文件。 视频CODECS
视频压缩是用于多种应用,包括(例如)预记录视频(例如,“视 频点播”)、电信会议、和实况视频(例如,广播)的热烈发展的主 题。“桌上型”计算机、无线装置、现有的电视、以及高清晰度电视 是有效的视频压缩系统必须服务的不同类型的接收装置的实例。
通常,视频CODEC算法操作在单独的一帧一帧的基础上,和/或 者“暂时压缩”的基础上,或者操作在两者上,其中每一帧是在现有 的使用中的最常见的视频压缩算法,基于一些数学原理,包括下面的: 离散余弦变换(“DCT”),小波变换(wavelet transform)和纯分形 (pure Fractals)。
“离散余弦变换”或“DCT”是到目前位置最为流行的用于图像 压缩应用的变换。通常,DCT是用于将波形数据表示为余弦的加权和 的技术。DCT类似于离散傅立叶变换:它将来自空间域的信号或图像 转换到频域。DCT帮助将图像分离为不同重要性(关于图像的视觉质 量)的部分(或光谱子带)。它流行的原因不仅仅包括用于通常图像 的关于能量紧缩的良好表现,还包括一些快速算法的可用性。在两个 国际性的图像/视频压缩标准JPEG和MPEG中使用DCT。
“小波变换”通常是将信号数据转换为一组数学表示的数学算 法,并且数学表示之后可以由目标接收器装置解码,例如,以类似于 傅立叶变换的方式。通常认为小波可以提高弱信号从噪声中的恢复能 力,并且由此增强以这种方式处理的图像,同时不会显著的模糊或混 合细节。为了这个原因,特别将小波信号处理应用到医学应用中的X 射线和磁共振图像。在互联网通信中,相比其它现有方法通常可以达 成的程度,使用小波可以将图像压缩到更大的程度。在一些情况中, 小波压缩的图像可以小到使用更为常见的JPEG格式压缩的具有相同 质量的图像的大约25%的大小,其将在本公开的其它地方更详细的描 述。这样,例如,需要200KB并且花费一分钟来下载的JPEG格式照 片,对于小波压缩的格式来说,可能仅需要50KB和花费15秒来下载。 通常给予小波压缩的图像文件后缀“WIF”,并且或者接收器(例如, 在计算机接收器上的互联网浏览器)必须支持这个特定格式的文件, 或者需要插入式程序来读取这个文件。
分形图像压缩是有损图像编码的一种现代技术,其相比现有的傅 立叶序列压缩方案提供了一些改进。因为当在作为阶梯函数模拟时改 进了边缘描绘,边缘需要大量关于合适的描绘的傅立叶序列项。分形 的其它优点包括快速的解码时间和缩放独立性。分形压缩基于 Mandelbrot设置,其具有自相似、缩放比例相关、自然的统计特性等 优点(Mandelbrot,1983)。分形压缩和解压包括聚类方法,以独立 于旋转和缩放比例找到示出了和样本区域相同的特征的区域。分形图 像将图像压缩为递归方程并且说明怎样再现它们。该方程描述关于在 它的分量之间的关系的图像。在存储需求方面的降低是因为分形压缩 保存方程和指令,而不是保存图像的象素这个事实的缘故。
“MPEG”是运动图象专家组的首字母缩写并且在使用上和从那 里公布的确定的展开视频和音频压缩标准同义。通常,为使用MPEG 视频文件,个人计算机需要具有足够的处理器速度、内部存储器和硬 盘空间来处理并播放通常很大的MPEG文件,通常给予其名称后缀 “.mpg”。在客户系统上必须具有播放MPEG文件的特定的MPEG 观赏器和客户软件,并且通常可以从在网上的很多站点下载商用MPEG 播放器的共享件或版本。在这里,用于MPEG格式媒介的操作模式将 通过参考这些下述的连续发展的标准进行描述。
更为特别的,MPEG-1标准指定用于编码通常在大约1.5Mbps的 传输率的顺序的视频。这通常是指定用于Video-CD和CD-I媒体的特 定应用。MPEG-1音频层-3(“MP3”)也是从早期的MPEG工作中 发展出的。“MPEG-2”是通常指定用于编码在4Mbps的传输率以上 的交织文件的标准,并且通常意在用于数字TV广播和数字多功能光 盘。虽然,通常认为很多MPEG-2播放器也可以处理MPEG-1数据, 并不认为相反的也是正确的,而且MPEG-2编码的视频通常和MPEG- 1播放器不可兼容。另一个改进的标准“MPEG-3”也被提出用于高清 晰度电视(“HDTV”),即使通常MPEG-3混合了认为已经达到HDTV 需要的MPEG-2。最后,最近开发了“MPEG-4”标准,并且其意在提 供更为有志向的标准来解决语音和图像合成、分形几何学以及计算机 可视化,并且进一步将其公开来为了重新构建图像而结合人工智能。
MPEG-1和MPEG-2标准定义了用于以从25∶1到50∶1的不同 的因数压缩数字视频的技术。这个根据这些标准达成的压缩通常使用 五种不同的压缩技术:(i)基于频率变换的离散余弦变换(DCT);(ii)“量 化”,其是用于有损选择性信息的技术,例如,有损的预测,其中以 在该图像前面和后面的相邻的图像的画面预测一些图像。
可由商业性渠道获得的视频压缩技术的更为详细的实例包括:微 软的媒体播放器(Microsoft Media PlayerTM)(可从微软公司获得), RealPlayerTM或RealSystem G2TM(可从Real NetworksTM购买获得), Apple’s QuicktimeTM(可从SorensonTM购买获得);以及“VDO”。 通常认为微软媒体播放器是应用CODEC的MPEG标准用于压缩/解 压,然而其它的播放器声称使用CODECS的专有类型。标准的压缩算 法,比如MPEG4,使得建立用于企业流、安全性或类似性能的嵌入 式系统的开发者可以有办法获得并掌握它们。
近来的通过无线或IP网络来提供流式视频解决方案的工作的一 个实例由名为Emblaze Systems(LSE:BLZ)的公司公布。这个公司公开 了意在用于在任意平台:PC、PDA、视频手机和互动式TV上编码和 回放实况和视频点播消息和内容的确定的技术。该Emblaze System被 认为就是先前的GEO交互式媒体组。接下来公布的国际专利申请公 开了确定的流媒体压缩技术,其被认为和Emblaze System相关,且所 称的GEO交互式媒体组作为“受让人”:W09731445到Carmel et al.; 以及W09910836到Carmel。在这里将这些参考的公开整体的完全包 括并且作为参考。
另一公布了意在改进用于无线应用的流媒体通信的CODEC技术 的公司是Packetvideo公司TM,更为特别的,该技术意在将流式视频 传递到蜂窝电话。另外,为了保护视频和音频流不受无线环境中的损 害,它们认为应该提升CODEC技术,意在跟踪临时可量测性和预示 误码抵抗力。给Lengwehasatit的美国专利No.6,167,092进一步公开了 确定的流媒体压缩/解压缩技术的实例,其被认为在这个专利参数的首 页上与称为“受让人”的Packetvideo相关。在这里全部包括有这个专 利参考文献的公开并将其作为参考。
另一先前的参考文献公开了CODEC技术,其意在提供一种低成 本、连续自适应的数字视频系统和方法,以压缩用于移动图像的彩色 视频数据。这个方法包括捕捉模拟视频帧并且将图像数字化,成为用 于使用独特的有损和无损数字组合进行压缩的优选的源输入格式。
另一先前的参考文献公开了意在提供低成本、连续自适应的数字 视频系统和方法,用于压缩用于移动图像的彩色视频数据的CODEC 技术。这个方法包括捕捉模拟视频帧并且将数字化图像成为用于使用 不同的有损和无损数字压缩技术的组合进行压缩的优选的源输入格 式,其中数字压缩技术包括子带编码、小波变换、运动检测,游程长 度编码和可变长度编码。该系统包括编码器解码器(CODEC)部分, 通常公开其使用“Huffman”编码器,以压缩并解压视觉图像来提供 高压缩率,从而意在提供良好到优秀的视频质量。压缩的视频数据提 供基本视频层和另外的以压缩的数字音频多路复用的视频数据层,以 提供数据流,其中将该数据流分组以通过包括局域或广域上的无线网 络的互联网或内部网分配。通过响应于比较数据信道上的可用带宽和 用于先前帧的信道上的可用带宽,公开的CODEC系统意在一帧一帧 的持续调整数字图像帧的压缩,从而提供和网络传输信道的可用带宽 以及和客户用户端的接收器资源性能相当的输出数据流。可能进一步 通过调整输出数据流的帧速率来调整压缩。
另外的更详细的意在至少部分用在流式视频通信中的CODEC系 统的实例在下面的美国专利Nos.:6,081,295到Adolph et al.;6,091,777 到Guetz et al.;6,130,911到Lei;6,173,069B1到Daly et al.;6,263,020 B1到Gardos et al.;6,272,177到Murakami et al.;以及6,272,180 B1 到Lei中公开。在这里将这些参考的公开全文引入并且作为参考。
在这种CODECS中,即使不是全部,至少大部分先前的流式视 频压缩方法使用极其复杂的数学工具以及一些微妙变化来在所有类型 的公共和私人网络上实现“一个适合所有尺寸”的视频,该网络包括 从超低带宽的网络(诸如在无线网络中所发现的)到卫星通信到超高 速光纤安装。在多种现有的压缩方法中,通常有用户可定义的参数, 其包括图像大小、帧比率、颜色深度、对比度、亮度、感受到的帧质 量、缓冲长度等的平衡。另外,在算法本身的内部,有很多非用户可 以定义的量和加权计算。这需要开发者以一个“通用”重要性一次性 的设置它们,并且之后封装并运输产品。
但是,虽然视频流市场继续快速发展,全世界并不会选择一个用 于压缩的标准,因为没有一个对于所有视频源、目标和传输形式都很 理想的算法。虽然第一CODEC可能对于一种类型的信号是最好的, 或对于信号的第一部分(例如,包括一系列帧的帧或场景)是最好的, 另一第二CODEC可能对于另一类型的信号,或甚至是相同信号的第 二部分是最好的。此外,一个CODEC可能最适于压缩/解压在通信网 络中的发送、接收和传输装置中的特殊的流式信号;对于相同的,但 是具有另一组通信装置参数的流媒体信号,相比第一CODEC,另一 第二CODEC可能更加合适。例如,一些视频流可能传送颜色到手持 装置,而且其它视频流在到手机的黑白传输中可能在象素损失方面具 有优势从而可以增加帧比率。所需的声音质量、帧比率、清晰度以及 缓冲公差都会明显的影响在多个平台上的用于最优化视频和音频传送 的压缩算法的选择。
事实上,确定的通信装置参数可能在流媒体传输中十分短暂,使 得对于一组最初参数的开始合适的CODEC,因为那些参数在相同流 式信号传输过程中的变化而变得不如另一CODEC有效。这种短暂的 参数的实例包括,但是不限于,在数据传输信道中的可用带宽,可用 存储器和在发送或接收装置中的处理能力,以及在接收装置中的专用 显示分辨率/窗口(例如,在屏幕上的最小化窗口)。随着这些一个 CODEC和另一不同因素的不同组合的大量反复,这些问题的复杂程 度也呈指数上升,并且上述的因素是对于沿着特别的通信装置系统压 缩,解压和传送特定流媒体信号最为有效的。
因为CODEC系统是“特定格式”的,必须“预先设置”源和目 的装置来在彼此之间根据通用的、特定的压缩/解压形式传递媒体信 号,而且必须使用代码转换机。但是,即使使用了现有的代码转换机, 通常不考虑通信系统中的约束条件(例如,源、传输信道、目的装置), 而且通信可能出现严重的故障。为了进一步说明的目的,图1A和1B 示出了两个用于在源110-120和目的装置130-140之间传递媒体的 不同的现有方法的不同方案图示。这些示图特别示出了流式视频通 信,即使可由类似的系统表示其它媒体形式。
可以看到通常为特定应用修改CODEC算法,并且之后在有限的 实例上比类似未修改的设置更好的执行。但是,这通常必须对一系列 的帧、或者理想的、对于每一单独的帧进行。对于发生的在较高的分 辨率和较低的感受到的质量的每一帧,一些基于DCT的算法具有多 达二十亿的数学操作。对于一般机械来说这个数字太大,即使对商业 性的服务器,在一秒内也只能执行三十到六十次。这也是专用压缩板 或ASIC出现的原因。
音频CODECS
除了近来公众对改进视频压缩的兴趣,音频压缩同样也成为大量 用于多种实况或预记录应用的工作的话题,其中包括音频广播、音乐 和视频同步的传输、实况互动语音(例如,电话)。这些音频压缩应 用中的任意和全部必须可以和广泛的客户端的接收器/播放器、比如大 量具有多种性能和操作参数的手持或桌上型装置兼容,
现有的音频CODECS通常包括几种不同类型,在下面将为了说 明的目的大致的概括其中几个。
“码激励线性预测”或“CELP”是一使用波形的语音压缩方法 的类型CODECS,其中的波形CODEC在激励滤波器架构中使用“分 析—合成”或“AbS”以进行目标信号的波形匹配。基于CELP的CODEC 近来发展为用于高质量语音压缩的主要技术,并且已经被公布以在最 低大约6kbps的数据速率发射长途电话质量的压缩的语音。但是,至 少一个出版物公开了CELP编码语音的质量在/或低于4kbps的比特率 上严重下降。
“声码器”是不基于波形编码方案的语音CODEC,但是还是使 用目标输入语音的量化的参数描述来合成重新构建的输出语音。公开 了声码器在低比特率传送更好的语音质量,比如在大约4kbs,并且开 发其用于这种应用。低比特率的声码器使用语音讲话的特性和用于讲 话分析、编码和合成的平稳的非语音讲话的“类噪声(noise-like)” 特性。一些更早版本的声码器(例如,联邦标准1015 LPC-10)使用 时域分析和合成方法。但是,大部分最近的版本,至少一个出版物标 注为“谐波编码器“,其使用用于发出的语音分段的谐波谱模型。
虽然描述了先前的某些特定语音压缩技术,由工业机构开发并由 工业机构和非盈利组织管理大量语音CODEC并作为标准。这些组织 的实例包括,但是不限于下面的:欧洲电信标准协会(“ETSI”), 电气和电子工程师协会(“IEEE”);以及国际电信联盟电信标准化 部分(“ITU-T”),也就是早前的“CCITT”,并且它们的标准通 常用作CODEC的参考类型。
一个最近公开的用于语音的混合编码的方法和设备指定在 4kbps,其编码用于传递到解码器以进行语音再现的语音,其中将语音 信号分为三个类型:(i)稳定状态发声的或“谐音的”;(ii)固定非发声 的;以及(iii)“短时间的”或“过渡的”语音。特别类型的编码方案 用于每一类。谐音的编码用于稳定状态发声的讲话,“类噪声”编码 用于固定的非发声语音,并且特定编码模式用于过渡式讲话,指定来 捕捉位置、结构,以及表现语音的过渡部分的特色的本地时间事件的 强度。意在将压缩方案应用到语音信号或LP残留信号。
另一近来公开的用于添加新的语音编码方法到现有的电信系统的 方法和装置也将在下面概括。为了在系统中并行使用“新的”CODEC 和“旧的”CODEC,将CODEC引入数字电信系统的语音发射收发机。 通过实现在收发机之间的信号交换过程选择CODEC,其中在所有收 发机和在连接的电信系统中的先前使用的收发机中实现语音编码方 法。在每一连接的开始使用信号交换。在开始电话呼叫并且在切移之 后,该方法检查双方是否能使用新的语音编码。其所选择的交换消息 使得它们在语音质量上的效果最小,并且还使得识别该消息的可能性 最大。
再一个近来的相关参考文件公开了意在用于语音压缩的用于级联 的CODEC的可调可感加权滤波器。可以调谐特定的滤波器参数来提 供级联情况的改进的性能。更为特别的,使用的参数是第十阶的LPC 预测器系数。这个系统被特定于使用“低延时激励线性预测”CODEC 或“LD-CELP”。
就像根据刚刚描述的实例的另一个使用CODEC的流式音频通信 系统的详细的实例在下面的US专利参考文件:6,144,935到Chen et al.; 6,161,085到Haavisto et al.;以及6,233,550到Gersh中提供,并且在 这里完全引入这些参考文件的公开并作为参考。 具有CODEC的人工智能(“AI”)和神经网络
近来公开了多种意在结合人工智能(“AI”)或神经网络和流媒 体信号的压缩和解压的系统和方法。
术语“人工智能”在这里意在表示由计算机系统进行的人类智能 的模拟,包括学习(获得用于使用信息的信息和规则),推理(使用 规则来达成大致或精确的结论),以及自我修正。AI的特别的应用包 括“专家系统”,其是一种计算机程序,其模拟在特别领域中具有专 家级知识和经验的组织或个人的判断及行为。通常,专家系统包括对 于每一向程序描述的特别的形势的知识基础,并且可以通过添加知识 基础或某组规则来进行加强。
术语“神经网络”在这里意在表示接近人类大脑操作的程序和数 据系统,通常包括大量并行操作的处理器,每一都具有它自己的小知 识范围并且在它的本地存储器中的存取数据。通常,首先将大量关于 数据关系的数据和规则送入神经网络,之后程序可以告诉网络怎样表 现来响应外部激励(例如,输入信息)。在做出这个决定的过程中, 神经网络使用一些原理,包括但是不限定于基于梯度的训练和模糊逻 辑。可以进一步以知识层来描述神经网络,并且通常是具有包括更深 层的更复杂的网络。在“前馈”神经网络系统中,可以将学到的关于 数据的关系“前馈”到更高层的知识。神经网络还可以学习临时概念, 并且将其广泛的用在信号处理和时序分析中。其它公开的神经网络的 应用包括石油探测数据分析、天气预报、生物实验中的核苷序列的解 释,以及思想和意识的模型的开发。
术语“模糊逻辑”在这里意在表示基于“真实度”而不是“Boolean 逻辑”的计算方法,其中的“Boolean逻辑”仅在真/假(或“二进制 的,如1或0)的领域内操作。模糊逻辑首先由加州大学伯克利的Dr.Lotfi Zadeh在1960年代提出,关于计算机理解自然语言的问题方面的工作, 其中的自然语言不能被很容易的翻译为绝对的Boolean逻辑术语。模 糊逻辑通常包括0和1作为真值的极端情况的情况,但是还包括多种 在真值之间(例如,确定状态在一些阈值,比如0.98,可以帮助做出 决定来分配1给在操作中的可接受的低错误发生率)的多种状态。
一个先前公开的流媒体压缩/解压系统的实例意在通过神经网络 使用人工智能,其为了压缩比如视频数据的数据而使用Radon变换。 一些先前公开的AI和/或神经网络系统意在使用AI和/或神经网络用 于在使用确定的特定无损压缩CODECS过程中的错误检测的目的。例 如,采用学习系统来确定接收器在压缩和传输之后所接收到的和预测 在传输终点处所接收到的之间的差别。在学习更改CODEC用于另外 的传输的调整时处理此差别。
公开的方法和装置的另一实例意在为了隐藏数字语音帧误差而外 插用于插入丢失的数据段的过去的信号历史数据。外插方法使用存储 在缓冲器中的过去的信号历史。以公开来使用有限脉冲响应(“FIR”) 的、多层、前馈的人工神经网络的装置来实现本发明,其中通过用于 语音压缩算法(“SCA”)参数的一步外插的后向传播来训练神经网 络。一旦建立了语音连接,语音压缩算法装置开始发送编码的语音帧。 随着接收到语音帧,将其解码并且转换回语音信号电压。在正常的解 码过程中,将发生需要的SCA参数的预处理,并且之后将其存储在过 去的历史缓冲器中。如果检测到语音帧的丢失或者错误,之后,执行 外插模块并且产生替换SCA参数作为SCA需要的参数并且发送。以 这种方式,发送到SCA的信息意在是透明的,并且SCA处理继续如 常。这个公开宣称,因为在过去接收的、丢失的、以及接下来接收的 语音帧之间实现了光滑过渡,收听者一般不会注意到语音帧丢失。
意在在系统中使用人工智能和/或神经网络用于媒体压缩和/或解 压,并且通常关于特定类型的媒体CODEC方法(例如,话音,视频) 的系统的另外的更详细的实例在下面的美国专利参考中多种公开: Naillon et al.的5,005,206;Yoshida et al.的5,041,916;Gerdes的 5,184,218;Burel et al.的5,369,503;Fang et al.的5,598,354;Kurdziel的 5,692,098;Fang et al.的5,812,700;Imade et al.的5,872,864;Prieto,Jr. 的5,907,822;和Mitchell的6,216,267。再一个实例在下面出版的 国际专利申请:WO 01/54285中提供;Naillon et al.的EPO 0372608 A1。将在这里全文包括在这篇文章中引用的所有这些参考的公开并 将其作为参考。
其它公开了使用反馈或其它用于操作CODECS以用于处理多种 流媒体信号的系统的CODEC系统,但是不认为是特别使用标志“AI” 或“神经网络”的公开,在下面的美国专利申请Betts et al.的6,072,825; Malvar的6,182,034 B1;Malvar的6,253,165 B1;Malvar的6,256,608 B1中公开。在这里全文引入这些参考的公开并且作为参考。
虽然在CODEC算法本身中具有显著进步,并且尽管先前为了改 进通信中的压缩效率有意的使用AI和其它反馈系统以操作CODECS, 仍然需要显著的改进通过多种具有不同带宽和通信协议的传输信道以 有效提供多种流媒体信号到多种目的接收器装置的性能。
仍然需要结合AI和/或神经网络来应用用于基于多种参数传递流 媒体信号的合适的CODEC,包括但是不限定于下面的一个或多个:(a) 从可用的不同类型和操作的CODEC的库中自动选择合适的最优化 CODEC,包括特别基于相比其它CODEC操作和/或相对一个标准的 所选CODEC操作的智能知识,(b)在表示现有形式的给定组的操作参 数内,特别的CODEC操作的预先训练和/或重复学习的知识;以及(c) 基于它关于现有形式或参考参数的测试形式中一个或两者的操作的智 能知识的,合适的CODEC的转换。
特别的,仍然需要这种智能的CODEC系统,使应用的CODEC 基于下述一个或多个所定义的现有形式:流媒体信号本身的参数;参 数信道性能和约束条件的参数;以及接收器装置性能和约束条件的参 数。
此外,为了最优化主题流媒体信号的合适的压缩、传输、解压和 播放,仍然需要这种基于智能知识操作的智能的CODEC系统,其中 的智能知识关于所有这些操作和形式的参数。
用于流媒体的传统的代码转换机
近来流媒体通信领域的兴趣在于提供现在使用的多种“特定格 式”编码系统之间的交互通信。现有的多种不同的特定格式系统和预 编码内容的领域形成了在处理编码内容上广泛的未完成性能,造成在 内容提供商和客户用户之间的在可兼容性问题上的相当的困境。如果 一个客户需要从特别的源看到或听到流内容而且那个内容必须通过用 于压缩的CODEC,在客户侧必须使用可兼容的CODEC用于解压来 享用信号。不幸的是,源内容经常只结合一些,并且通常是仅仅一种, 特定的CODEC方案。因此,如果客户请求这种编码的内容(或者如 果源需要将编码的内容送给特殊的客户),必须达到两个标准中的一 个:(1)客户必须下载或以其它方式拥有特定格式的CODEC(解码器); 或者(2)为了将源媒体从第一格式解码为可以和客户的设备/系统兼容 的第二格式,源媒体必须安放“代码转换机”。术语“代码转换机” 在这里意在表示将媒体信号从一个编码的(也就是,压缩的)格式转 换为另一个的系统。
已经在先前公开了多种用于将一个媒体格式的代码转换为另一个 的技术。图1C示出了一个具有很多已知的代码转换技术特征的一般 过程的说明性实例。更为特别的,首先从特别类型的,用于在最初的、 不兼容的格式存在的内容的装置或播放器接收请求159。根据在图1C 中示出了的特定实例,接收来自微软媒体播放器(microsoft Media Player)的用于实时视频内容(Real Video Content)的请求159。随着特 别的请求内容,将内容从最初的格式(例如,实时编码的格式)解码, 并且之后“重新编码”为合适的用于请求播放器(例如,微软媒体格 式)的格式。然后将这个重新编码的媒体用来请求客户,用于在那个 播放器的内置系统中解码。
这个现有的系统具有显著的可量测性方面的限制,在多个信道上 同时为多个客户的馈入必须由相等数量的代码转换器支持。例如,图 1D示出了刚刚描述的现有代码转换技术的方案实现,其管理从四个 微软媒体播放器同时请求的四个流,其中请求的内容最初以RealTM格 式编码。用来支持四个编码器151-154和四个解码器155-158的系 统结构需要可观的计算资源。例如,认为在实例中提供的每一编码器 151-154需要具有128M字节可用RAM的600MHz(例如,奔腾 TMIII),或者具有256M字节可用RAM的双400MHz处理器(例如, 奔腾II)的计算机。还认为每一解码器155-158需要具有64Mb可用 RAM的233MHz机器(例如,奔腾TMII)。所以,四个这种流需要相 当于四900Xeon(可从Compaq,Hewlett Packard,Dell and IBM通过购 买获得,估计在这个公开的时间零售需要花费$9K)。这只是对于四 个同步流,而对于现有的公众需要通常需要上千个同步流。
仍需要使用最小化的计算资源和以最节约成本的方式,用于将多 个特定格式的编码流媒体信号有效的转换为多个其它格式的代码转换 器系统。
影响媒体通信的参数
为了进一步说明可能影响选择合适的CODEC的变量的目的,下 面是多种不同类型的流式视频格式和处理系统的大致总结,这里为了 将特殊的流媒体信号传递到所述目标而选择合适的CODEC。相信考 虑到可用的传输速度和带宽,以及接收器处理参数,为了最优化流媒 体信号的传递和播放,通常这些不同信号每一都需要不同类型的压缩 形式(例如,CODECS)。
虽然将在这里进一步详细描述确定的特定类型的通信格式和系 统,下面的表1提供关于可用速度和带宽的,当前可用或公开的多种 不同的通信系统和传输载体的重要交叉部分的总结。
表1:多种通信载体系统的数据速率     技术     速度     物理媒介     应用 GSM移动电话服务 9.6到14.4Kpbs 空间中的RF(无线) 用于公司和个人使用的移动 电话 高速电路交换数据 服务(HSCSD) 最高56Kbps 空间中的RF(无线) 用于公司和个人使用的移动 电话 常规的电话服务 (POTS) 最高53Kbps 双绞线 家庭和小型公司接入 帧中继上的专用 56Kbps 56Kbps 多种 具有相当大的文件附件的公 司电子邮件 DS0 64Kbps 所有 在一组数字信号电平的信道 上的基带信号 通用分组无线电系 统 (GPRS) 56到114Kbps 空间中的RF(无 线) 用于公司和个人使用的移动 电话 ISDN BRI:64Kbps-128Kbps PRI:23(T-1)-30(E1) 可分配64-Kbps信道加上 BRI:双绞线 PRI:T-1或E1线 BRI:快速家庭和小型公司 接入 PRI:中型和大型企业接入 控制信道;多达 1.544Mbps(T-1)或 2.048(E1) IDSL 128Kbps 双绞线 快速家庭和小型公司接入 AppleTalk 230.4Kbps 双绞线 用于Apple装置的本地区域 网络;一些可以被桥接的网 络;可以被连接的非Apple 装置 增强型数据GSM环 境(EDGE) 384Kbps 空间中的RF(无 线) 用于公司和个人使用的移动 电话 卫星 400Kbps(DirecPC和其 它) 空间中的RF(无 线) 快速家庭和小型企业接入 帧中继 56Kbps到1.544Mbps 双绞线或同轴电缆 用于LAN到ISP的大型公 司主干 ISP到互联网基础结构 DS1/T-1 1.544Mbsp 双绞线,同轴电缆 或光缆 大型公司到ISP ISP到互联网基础结构 通用移动电信业务 (UMTS) 高达2Mbps 空间中的RF(无 线) 用于公司和个人使用的移动 电话(于2002年后可用) E-carrier 2.048Mbps 双绞线,同轴电缆 或光缆 欧洲的等效于T-1的32信 道 T-1C(DS1C) 3.152Mbps 双绞线,同轴电缆 或光缆 大型公司到ISP ISP到互联网基础结构 IBM令牌环路/ 802.5 4Mbps(还有16Mbps) 双绞线,同轴电缆 或光缆 在以太网之后第二最常用的 本地区域网络 DS2/T-2 6.312Mbps 双绞线,同轴电缆 或光缆 大型公司到ISP ISP到互联网基础结构 数字用户线(DSL) 512Kbps到8Mbps 双绞线,同轴电缆 或光缆 使用现有线路的家庭,小 型公司和企业接入 E-2 8.448Mbps 双绞线,同轴电缆 或光缆 四倍多路复用E-1信号的载 波 电缆调制解调器 512Kbps到52Mbps(参看 下面的“按键利解释”) 同轴电缆(通常使 用以太网);在一 些系统中,电话用 于上行流请求 家庭,公司,学校接入 以太网 10Mbps 10BASE-T(双绞线) 10BASE-2或-5(同轴 电缆); 10BASE-F(光纤) 最流行的商用局域网络 (LAN) IBM令牌环路/ 802.5 4Mbps(还有16Mbps) 双绞线,同轴电缆 或光缆 在以太网之后第二最常用的 本地区域网络 E-3   34.368Mbps   双绞线或光纤 16个E-1信号的载波 DS3/T-3   44.736Mbps   同轴电缆 ISP到互联网基础结构 在互联网基础结构内的较小 的链接 OC-1   51.84Mbps   光纤 ISP到互联网基础结构 在互联网基础结构内的较小 的链接 高速串行接口 (FDDI)   高到53Mbps   HSSI电缆 在路由器硬件和WAN线路 之间 在较慢的LAN装置和较快 的WAN线路之间的短范围 (50英寸)互联 快速以太网   100Mbps   100BASE-T(双绞   线)   100BASE-T(双绞   线)   100BASE-T(光纤) 可以将具有10Mbps以太网 卡的工作站插入快速以太网 LAN 光纤分布式数据接 口(FDDI)   100Mbps   光纤 通常在大型公司或较大的 ISP中的大型,宽范围的 LAN T-3D(DS3D)   135Mbps   光纤 ISP到互联网基础结构 在互联网基础结构内的较小 的链接 E-4   139.264Mbps   光纤 携带4E3信道 高达1,920同步语音会话 OC-3/SDH   155.52Mbps   光纤 大型公司主干 互联网主干 E-5   565.148Mbps   光纤 携带4E3信道 高达7,680同步语音会话 OC-12/STM-4   622.08Mbps   光纤 互联网骨干 吉比特以太网   1Gbps   光纤(和多达100米   的“铜线”) 插入吉比特以太网交换的具 有10/100Mbps以太网的工 作站/网络 OC-24   1.244Gbps   光纤 互联网骨干 SciNet   2.325Gbps(15OC-3线路)   光纤 部分vBNS骨干 OC-48/STM-16   2.488Gbps   光纤 互联网骨干 OC-192/STM-64   10Gbps   光纤 骨干 OC-256   13.271Gbps   光纤 骨干
表的注释和关键词
(i)术语“Kbps”是“千比特每秒”的缩写。在除了美国以外的 其它国际英语中,等同于使用“kbits s-1”或“kbits/s”。
(ii)工程师使用数据速率而不是速度,但是速度(比如在“为什 么我的页面不能够更快一些到这里?”中)可能看起来更有意义并且 技术倾向性更少。
(iii)关于数据传输,相关的术语,比如带宽或者“容量”意味着 管道有多宽并且可以多快的将比特在管道中沿信道发送。这些“速度” 是总计的速度。就是说,通常由信道分配在载体内的多个信号信道用 于不同的使用,或在不同用户中分配。
关键词:(i)″T″=在美国,加拿大,和日本等的T-载体系统...(ii) ″DS″=数字信号(digital signal)(在T-载体或在E-载体上运行的)...(iii) ″E″=等效使用每信道所有8比特的″T″;使用在除了美国,加拿大,和 日本的其它国家中...(iv)″OC″=光学载体(同步光网络)″STM″=同步 传输模块(参看同步数字等级)。(v)仅示出最常用的技术。(vi)“物 理媒介”通常表述并且不指定双绞线对的类型或数量,或者光纤是单 模式还是双模式的。(vii)没有示出技术的有效距离。(viii)公布了用于 很多这些技术的标准。
电缆调制解调器注释:电缆上的上限52Mbps是到ISP,当前并 不是到单独的PC。现有的多数PC是限于内部设计,只能容纳不大于 10Mbps(虽然PCI总线本身以高速携带数据)。52Mbps电缆信道在 单独的用户中被细分。很明显,信道越快,ISP将需要越少的信道并 且支持单独的用户的成本越低。
互联网载体系统
通过互联网的流式视频的传递可能在多种传输模式中发生,其包 括,例如,数字用户线(“DSL”),“T1”线路,电缆调制解调器, 简单的旧的电话服务(“POTS”)拨号调制解调器,以及无线载波。 虽然在这里分开的处理很多不同无线传输模式的描述,为了在下述中 进一步说明的目的,接下来,在这里将紧接着提供多种这些其它传输 模式的总结。
术语“POTS”或“简单的旧电话服务”,或“拨号”,作为应 用到通信传输信道的,在这里是可互换的使用的。这个术语意在表示 通常通过彼此缠绕的铜线,或“双绞线”,连接在家庭或小型公司的 终端用户到电话公司办公室的“窄带”通信。创建现有的电话服务来 使得你和其它电话用户通过模拟信号交换语音信息,该模拟信号将表 示声学模拟信号的模拟信号关于音量(信号幅度)和音调(波变化的 频率)转换为等效的电信号。因为已经对于这些模拟的波传输设立好 了电话公司的信令传输,对于它,可以很容易的使用作为在你的电话 和电话公司之间向前和向后取得信息的方式。因此,拨号调制解调器 是用来解调模拟信号并将它的值调整为被称为数字信息的0和1的值 的串的。因为模拟传输仅使用可以通过铜线发送的可用信息量的一小 部分,使用通常的调制解调器,你可以接收的数据的最大量是大约 56Kbps。你的计算机接收信息的性能由这样一个事实所限制,即,电 话公司过滤作为数字数据到达的信息,为了你的电话线路将其变为模 拟形式,并且需要你的调制解调器将它变回数字形式。换句话说,在 你家或公司和电话公司之间的模拟传输是带宽瓶颈
对于“ISDN”或一些人认为是DSL的有限前身的“互联网用户 数字网络”,对于一些终端用户客户来说可以实现引入的数据率高到 大约128Kbps。
通常将“DSL”或“数字用户线路”定义为用于通过一般的铜的 电话线路传递高带宽通信的“宽带”传输载体。已经公开了很多不同 类型的DSL服务,其通常在数据率和预期应用上不同。虽然在这里关 于这些确定的DSL类型提供进一步的讨论,为了进一步形成总的理解 的目的,下面的表2提供了用于这些确定的DSL类型的信息的概括。
表2:已知的DSL服务的类型 DSL类型 描述 数据率下行流; 上行流 距离限制 应用 IDSL IDSN数字用户 线路 128Kbps 在24规格线 路上18,000英 寸 类似于ISDN BRI服 务但是只有数据(在 相同线路上没有语 音) CDSL 来自Rockwell的 用户DSL 1Mbps下行流; 上行流更少 在24规格线 路上18,000英 寸 无分离器的家庭和小 型公司服务;类似于 DSL Lite DSL Lite (和 G.Lite相 同) 没有“交易记录” 的“无分离”DSL 根据用户的服 务,从1.544Mbps 到6Mbps下行流 在24规格线 路上18,000英 寸 标准ADSL;为不需 要在用户的家庭或公 司安装分离器而牺牲 速度 G.Lite(和 DSL Lite 相同) 没有“交易记录” 的“无分离”DSL 根据用户的服 务,从1.544Mbps 到6Mbps 在24规格线 路上18,000英 寸 标准ADSL;为不需 要在用户的家庭或公 司安装分离器而牺牲 速度 HDSL 高比特率数字用 户线路 在两个双绞线线 路上双向 1.544Mbps; 在三个双绞线线 路上双向 2.048Mbps 在24规格线 路上12,000英 寸 在服务器和电话公司 之间或者在公司内的 T1/E1服务; WAN,LAN,服务 器接入 SDSL 对称DSL 在单一双向线路 上下行流和上行 流双向 1.544Mbps(美国 和加拿大); 2.048Mbps(欧洲) 在24规格线 路上12,000英 寸 和HDSL相同但是仅 需要双绞线中的一条 线路 ADSL 非对称数字用户 线路 1.544到6.1Mbps 下行流; 16到640Kbps上 行流 在18,000英寸 1.544Mbps; 在16,000英寸 2.048Mbps; 在12,000英寸 6.312Mbps 在9,000英寸 8.448Mbps 用于互联网和网络接 入,运动视频,视频 点播,远程LAN接 入 RADSL 来自Westell的 适应线路, 没有提供 类似于ADSL 比率自适应DSL 640Kbps到 2.2Mbps下行 流;272Kbps到 1.088Mbps上行 流 UDSL 由欧洲的公司提 出的单向DSL 不知道 不知道 类似于HDSL VDSL 超高速数字用户 线路 12.9到52.8Mbps 下行流; 1.5到2.3Mbps上 行流; 1.6Mbps到 2.3Mbps下行流 在12.96Mbps 4,500英寸; 在25.82Mbps 3,000英寸; 在51.84Mbps 1,000英寸 ATM网络; 光纤到邻居
通常公布的用于DSL服务的数据率,其包括高到6.1Mbps(理论 上公布在8.448Mbps)的速率,认为这已经可以启用电影、音频和3- D效果的连续传输,其中DSL服务可能根据到提供服务的公司的中心 办公室的距离而有所不同。更为普遍的单独的连接可以提供从512Kbps 到1.544Mbps的下行流和大约128Kbps上行流。DSL线路可以携带数 据和语音信号并且线路的数据部分是连续连接的。一些出版物预期 DSL在很多区域代替ISDN,并且和电缆调制解调器竞争到家庭和公 司的多媒体通信。DSL仅操作在数字域中,并且不需要变换为模拟形 式及变回来。将数字数据作为数字数据直接发送到目的计算机,并且 这允许电话公司使用更宽的带宽用于前向传输。同时,如果客户用户 选择的话,可以分开信号,使得一些带宽可以用来发送模拟信号,这 使得可以在相同线路上同时使用电话和计算机。
大部分DSL技术需要在家庭或公司中安装信号分离器,这需要 电话公司上安装。但是,可能从中心办公室远程管理分离。这被称 为无分离DSL,“DSL Lite”,G.Lite,或通用ADSL(下面进一步定义), 并且近来被作为标准。虽然这些由国际电信联盟(ITU)进行了标准 化,多种DSL仍使用几种调制技术。不同的DSL调制解调器制造商 使用离散多频声技术(DMT)或无载波幅度调制(CAP)。已知为多 虚拟线路(MVL)的第三种技术也是另一可能性。
DSL的多个操作参数是可变的并且其影响可以达到的有效数据速 率。DSL调制解调器通常符合北美和欧洲标准建立的数据率的倍数。 通常,用于没有转发器的DSL的最大范围是5.5km(18,000英寸)。随 着向着电话公司办公室的距离的减少,数据率增加。另一因素是铜线 的规格。对于超过5.5千米范围的目的装置,仍然可以提供DSL,但 是这通常仅在各个电话公司提供商以光纤电缆延伸了本地回路的情况 下。
为了将多个DSL用户互连到作为“骨干“的高速网络,电话公 司使用数字用户线路接入多路复用器(“DSLAM”)。通常,该DSLAM 连接到可以在吉比特数据率聚集数据传输的异步传输模式(“ATM”)。 在每一传输的另一末端,DSLAM将信号解多路复用并且将它们转送 到合适的单独DSL连接。
“ADSL”或“非对称数字用户线路”是对于家庭和小型商业用 户将变得更加熟悉的DSL形式。因为它的双向或“双工的”带宽专用 于发送数据到用户的下行流方向,ADSL被称为“不对称的”。仅仅 一小部分带宽被用于上行流或用户交互消息。但是,大多数互联网, 而且特别是图形或多媒体密集型网络数据需要大量的下行流带宽,且 用户的请求和响应很小并且需要很少的上行流带宽。使用ADSL,可 以向下行流发送高达6.1兆比特每秒的数据以及高达640Kbps的上行 流。高的下行流带宽意味着电话线路可以传输电影、音频和3-D图像 到目的计算机或电视显示器。另外,一小部分下行流带宽可专用于语 音而不是数据,且可以不需要单独的线路执行电话谈话。不像类似的 通过“电缆”电话线路的服务,ADSL不和给定区域中的邻居竞争带 宽。在很多情况中,你的现有的电话线路将工作为ADSL。在一些区 域中,可能需要更新。
“CDSL”或“用户DSL”是DSL的标志性版本,由Rockwell 公司提供,可能比ADSL慢(在下行流上1Mbps,并且通常预期上行 流更低)但是其具有不需要在用户端安装“分离器”的优点。可能需 要硬件来由本地电话公司携带CDSL到家庭或公司。CDSL使用它自 己的载体技术,而不是DMT或CAP ADSL技术。
很多公司和电话公司共同工作来开发ADSL的标准和更容易安装 的版本,被称为“G.Lite”,并且认为在这个公开的时间已在开发之 中。认为“G.lite”或“DSL Lite”(还被称为“无分离器ADSL”, 和“通用ADSL”)是不需要在用户端分离线路,而是在电话公司远 程管理来为用户分离线路的更慢的ADSL,但是成本可能很低。公开 G.Lite,正式的ITU-T标准G-992.2来提供从1.544Mbps到6Mpbs下 行流数据率和从大约128Kbps到大约384Kbps的上行流数据率。至少 一个出版物预计G.Lite将成为最广泛安装的DSL形式。
认为“HDSL”或“高比特率DSL”是DSL最早的变型,其广泛 用于在共同的站点和在电话公司和用户之间的宽带数字传输。HDSL 的主要特性在于它是对称的:在两个方向上等量的带宽可用。因为这 个原因,最大数据率通常低于ADSL。HDSL在双绞线的单一线上可 以携带的和在北美的T1线路上所携带的或在欧洲的E1线路上所携带 的相同(高达大约2.32Mbps)。
“IDSL”或“ISDN DSL”在一定程度上是用词不当,因为相比 通常和ADSL相关联的更高的数据率,它十分接近ISDN的数据率, 在大约128Kbps服务。
“RADSL”或“速率自适应DSL”是可从Westell公司获得的ADSL 技术,其软件能够确定在给定的用户的电话线路上可以发送的信号的 速率并且以此调整传送速率。Westell“FLEXCAP2Z”版本系统使用 RADSL来通过现有线路传送从大约640Kbps到大约2.2Mbps下行流 到从大约272Kbps到大约1.088Mbps上行流。
“SDSL”或“对称DSL”类似于HDSL,具有单一的双绞线, 在双向线路的每一方向上携带大约1.544Mbps(美国和加拿大)或者 大约2.048Mbps(欧洲)。因为在两个方向上数据率相等,所以是对 称的。
“UDSL”或“单向DSL”是由欧洲公司提出的,并且通常被认 为是提供单向版本的HDSL。
认为“VDSL”或“超高数据率DSL”是开发来允许在相对短的 距离内极高的数据率的技术,例如在多达大约1,000英寸或大约300 米长度上的大约51到大约55Mbps之间的数据率。至少一个出版物 预期VDSL可能在ADSL之后在一定程度上被广泛采用并且和它共 存。在一些环境中还没有确定传输技术(CAP,DMT,或其它)和它 的有效性。一些标准化组织正在开始其工作。
“X2/DSL”是来自3Com的调制解调器,其支持56Kbps调制解 调器通信,但是当ADSL在用户的区域中变为可用时,可通过安装新 的软件更新到ADSL的调制解调器,至少一个出版物引用3Com对这 个技术的描述:“你将需要的最后的调制解调器。
通常认为“T1“传输线路是“宽带”载体,并且将其定义为“T- 载体”类型的系统,认为该系统首先由美国的Bell系统在1960年代 作为第一个成功支持数字化话音传输的系统提出。T-载波系统是全数 字化的,使用脉冲码调制和时分多址。通常在大约8000次每秒取样 话音信号并且将每一取样数字化为8比特字。通过同时数字化的24 信道,在24个信道中的每一个上以192比特帧表示8比特字,并将 192比特帧一秒发送大约8000次。每一帧和下一个由信号比特分开, 产生193比特模块。T-1发布的1.544Mbps数据率通常表示乘以8,000 的192比特帧、以及1比特信令比特。
T-1系统通常使用4条线路并且提供双向的容量,其中两条线路 专用于接收并且两条用于同时发送。T-1数字流包括多路复用的24、 64Kbps信道,其中该标准的64Kbps信道基于需要用于话音谈话的带 宽。四条线路最初是一对双绞线铜线,但是近来的系统提供同轴电缆、 光缆、数字微波以及其它载体技术。信号的数量和使用可能根据标准 指导方针来变化。
用于T-1线路的最初的传输率(1.544Mbps),今天通常用在互 联网服务提供商(“ISP”)到互联网的连接上。通常互联网服务提供 商还使用另一级别,T-3线路,公布其提供44.736Mbps。另一经常使 用的服务是“部分T-1”,其是租用T-1线路的24信道中的一些部分, 同时不使用另外的信道。
显示容量/约束条件和相关标准
多种不同类型的接收器显示容量可能也会显著的影响用于有效传 递特殊的流媒体信号以由接收器显示的合适的CODEC形式。提供了 示出这种改变的显示参数(例如,分辨率,清晰度,颜色,深度,尺 寸,特定类型/格式)的确定实例的大概的总结以更好的理解下面问题。
在不同类型之间其高度可变并且组成流媒体接收器装置,而且因 此可能显著的影响使用的合适的CODEC的一个参数是可能由显示装 置表示的颜色的范围,或“调色板”。标准的“浏览器安全”的调色 板可能由大多数用于基于互联网的流媒体显示的软件容纳,其可能包 括,例如,216个颜色,尽管用于基于网络的流媒体必须了解计算机 显示容量以及浏览器软件容量。
关于计算机显示技术,对在屏幕上的每一单独的象素或可寻址的 照明元件设置颜色。每一象素具有红、绿和蓝(RGB)成分。通过指 定对于每一这些成分的强度的量,可以给予那个象素独特的颜色。“真 彩色”显示通常使用24比特值定义在显示屏上的象素的颜色,允许 多达16,777,216个可能颜色的可能性。用来定义象素的颜色阴影的比 特的数量被称为“比特深度”。有时真彩色指的是“24比特颜色”, 尽管很多现代的颜色显示系统提供32比特颜色模式。被称为“alpha 信道”的外部字节通常用于控制和特定的效果信息。通常将“灰度级” (包括灰度的离散的阴影)显示设置定义为具有N比特深度,其中N 表示在象素内黑色的饱和度。如果N=1,不将图像称为灰度级而是 单色,或者黑色和白色,因为比特只能是开或关,并且不包括阴影信 息。
通常的计算机分辨率包括,例如,但是不限于下面的:
(i)VGA或视频图形阵列,能够以4∶3的纵横比,以16色显示 640×480象素或以256色显示320×240象素;
(ii)SVGA或超级视频图形阵列,能够显示800×600×6比特/象 素(16色)或650×480×8比特/象素(256色)。由视频电子协会(VESA) 创建SVGA;以及
(iii)XGA(v1-4)或eXtended图形阵列,能够以32,768色显示1024 ×768象素。
可能添加比如SXGA的另外的标准,定义1960×1440以上的象 素尺寸并且颜色深度等于或高于32比特/象素。
在由媒体信号使用比特殊的显示器或浏览器可以处理的范围更大 的颜色(调色板)的情况中,多数浏览器通常适于“高频振动”颜色, 其在这里意在表示浏览器将在它的调色板内找到颜色,其中浏览器替 代任意在它的调色板以外的颜色。为了进一步说明不同系统显示容量 的宽范围,基于操作系统使用WindowsTM(可从微软公司获得)以及 MacintoshTM(可从Apple公司获得)的系统不具有相同的浏览器,然 而其中40个是不同的并且因此如果以由其它系统指定的格式将图像 信号传递到那个类型的系统的话,需要由在一个系统内操作的浏览器 高频振动。
关于怎样从电子信息启动视觉显示存在很多不同的技术。术语 “VDT”或“视频显示终端”通常在计算机工业中使用并且在这里意 在和简单的参考“显示器“可互换的使用。关于计算机终端使用,VDT 包括计算机输出表面和示出文本和图形图像到计算机用户的投影机 制,包括,例如阴极射线管(“CRT”),液晶显示器(“LCD”) 发光二极管(“LED”),气体等离子管,或其它图像投影技术。通 常认为显示器包括屏幕或投影表面以及在屏幕上生成信息的装置。在 一些计算机中,在分开的单元或“监视器”中封装的显示器、或者可 能将显示器和计算机处理器一起集成进单一的单元。
特别关于LCD,这个技术通常需要和其它VDT相比最小化的音 量和物理深度,并且因此通常在膝上型计算机和手机/PDA中使用。 相比LED和气体显示VDT,因为它们通常以阻塞光线而不是放射光 线的原理工作,LCD消耗更少的能量。LCD可能是“无源矩阵”或“有 源矩阵”,还可称为“薄膜晶体管”或“TFT”显示器。无源矩阵LCD 具有导体格,并且在格的每一交叉点放置象素。发送电流通过在格上 的两个导体来控制用于任意象素的光线。有源矩阵具有位于每一象素 交叉点上的晶体管,需要更少的电流来控制象素的亮度。为了这个原 因,可以更为频繁的打开或关闭在有源矩阵显示中的电流,改进屏幕 刷新时间和由此的流媒体(例如,动态视频)的更高速度的功效。一 些无源矩阵LCD具有双重扫描,在其中他们可以以电流在同一时间 扫描格两次,就像在早先版本中的一个扫描;但是,通常仍然认为有 源矩阵是两个当中更优越的技术。反射的颜色显示技术--颜色滤波器 和无源矩阵显示结构的结合,对有源矩阵技术来说是低能耗、低成本 的。因为它们反射周围的光线,反射的LCD在外部白天光线中使用 的过程中表现出特别高的性能。特别为电视观看开发了多种不同的显 示技术,以及由此的传输格式。这样对于电视传输出现了一些不同标 准,并且它们的不同可能显著的影响在电视环境中需要(并且由此选 择特别的CODEC)用于传递流媒体信号的压缩特性和程度。这些标 准特别包括,并且不限于,标准清晰度电视(“SDTV”);以及高 清晰度电视(“HDTV”)。
“SDTV”或“标准清晰度电视”和“HDTV”或“高清晰度电视” 是两个种类的用于数字电视(“DTV”)传输的显示格式,并且成为 了标准。这些格式提供类似于数字多功能光盘(“DVD”)的画面质 量,并且关于他们的相似性和不同总结如下。
HDTV提供更高质量的显示,具有从大约720p到至少大约1080i 的垂直分辨率显示以及通常是16∶9的纵横比(屏幕的宽度和高度的 比值),用于和观看电影类似的观看感受。相比起来,SDTV具有较 低的分辨率范围并且没有定义的纵横比。新的电视机要么是HDTV可 行的要么是SDTV可行的,通常是HDTV,其使用以通常将数字信号 从大约166Mbps减少到大约3Mbps的方式的MPEG-2文件压缩方法。 这允许广播使用现有电缆、卫星和地面系统发送数字信号。MPEG-2 使用有损压缩方法,意味着发送到电视的数据信号经过压缩并且丢失 了一些数据,但是这些丢失的数据可能会,或可能不会影响人眼观看 画面。ATSC和DVB标准都选择MPEG-2用于视频压缩和传输。MPEG-2 压缩标准将在这里的其它地方更详细的描述。
因为压缩的SDTV数字信号比压缩的HDTV信号小,广播可以 同时发送多达五个SDTV节目,而只能发送一个HDTV节目,另外已 知为“多点传送”。因为电视台可以从另外的广播这些附加广告而获 得另外的收入,多点传送是很有吸引力的特征。对于现今的模拟电视 系统,在一个时间仅可以发送一个节目。注意到这里使用的术语“多 点传送”和它在流式视频中的使用不同,在流式视频中它包括使用特 定寻址技术。
当美国决定做出从模拟电视到DTV的转变时,联邦通信委员会 决定让广播商确定是否广播SDTV或HDTV节目。现今多数决定广播 SDTV节目并且在黄金时段的广播中广播HDTV节目。SDTV和HDTV 都由数字视频广播(DTV)和高级电视系统委员会(ATSC)设置的 标准支持。
作为电视显示技术的HDTV提供类似35mm胶片的画面质量以 及类似于现今的光盘的声音质量(另外关于音频质量,HDTV接收, 复制,并且输出Dolby Digital 5.1)。一些电视台开始在有限数量的信 道上发送HDTV广播给用户。HDTV通常使用数字而不是模拟信号传 输。但是,在日本,在1989年6月3日广播了首个模拟HDTV节目。 首个出现的图像是自由女神像和纽约港。它需要20Mhz的信道,这就 是为什么模拟HDTV广播在大多数国家不可行的原因。
HDTV提供比SDTV更高质量的显示,具有从720p到1080i的 垂直分辨率显示。该p代表逐行扫描,表示每一扫描包括用于完整画 面的每一条线,以及I代表交织扫描,表示每一扫描包括用于半个画 面的交替的线。将这些比率转换为高达60帧每秒的帧速率,是现有 电视的两倍。HDTV的一个最主要的特征是它更宽的16∶9的纵横比 (屏幕的宽度和高度的比率),本开发是基于通过研究获得的认为可 以通过更宽的屏幕增强观看者的体验的事实。相比SDTV的象素在 300,000到一百万的范围,HDTV的象素在从一百万到二百万的范围。 新的电视机将是HDTV的或SDTV的,并且接收者可以将信号转化 为它们的本地显示格式。
在美国,FCC已经分配了用于DTV传输的广播信道。在SDTV 格式中,DTV使得其可能使用分配的信道在当前的质量级别上用于多 个信号而不是在HDTV级别上的单一信号,这将允许以相同的带宽使 用发送更多节目。商业的和公共的广播站当前决定它们怎样进行它们 对HDTV的使用。
同时联播是在模拟和数字版本的相同的电视节目使用两个不同频 率的信道的同时传输。在DTV传输阶段的最后,认为模拟参数将基 本上被代替,使得当前的模拟信道仅用于DTV。用于数字广播的额外 的信道,例如,将被拍卖或者用于更多的电视信道或比如数据广播的 其它服务。同时联播还用于同时传输电视和互联网服务,传输模拟和 数字无线电广播,以及传输以不同屏幕格式的电视节目,比如传统的 格式和宽幕格式。同时联播广播被广泛使用。
到DTV的转变并不是一个容易或廉价的转变。为使一个电视台 发送DTV节目,它必须建立它的DTV设备,但是电视台必须有收入 来建立这些设备。同时联播允许电视台持续从传统的模拟节目中获得 收入并且还从额外的数字节目中获得额外的收入。在到DTV的转变 中的另一障碍是用户们缺乏兴趣。对于特定装置的需要妨碍了观看者 看到数字和模拟节目之间的不同,并且也降低了公众对DTV的热情。
用于操作DTV的装备根据地面、电缆或卫星服务用作传输信道/ 载体。在任意事件中,并且根据已知的或预期的系统,通常认为用户 将最小程度的需要购买转换器来在他们的旧的电视机上观看DTV传 输。另外,使用地面服务或电线来接收电视信号的用户需要装备有数 字信号的天线。因为多路径效应,在符合ATSC的国家的位于山区区 域的用户可能不能接收基于地面的数字信号。即使对于今天的模拟电 视系统这也很常见。在符合DVB的国家,地面不影响数字信号的接 收。卫星用户已经可以享受DTV广播,但是可能需要较大的碟型卫 星天线来观看HDTV节目。
在这里将“置顶盒“定义为使得电视机可以成为到互联网的用户 接口并且还使得模拟电视机可以接收并且解码DTV广播的装置。DTV 置顶盒有时被称为接收器。估计到2006年底结束,估计转变到DTV 的年份,三千五百万个家庭将使用数字置顶盒,
通常的数字置顶盒包括一个或多个用于运行操作系统,通常是 Linux或Windows CE,并且用于分解MPEG传输流的微处理器。置 顶盒还包括RAM、MPEG解码器芯片,以及更多的用于音频解码和 处理的芯片。置顶盒的内容根据所使用DTV标准。符合DVB的置顶 盒包括解码COFDM传输的部分,而且符合ATSC的置顶盒包括解码 VSB传输的部分。更加复杂的置顶盒包括用于存储记录的电视广播, 用于存储下载的软件,以及用于其它由DTV服务提供商提供的应用 的硬盘驱动。数字置顶盒可以用于卫星和地面DTV但是主要用于有 线电视。置顶盒的价格在从用于基本特征的$100到用于更为复杂的盒 的$1,000之间。
在互联网领域,置顶盒通常真正用作可以和互联网“交谈”的特 定的计算机,就是说,它包括网络浏览器(其是真正的超文本传输协 议客户)以及互联网的主要程序,TCP/IP。置顶盒可能通过电话线, 例如,以网络TV或通过像TCI的有线TV公司附加服务。
为了得到用于卫星广播的Dolby Digital 5.1信道的优势,需要卫 星接收者提供Dolby Digital输出。对于电缆用户,所有数字置顶盒装 备有Dolby Digital两信道解码器。为使用5.1信道声音,需要符合5.1 信道的置顶盒或外部5.1信道解码器单元。
因为更大的屏幕,更宽的纵横比和更好的分辨率,数字电视的优 点的最生动的示例是通过高端HDTV。但是,像多数新技术一样,HDTV 很昂贵。不过,更便宜的数字TV提供相比现有电视可观的改进的观 看体验,并且对于那些选择保留他们的旧的装置的人,即使是置顶盒 转换器的情况也可以提供显著改进的画面和声音。
FCC用于转变到DTV的计划时间建议到2002年每一个在美国的 人应该可以接入DTV并且到数字传输的转换必须要么到2006年完成 要么当在特定区域的85%的家庭购买了数字电视机或置顶盒转换器的 时间。
在1990年代早期,欧洲广播,用户装备制造商,以及形成为了 在欧洲范围内介绍DTV而启用“DVB”或“数字视频广播”项目的 欧洲启用组(ELG)的规则主体。DVB意在提供和闭合系统相对的开 放系统。闭合系统是内容提供商指定的,不可扩展的,并且仅为那些 为其开发的系统最优化。开放系统,比如DVB,允许用户选择不同的 内容提供商并且允许结合PC和电视。DVB系统意在为电视最优化, 并且同时支持家庭购物和理财、私人网络广播和互动式观看。DVB意 在打开提供十分清楚的电视节目给在公共汽车、汽车、火车中的电视 机,和即使手持电视的可能性。因为通过DVB内容提供商可以在任 何DVB支持的地方提供服务而不顾地理位置,所以DVB对内容提供 商也是有益的,并应该加以提倡。内容提供商可以容易并且廉价的扩 展它们的服务并且因为到用户的接入保证无需授权的观看受限,从而 降低收入损失。今天,DVB项目在世界范围内超过29个国家包括超 过220个组织并且DVB广播服务在欧洲、非洲、亚洲、大洋州和部 分北美洲和南美洲可用。
特定格式媒体
用于流媒体信号本身的多种不同格式也在这里通过非限制性实例 的方式总结,来提供CODECS对于特殊情况怎样不同的进一步理解。
“DVD”是“数字多功能光盘”的首字母缩写,通常被定义为相 对新的光盘技术,其在它的两面上具有大约4.7吉比特的信息,或者 足够用于平均大约133分钟长的电影。在它的两面上的每一层如果具 有两层,它可能具有17吉比特的视频、音频或其它信息,相比现有 的具有大致相同物理尺寸的拥有大约600M字节的CD-ROM光盘 (DVD拥有大约28倍以上的信息)。需要DVD播放器来播放DVD, 尽管它们还可以播放通常的CD-ROM光盘。DVD可以以下面三种通 常格式中的任意记录,分别为(i)视频(例如,连续的电影);(ii)音频 (例如,长时间播放的音乐);以及(iii)混合(例如,互动式多媒体 表现)最优化。DVD驱动具有在某种程度上比8速CD-ROM播放器 要快的传输速率。DVD格式通常使用MPEG-2文件和压缩标准,其 具有大约4倍于MPEG-1图像的分辨率并且可以以大约60交织文件 每秒传送,其中两个场构成一个图像(MPEG-1传送大约30非交织帧 每秒)。MPEG-2和-1标准在这里的其它地方更详细的定义。在DVD 上的音频质量可以和当前的音频光盘的质量相比。
“DVD-视频”是通常给予为完整长度的电影分配的DVD格式的 名称,并且是将和电视机一起工作的盒。“DVD-ROM”是给予被一 些人认为将来在计算机中将代替CD-ROM驱动的播放器的名称,因 为这些更新的驱动意在播放通常的CD-ROM光盘和DVD-ROM光盘。 “DVD-RAM”是给予DVD的可写版本的名称。“DVD-音频”通常 是给予分配来代替小型音乐音频光盘播放器的播放器的名称。
“VHS”是“视频家庭系统”的首字母缩写并且通常被定义为视 频磁带盒格式,通常半寸宽,为家庭使用开发,具有记录和回放模拟 视频和音频信号的性能。主要因为它的广泛的存在和可记录性,VHS 成为流行的格式和用于家庭电影销售和复制的事实上的标准。VHS使 用类似于录音带的技术将信号作为模拟格式存储在磁带上。使用VHS 录像机(VHS VCR)来回放磁带并在其上记录。VHS磁带通常存储 多达两小时的视频,尽管一些VCR能够以更慢的速度记录它们,从 而能够允许在每个磁带上记录六小时或甚至八小时。
VHS格式输出略高于200线的平分辨率。相比DVD输出超过 500线的水平分辨率。从技术上和感觉上,VHS是被其它格式,包括, 例如,DVD,S-VHS,Hi-8和其它超越的格式。但是,VHS仍然是用 于观看视频的主要方式,并且在整个国家和世界范围内仍然可以在四 处从电影租赁店到杂货店很容易的找到,使得它们易于获得。
“CD”是“光盘”的缩写,并且通常被定义为小的、可携带的、 圆形的用于以电子格式电子的记录、存储和/或播放视频、音频、文本 和其它信息的媒介。最初,CD仅是只读的;但是,更新的版本还允 许用于记录(例如“CD-RW”)
“超级音频光盘”或“SACD”是高分辨率的音频CD格式,其 和DVD-音频(“DVD-A”)一起是竞争来取代标准的音频CD的两 个格式(虽然多数工业厂商通常支持DVD-A,但是例外的通常包括 Philips和Sony)。SACD,像DVD-A一样,除了2信道立体声,还 提供5.1声道环绕声。通过增加比特速率和采样速率,两个格式都可 以改进声音的复杂性,并且可以在现有的CD播放器上播放,尽管通 常仅可以达到类似于传统CD的质量等级。SACD使用直接流数字 (“DSD”)记录,其是Sony公布独有的,将模拟波形转换为1比 特的用于直接记录的信号,而不是脉冲码调制(“PCM”)和由标准 的CD使用的滤波。DSD使用无损的压缩和大约2.8MHz的取样速率 来改进声音的复杂性和真实性。SACD可能还包括另外的信息,比如 文本、图形和视频剪辑。
同样为了进一步理解的目的,基于互联网的通信还具有用于必须 由使用互联网“超高速公路”的流媒体通信系统相容的通信的特殊协 议。这些协议,特别是关于流媒体通信的,为了提供更为详细的理解 的目的,将在下面紧接着进行总结。
关于互联网通信,通常以数字格式通过数据分组传递流媒体信 号。术语“分组”这里意在表示在源和目的地之间通过互联网或任意 其它分组交换网络路由的数据的单元。更为特别的,当发送文件时, 通信系统的协议层(例如,基于TCP/IP的系统的TCP层)将文件分 为用于路由的大块有效尺寸。对这些分组的每一个分开计数并且其包 括目的地的互联网地址。用于给定文件的单独的分组可能通过互联网 沿着不同路径传播。当它们全部到达时,将它们重新组合为最初的文 件,例如,通过在接收端的TCP层。分组交换方案是有效的处理在无 连接的网络,比如互联网上的传输的方式。作为选择的方案,电路交 换,用于通常为语音连接分配的网络。在电路交换中,在网络中的线 路由很多具有电路交换的用户共享,但是在连接的过程中,每一连接 通常需要专用的特别路径。
无线通信和WAP网关
和先进的互联网时代具有同等的重要性,无线通信的时代显著的 延伸了公众和家庭及办公室的固定界限的外部互动的能力,允许我们 的远程通信剪断和线路及电缆的脐带。例如,在2000年,移动用户 的数量增加了将近50%。
但是,无线通信系统、协议和启动技术以特别不连续的方式开发, 在世界范围内形成了“特定格式”的市场。相比世界的其它地方,广 泛用在美国的系统更是如此。因此,做了大量工作来克服特定格式的 系统和相关的操作在不同平台的无线装置之间的兼容性问题。因为其 之后涉及本发明,为了进一步理解无线通信的目的,下面将对用在无 线通信工业中的重要的技术,系统和协议作一个简单的回顾。
通常,对于用于蜂窝电话的无限通信系统的进步,我们通俗的说, 一般使用术语“1G”,“2G”,“2.5G”和“3G”,分别表示第一代、 第二代等等。最初的系统完全是模拟的,称作为1G电话和系统。但 是,随着快速发展,用于手机的可用带宽快速减少,将道路让给了在 2G中处理的数字信号,其显著的拓宽了可用带宽和用于高级电信的 复杂信号处理的性能。但是,随着用于无线互联网接入的需求增加, 产生了从2G电话(通常没有互联网功能)的技术发展,到2.5G和3G (逐渐具有互联网功能)。像接下来将立即进一步开发的,系统、协 议和启用技术的开发将主要集中到使得2.5G和3G模式投入大规模生 产和使用。
通常,基于2G技术主要有四种数字无线网络:时分多址 (“TDMA”)、码分多址(“CDMA”),全球移动通信系统(“GSM”) 和蜂窝数字分组数据(“CDPD”)。在下面将对它们进行简要介绍。
时分多址(“TDMA”)是用在数字蜂窝电话通信中的技术,为 了增加可以携带的数据量,其将每一蜂窝信道划分为三个时隙。TDMA 由数字美国移动电话服务(D-AMPS),全球移动通信系统(“GSM”), 和个人数字蜂窝(“PDC”)使用。但是,这些系统中的每一个以在 一定程度上不同和不兼容的方式实现TDMA。TDMA和FDMA(频分 多址)的一个作为选择的多路复用方案是码分多址(“CDMA”)。
码分多址(“CDMA”)指的是任意一些用在2G和3G无线通 信中的协议。像术语所表示的,CDMA是一种多路复用的形式,其允 许多个信号占据单一的传输信道,最优化可用带宽的使用。该技术用 在800MHz到1.9GHz带宽的超高频率(UHF)蜂窝电话系统中。CDMA 使用模拟数字转换(ADC)并结合频谱扩展技术。首先将音频输入数 字化为二进制成分。之后根据定义的模式(码)来使发送的信号频率 不同,使得其仅可以由其频率响应由相同码编程,并因此准确地符合 发射机频率的接收机获取。存在万亿种可能的频率序列码,这样提高 了隐私性并且使其难以被复制。CDMA信道通常是1.23MHz宽。CDMA 网络使用所谓的“软切换”的方案,其可以最小化随着手机从一个小 区移动到另一小区产生的信号中断。数字和扩展频谱模式的组合在每 单元带宽中支持几倍于模拟模式的信号。CDMA可以和其它蜂窝技术 兼容;这允许全国范围的漫游。
最初的CDMA,也就是CDMA ONE,于1993年实现标准化并 且被认为是在美国的手机中仍然普遍使用的2G技术。CDMA ONE 的一个版本,IS-95A,是采用1.25MHz载波并且操作在800MHz到 1.9GHzRF通带中的协议;这个协议支持高达14.4Kbps的数据速率。 另一版本,IS-95B,通过绑八个信道能够支持高达115Kbps的速度。
近来的CDMA变型,CDMA2000和宽带CDMA提供速度快很多 倍的数据速率。CDMA2000,也被称为IMT-CDMA多载波或IS-136, 是由国际电信联盟(ITU)开发的IMT-2000标准的CDMA版本。该 CDMA 2000标准是3G技术,其意在支持在从144Kbps到2Mbps范 围内的速率的数据通信。开发这种标准的版本的公司包括Ericsson和 Qualcomm公司。宽频CDMA,或者“WCDMA”,是从已知为IMT- 2000直接扩频的CDMA引出的ITU标准。WCDMA是意在对于本地 区域接入支持高达2Mbps,或者对于广义区域接入的384Kbps的数据 速率的3G技术,并且支持在这些速度的移动/便携式语音、图像、数 据和视频通信。WCDMA将输入信号数字化并且以编码的、扩频模式 在5MHz宽的载波上发送数字化的输出,这比200KHz宽的窄带CDMA 的范围要宽很多。
全球移动通信系统(“GSM”)是广泛用在欧洲和世界的其它地 方的数字移动电话系统;这个系统使用“TDMA”的变型(紧接着将 进行介绍)并且是三种数字无线电话技术(TDMA,GSM,和CDMA) 中最常用的。GSM将数据数字化、压缩、并且之后沿着信道和两个其 它用户数据流一起发送,每一都在它自己的时隙内。它操作在900MHz 或1800MHz频带。在这个公开的时间里,通常认为GSM是在欧洲的 无线电话标准,并且公开其在世界范围内具有超过1.2亿用户并且在 120个国家可用。至少一个美国公司,美国个人通信(SprintTM)使用 GSM作为宽带个人通信服务(“PCS”)的技术。PCS是将语音通信、 数字和文本消息、语音邮件和多种其它特征捆绑为一个装置,服务合 同和帐单的电信服务。PCS最为通常是在数字蜂窝链路上执行。规划 的这个服务具有超过400个用于多种由比如Ericsson,Motorola,和 Nokia公司制造的小型移动手机的基站;这些装置通常包括电话、文 本寻呼机、以及答录机。GSM是无线移动电信革命的一部分,其包括 高速电路交换数据(HCSD),通用分组无线系统(GPRS),增强型 数据GSM环境(EDGE),和全球移动电信服务(UMTS)。
蜂窝数字分组数据(“CDPD”)是在现有蜂窝电话信道上提供 双向19.2Kbps分组数据传输的无线标准。
一些不同协议已在用于通过多种无线网络的通信中使用。将在下 面简要介绍多种特定的这些协议。
“X25”是基于分组的协议,在这个公开的时间主要用在欧洲并 且适于由国际电报与电话顾问委员会(CCITT)的标准。X.25是常用 的网络协议,其允许在不同公共网络上的计算机(例如,CompuServe, Tymnet,或TCP/IP网络)来通过在网络层级别的中间计算机通信。X.25 的协议紧密对应在开放式系统互连(“OSI”)中的数据链路和物理 层协议。
“OSI”是网络结构和一套来实现它的协议(协议栈)的模型, 由ISO在1978年作为用于在不同种类的计算机网络结构中的国际标 准的框架开发。OSD结构分为七层,从最低到最顶:(1)物理层; (2)数据链路层;(3)网络层;(4)传输层;(5)对话层;(6) 表示层;和(7)应用层。每一层使用在其下紧邻的层并且提供服务 到上层。在一些实施中,层本身可能包括子层。
通用分组无线服务(“GPRS”)是基于分组的无线通信服务, 其允许从56到114Kbps的数据速率,并且为移动电话和计算机用户 持续连接到互联网。更高的数据速率将允许用户参与视频会议并且和 多媒体网络站点互动,以及类似的使用移动手持装置和笔记本计算机 的应用。GPRS基于移动通信全球系统(“GSM”)并且将补充现有 服务,比如电路交换手机连接和短消息服务(“SMS”)。SMS是由 GSM数字手机系统提供的消息服务。使用SMS,可以将短的字符消 息(160字母字符)发送到移动电话并在那里显示,更像是在字母寻 呼机系统中的。该消息由GSM网络缓存直到电话成为活动为止。
GPRS的基于分组的服务宣称将花费用户少于电路交换的服务的 成本,因为通信信道是共享的,作为基于分组需要使用而不是在一个 时间仅专用于一个用户。它还意在使得应用对移动用户可用,因为更 快的数据速率意味着不再需要当前需要适宜应用到更慢的无线系统速 度的中间设备。随着GPRS成为广泛可用的,虚拟个人网络(“VPN”) 的移动用户将能够持续接入个人网络而不是通过拨号连接。GPRS还 意在实现“蓝牙”,用于代替在装置之间的有线连接的无线无线电连 接的标准。除了互联网协议(“IP”),GPRS支持X.25协议。还认 为GPRS是迈向增强型数据GSM环境(“EDGE”)和通用移动电话 服务(“UMTS”)的革命性的步骤。
全球移动电信服务(“UMTS”)意在是在高达2Mbps的数据速 率的3G,宽带基于分组的文本、数字化语音,视频和多媒体传输。UMTS 还意在无论移动计算机和电话用户在世界上的什么位置,提供一致的 一组服务给它们。这个服务基于GSM通信标准,并且由主要的标准 实体和制造商所认可,而且是到2002年在世界范围内用于移动用户 的计划标准。一旦完全实现UMTS,计算机和电话用户可以在他们旅 行的过程中始终和互联网连接。
增强型数字GSM规划(“EDGE”)服务是全球无线系统(GSM) 无线服务的更快速的版本,设计来以高达384Kbps的数据速率传送数 据,并且可以传送多媒体和其它宽带应用到移动电话和计算机用户。 EDGE标准在现有的GSM标准上建立,使用相同的时分多址(TDMA) 帧结构并且被认为是在到全球移动电信服务(UMTS)的路途中的革 命性的标准。
无线应用协议(“WAP”)是用于一组通信协议来标准化无线服 务,比如手机和无线电收发机的路线的规范,可以用于互联网接入, 包括电子邮件、万维网、新闻组以及互联网中继聊天(“IRC”)。 虽然互联网接入在WAP之前就已经实现,但是不同的制造商使用“特 定格式”的技术。WAP使得装置和服务系统可以互相合作。
最近,为了桥接之前在无线装置上将个人从“信息高速公路”分 开的软线、线路和电缆之间的空隙,做了很多努力来混合无线通信和 互联网领域。这种技术的混合在,例如,家庭和办公室网络设置本身 中开发,在该网络中,开发无线红外线和无线电频率通信系统用于连 接“无线”办公室或家庭中的装备。对于和更多的远程无线装置,比 如手机和个人数字助理(“PDA”)通信和共享也作出了另一实质性 努力。
PDA通常是小的移动装置,其可能是“手持的”并且通常包括用 于管理、存储并且显示电话地址簿、日历、计算器和类似功能的有限 的处理器和显示屏。近来可用的PDA渐渐成为“具有无线功能”的, 要么通过具有嵌入在PDA本身之中的无线调制解调器,要么和比如 手机的无线调制解调器“插件”连接。具有无线功能的PDA还通常是 “具有互联网功能”的,具有有限的“浏览器”性能,允许PDA和服 务器装置通过互联网通信。商用的无线“功能”PDA的实例包括Palm VII(来自Palm有限公司)以及IPAQ(来自Compaq,)。这些PDA包 括Windows CE操作系统,其提供有限的浏览器性能以及用于内容的 屏幕显示。这些电话具有从大约33MHz到大约220MHz的处理性能 以及不同的屏幕显示性能,例如,320×240象素屏幕显示。
类似的,近年来手机本身也渐渐成为“具有互联网功能”的,也 具有有限的浏览器性能和显示内容的屏幕。“具有互联网性能”的手 机的实例包括,例如:在大量其它同类中的Sanyo SCP-4000,Motorola IL000PLUSTM;这个很宽的领域表示数百个不同的处理和显示性能。
在“具有互联网功能”的PDA或手机的情况中,必须实现和通 信的互联网协议的兼容性。通常,无线通信发生在无线应用协议 (“WAP”)上,然而在根据一些不同协议中的一个的互联网处理上, 最一般的是传输控制协议/互联网协议(“TCP/IP”)。因此,如图1E 所示的WAP网关,在基本技术上根本不同的互联网世界(或任意其 它IP分组网络)和无线电话/数据网络化之间形成桥接。本质上,网 络做出在这两个不同实体之间的解释,允许用户使用他们的电话或手 持计算机装置(例如,PDA)来无线接入互联网。
但是,用于传输到更高能量的计算装置,比如具有可观的显示性 能的笔记本计算机的流媒体通常不和这些具有十分有限的处理和显示 功能性的装置兼容以由他们接收和观看。开发特别的“特定格式”的 压缩方案用于特别用在这些装置中,并且仅特定媒体内容可以被以那 些格式发送到这些装置。
仍然需要适于以合适的由无线装置,比如具有独特的限定条件的 手机和PDA播放的格式发送很多种类的流媒体信号的流媒体通信系 统,其中约束条件包括,例如,有限的和可变的处理、存储和显示性 能。

发明内容

本发明提出并克服了先前已知的用于流媒体通信的方法的多种限 制、低效、资源限制和不兼容性,并且在下面提供多种有益的模式, 方案,实施例和变型。
根据一个实施例,本发明提供了一种流媒体通信系统,其是在网 络系统,比如神经网络中使用计算机实现的智能系统,比如人工智能, 来在传输装置和至少一个目的装置之间传递流媒体信号。
本发明根据的另一实施例,提供了一种用于在传输装置和多个每 一都具有不同媒体信号处理性能的目的装置之间传递流媒体信号的系 统。
本发明根据另一实施例,提供了一种流媒体通信系统,其适于从 单一的传输装置和至少一个目的装置通过多个不同的传输信道传递流 媒体信号,其中多个传输信道每一具有关于传递流媒体信号的不同的 传输性能或约束条件。
本发明根据另一实施例,提供了一种包含有人工智能实现的神经 网络,其适于在适应性的学习处理中被训练,其中的学习处理关于流 媒体压缩系统在源将流媒体信号压缩为流媒体信号的压缩的表示的能 力,通过传输信道将压缩的表示发送到目的装置的能力,以及将压缩 的表示解压为流媒体信号的适于由目的装置播放的解压的表示的能 力。
本发明根据另一实施例,提供了一种用于根据CODEC压缩流媒 体信号的系统,其中至少部分基于影响流媒体信号的通信的参数中的 至少一个来使用CODEC。根据这个模式的一个方面,根据至少一个 下面的参数来使用CODEC:关于另一参考信号的CODEC的先前学 习到的行为,关于压缩或解压相同的流媒体信号的先前的尝试的 CODEC的先前学习到的行为,关于流媒体信号的CODEC的操作和 流媒体信号的参考算法压缩的比较,传输信道的学习到的约束条件, 以及目的装置的学习到的约束条件。在一个有益的实施例中,基于多 于一个的这些参数使用CODEC,并且在此外的有益的变型中基于所 有这些参数使用CODEC。
本发明根据另一实施例,提供了一种用于使用CODEC库压缩流 媒体信号的系统,其中CODEC库适于存储多个不同类型和操作的 CODECS,并且适于由网络系统、比如神经网络搜索和存取以从CODEC 库中提供用于用在将输入的流媒体信号压缩为用于传输到目的装置的 压缩的表示的合适的CODEC。
本发明根据另一实施例,提供了一种CODCE操作系统,其适于 与CODEC库和神经网络连接,以在处理中,比如人工智能处理中使 用神经网络来从CODEC库中选择合适的CODEC,并且使用所选的 CODEC用于将流媒体信号压缩为用于传输到目的装置的流媒体信号 的压缩的表示。
根据一个方面,CODEC库适于接收并存储新的CODEC,使得这 些新的CODEC可能与神经网络的连接,以便在被提供时被选择并被 应用来压缩流媒体信号。
本发明根据另一实施例,提供了一种目的代理,其适于由目的装 置存储,以用在解压流媒体信号的压缩的表示中。目的代理适于和远 程的压缩的流媒体传输系统通信,以接收并播放来自那里的流媒体信 号。在特别有益的方面中,软件代理适于传送关于目的装置的信息到 压缩的流媒体传输系统,并且还适于接收和解码来自压缩的流媒体传 输系统的确定的编码流媒体信号。
本发明根据另一实施例,提供了一种用于传递具有目的代理的流 媒体信号的系统,其中目的代理适于被存储在目的装置中,以将流媒 体信号的压缩的表示解压为可由目的装置播放的解压的表示。
根据这个实施例的一个方面,目的代理具有诊断代理和解压代 理。诊断代理适于确定用于目的装置的关于用于处理、存储或显示的 性能的至少一个参数的值。解压代理适于使用至少部分基于至少一个 参数的值的CODEC来应用CODEC解压器来将流媒体信号的压缩的 表示解压为解压的表示。
根据另一方面,目的代理包括软件代理。在一个变型中,将软件 代理被嵌入目的装置。在另一变型中,软件代理适于至少部分由远程 的源载入到目的装置上,其中远程的源适于将流媒体信号的压缩的表 示传送到目的装置。
本发明根据另一实施例,提供了一种用于对流媒体信号在至少一 个最初的格式和至少一个经过代码转换的格式之间进行代码转换的代 码转换器。代码转换器包括用于一些流媒体信号中的每一个的单一线 程。
本发明根据另一实施例,提供了一种视频点播流媒体系统,包括 有在附图中示出的实施例和其它在这里描述的。
本发明根据另一实施例,提供了一种移动电话通信系统,其包括 有在附图中示出的实施例和其它在这里描述的。
本发明根据另一实施例,提供了一种互动游戏系统,其包括有在 附图中示出的实施例和其它在这里描述的。
本发明根据另一实施例,在这里包括有上面和其它地方公开的多 种模式、实施例、方案、特征和变型,用于静态媒体,以及在处理(例 如,压缩)之后本地存储并且不发送的媒体。
附图说明:
图1A-B是示意性的方框图,示出了使用现有的CODEC系统的 两个先前的媒体通信系统的各自的变型。
图1C-D是示意性的方框图,示出了先前的媒体代码转换机系 统的两个各自的变型。
图1E是示意性的方框流程图,示出了在先前的WAP网关通信 系统中的多种相关的组分。
图2-3是示意性的方框图,示出了分别在两个使用模式中的根 据本发明的一个实施例的代码转换机系统。
图4A-5是方框流程图,分别示出了根据本发明的一个实施例的 媒体通信系统的多种细节。
图6是示意性的方框流程图,示出了根据本发明的一个实施例的 “视频点播”流式视频通信系统的多种相关组分。
图7是示意性的方框流程图,示出了根据本发明的一个实施例的 无线流式视频通信系统的多种相关组分。
图8是示意性的方框流程图,示出了根据本发明的一个实施例的 WAP网关媒体通信系统的多种相关组分。
图9是示意性的方框流程图,示出了根据本发明的一个实施例的 媒体通信系统的一个特别使用模式的回程过程中的无线通信系统的多 种相关组分。
图10是示意性的方框流程图,示出了根据本发明的一个实施例 的互动游戏通信系统和置顶盒TV浏览的多种相关组分。

具体实施方式

像通过下面的实施例以不多种方式示出的(并且通过参考附图), 本发明提供一种媒体通信系统,其包括压缩系统、传送系统和解压系 统,并且在另一方面包括代码转换机系统。通常,这些单独的子系统 的组合提供在多个编码格式之间有效的对媒体进行代码转换的能力, 另外基于比如变量的大量系统参数定制随机选择的流媒体信号的压 缩、传送、解压。这些变量包括(例如,但是不限于)涉及下面的这 些参数:源视频信号,源发送装置,传输模式,以及目的装置。这些 定制的媒体信号的压缩、传送和解压以使其对于给定的、变化的、使 用环境的最优化有效。结果,可以以高效的标准和很宽的装置兼容性 传递很宽范围的复杂的流媒体信号,从而相对其它已知系统做出相当 的改进。
虽然在这里描述了整个流媒体通信系统的优点,每一描述的子系 统也独立的提供流媒体通信的有益的有用效果。多种子系统本身,以 及多种这些子系统的组合的反复,对于本领域普通技术人员,至少部 分基于这个公开来说很明显,并且还预期在本发明的范围之内。另外, 整个通信系统的多种方案,以及每一描述的子系统,也预期对于其它 不是特别用于流媒体通信的应用也是特别有用的。因此,对于本领域 普通技术人员来说很明显,这些附加的应用也进一步预期在本发明的 范围之内,不论应用什么特别的有用模式都可以改进流媒体通信。 代码转换机
根据本发明提供视频/音频代码转换机200,其使得一个引入的视 频源210可以在没有人为干涉的情况下在多个格式215(例如, MPEG4,Real VideoTM和QuicktimeTM)上从一个装置流动。根据本实 施例的代码转换机200以其它商用代码转换机系统的一小部分价格提 供实质上更好的功能性。另外,因为系统工作“在空中(on-the-fly)”。 显著的减少了视频源210的预压缩。
更为特别的,根据本发明的代码转换机200系统和方法适于将来 自任意压缩或未压缩格式的数字化的媒体进行代码转换,按照要求实 时复制为任意其它的压缩格式。系统200和方法也使得可以进行具有 来自不同压缩或未压缩的格式的多个不同数据的多个媒体215的有效 的、同步的处理,转换为多样的不同压缩的格式。
通过参考图3的方式在这里描述在这个系统中的本实施例的代码 转换器200。如图所示,第一播放器最初和装有代码转换器200的服 务器300连接。播放器格式(例如,Microsoft Media)、连接速度(例 如,32Kbps)和协议(HTTP)是相同的。服务器300将实况或预先 编码的视频拉进“实况缓存器”或“高速缓存”310,并且将它们编码 为数字化的但是几乎未压缩的数据(例如,AVI或MPEG2)。然后, 服务器300在连接速度(例如,32Kbps)载入合适的CODEC线程(例 如,Microsoft Media)。之后,服务器300载入HTTP/MS播放器线 程,其服务第一个客户,并且之后,由使用M/S播放器的在100Kbps 具有MMS的客户请求第二个流。服务器在合适的100Kbps速率载入 合适的MS CODEC线程。之后,服务器300载入MMS/MS播放器线 程来服务第二个客户。然后,由使用Real Player的客户在具有RTSP 的40Kbps上请求第三个流。服务器300在合适的40Kbps速率上载 入合适的Real CODEC线程。之后,服务器300载入RTSP/Real player 线程来服务第三个客户。并且,这个示图是示例性的,而且可以由其 它的特定CODECS,以及其它比特速率等来替代。
为了提供本代码转换机实施例的进一步的理解,图3以应用来为 不同客户服务多个不同视频流的另一实例的方式示出了代码转换机 200。
大致上,示出和描述的本代码转换机200使用“线程”通信而不 是很多现有的代码转换技术使用的“IPC”和“内部处理器通信”。 为了这个代码转换机200的描述的目的,在这里术语“线程”意在表 示程序中的控制流程的封装(encapsulation)。单一线程的程序是那 些“在一个时间”仅执行通过他们的代码的一个路径。多线程程序可 能具有通过不同码的线程  “同时”运行的一些线程。在通常的其中 存在多个线程的处理中,在任意一个时间可能运行零个或多个线程。 这是根据在其上运行处理的计算机的CPU的数量,并且还根据怎样实 现线程系统。虽然具有N个CPU的数量的机器或系统可能适于并行 运行不多于n个线程,根据本代码转换机发明的线程操作可能会通过 在线程之间共享CPU来出现“同步”运行比n多得多的线程。
代码转换机200提供概括的API,并且因此不以本地的编码器总 开销(大得多)存取CODEC。创建缓存310作为用于不同视频流的 客户拉动的功能。此外,本发明的代码转换机200使用用于每一不同 连接的单一线程的网络结构,如果客户在相同内容的缓存段中的话, 将它们组合进相同线程。代码转换机200以在这里示出和描述的一种 方式使用线程,即,认为其高度有益,因为认为在单一处理中的两个 线程之间的内容交换相对于使用在两个处理之间的内容交换便宜很多 (处理/存储/IO)。另外,除了用于堆栈和寄存器的,所有数据在线 程之间共享的事实使得它们很自然的用于实现可以分解为子任务并且 需要合作运行的任务。
虽然为了达成来自一个情况一个情况(case-by-case)基础的特殊 需要,可在刚刚描述的代码转换机200周围建立多种特定的结构。但 是,为了进一步示出的目的,下面是一个更为详细的使用所述的代码 转换机200的实例。提供代码转换机200以适于支持大量的同步客户 流,其中每一具有不同的格式。特别的,这种系统可能支持超过5000 同步流,并且在一些情况中是多于7000个同步客户流,而且每一具 有不同的视频格式。此外,代码转换机200可能实现来将任意的大量 的视频源转换为特别适用于很多不同的单独客户所需要的格式,其中 每一客户具有不同的需要。在一个特殊的实例中,可能将就像在这里 描述的代码转换机200实现来支持这种在任意下面格式上的同时的高 需要:MPEG1;MPEG2;MPEG4;Motion JPEG;AVI;H.261;H.263; H.263+;RealVideoTM;G-8;QuickTimeTM;Shockware FlashyTM;Indeo CinepakTM;ASF。
进一步预期代码转换机200可能适于整个通信系统,以符合所有 现有的和预期很快出现的固定和移动的终端和装置。另外,可能实现 代码转换机200来适于输出流式格式变量以动态的适应每一客户的信 道和平台情况。此外,包含有代码转换机的系统适于支持载入平衡服 务器和用于多代码转换机安装的路由器。因此,认为本发明的代码转 换机200相比现有的代码转换技术和系统具有好得多的功能性和便宜 很多的成本。
如上所述,多种不同的系统结构可能结合本发明的代码转换机200 并且不脱离本发明的范围。但是,认为适于提供刚刚描述的支持的有 益标准的特殊结构的更多细节包括下面的方面:(i)双P3-933处理器; (ii)任意Unix OS的变型;(iii)512MB RAM;备用的防火墙(firewire) 或吉比特以太网;备用的电源。这种系统可能以机架(rack)安装的 结构设置,或者另外适于特殊需要。
应该认为本发明的代码转换机200的下面的方面是广泛有益的, 对于本领域普通技术人员来说,不论是独立的或者以多种组合的方 式,至少部分可从本公开看出。
提供一种系统和方法,用于在用户和核心空间中的异步软件线程 通信来在多处理器和/或分布的计算平台(比如族)上执行有效的代码 转换。能观察到这个方法比使用现有的IPC方法来实现代码转换机有 效的多。创建CODEC算法的共享库并且用来访问多种CODEC算法, 由此引起相比现有的组合编码器功能,比如用在大多数商业编码器中 的所需要的更少的处理总开销以及更低的存储器使用。对于特殊的益 处,通常的线程可能用于多个连接,并且事实上即使单一线程可能使 用本代码转换机用于每一单独的连接。
还提供了一种系统和方法,来在无论何时要求相同内容并且动态 缓存(高速缓存)可能容纳所有要求的数据点时,为组合多个客户来 由相同线程服务(为了效率)。
媒体压缩和传送系统
还根据本发明提供一种数据压缩和传送系统400用于实时动态数 据信号处理,以最优化在给定的一组约束条件上的最初的媒体数据的 大致的再生。通过在图4A和5中的方框流程图的方式示意性的示出 了这个系统400和方法。这个系统的多种有益特征和操作的进一步描 述在下面以通常包含有参考由这些图4A-5所提供的描述的示例性的 实例的方式提供。
图4A是一方框图,示出了本发明的数据压缩和传送系统400的 一个实施例。如图4A所示,数据压缩和传送系统400包括:媒体模 块405,动态播放器模块407,图像处理器410,基线快像模块415, 分类器417,标准质量(QoS)模块420,网络层输入模块425和网络 输出层模块430。系统400进一步包括神经网络处理单元440,计时 器435,CODEC库模块445,动态客户请求模块450,ICMP模块455, 装置和网络参数测量模块460和传送及发送模块465。
在一个实施例中,位于服务器节点的系统400处理引入的未压缩 或先前压缩的数据。系统400采用具有人工智能的神经网络440来监 控引入的数据,以确定每一数据段的多个关键特性。系统400将引入 的数据特性和在输入信号(例如,视频信号)中的帧序列中的场景中 的图形的预先开发的自我参考经验式学习的规则的库445相关联,并 且和外部施加的约束条件相关联,来为每一数据段最优化的选择优选 的商用压缩/解压算法(例如,CODEC)。之后系统400建立使用控 制、参数和变量的延伸阵列来最优化所选的算法。算法的选择以及参 数和变量的建立将动态的随每一引入的数据段根据数据特性以及最优 化处理过程本身的发展而改变。可能的算法的设置很多,仅由可用性 和其它商业考虑限定。将每一数据段以上述方式编码并压缩,之后用 于通信信道。
刚刚描述的压缩系统400对于流媒体压缩引擎特别有用,其中, 引擎基于来自可用的CODEC的信息,并且流媒体传送系统使用另一 人工智能神经网络440执行引入的视频的一帧一帧的分析。之后系统 400选择最合适的压缩格式,并且基于如在一个实施例,来自下层的 系统环境的峰值信号的噪声比率的选择中测量的最好的质量设置压缩 参数用于最优化视频压缩。结果是用于本装置和情况的“最优化”的 视频和音频服务。
在下面提供作为应用到流媒体信号的这个系统的更为特定的人工 智能/神经网络440的说明方面。最初,将分开的和不同的CODEC库 添加到系统,作为可搜索的CODEC库445。也提供相关参考信息的 另外的库,包括:网络传输标准(NTS)库443;服务质量(QoS)库 447。之后,以数字化或非数字化格式(使用AD转换)通过图像处理 器410产生视频(媒体源)。之后图像处理器410解压源(如果需要) 并且采用用于“清除”源图像的多种标准图像处理算法。作为结果的 源媒体之后通过基线快像415知识库,其中它将用作用于今后比较的 “完美的金标准”。类似的,还将这个产生的源媒体送到分类器417。
为了创建展示时间、空间和逻辑特征的类似组合的源媒体子段, 分类器417分析源媒体的时间、空间和逻辑的特征。定义“类似的” 以表示包括通常的时间、空间和逻辑特征的源媒体的相邻的子段,这 些特征赋予子段本身特殊的编码/压缩算法(比如在CODEC库445中 找到的)。将这个源媒体子段(或,在一个实施例,一组相邻的视频 和音频帧)表示为“场景”。
之后,神经网络过程440通过采用来自CODEC库445的CODEC 来操作在这个场景上,从而压缩该场景。每一CODEC的内部结构根 据从NTS库443、QoS库447、计时器处理435、网络输入层425、ICMP 代理455和装置和网络参数测量代理460获得的输入来操纵/改变。然 后解压压缩的场景,并且使用由质量标准处理420做出的质量测量相 对基线快像415进行比较。在本发明的一个实施例中,为了执行解压 的场景和源媒体的基线快像的比较,质量标准处理420采用峰值信号 噪声比(PSNR)算法。对于多个来自CODEC库445的CODEC重复 比较过程,直到神经网络处理440在从NTS库443、QoS库447、计 时器处理435、网络输入层425、ICMP代理455和装置和网络参数测 量代理460接收的输入的约束条件之内,对作为结果的压缩场景的质 量满意。最后,将产生的压缩的场景发送到网络层输出430,其使用 合适的网络传输协议和QoS算法将压缩的场景传输到客户。
重复上述过程直到整个源媒体已经被发送到客户或直到因为多种 可能的情况该处理被中断,其中该情况可能包括:客户请求终止,网 络传输故障,客户硬件故障等。
NTS库443是由网络层输出430选择和使用来传输压缩的源媒体 到客户,和由网络层输入425选择和使用来从客户接收信息的网络传 输服务的知识库。该选择是基于从网络层输入425、ICMP代理445和 装置和网络参数测量代理460接收的定性和定量的输入的。
QoS库447是由网络层输出430选择和使用来传输压缩的源媒体 到客户的服务算法的质量的知识库。该选择是基于从网络层输入425、 ICMP代理445和装置和网络参数测量代理460接收的定性和定量的 输入。
ICMP代理455产生输入到神经网络处理440,其中神经网络处 理440动态提供其具有在处理器和客户之间使用的传输的定性和定量 的特性。在本发明的一个实施例中,ICMP协议用于这个目的。
装置和网络参数测量代理460产生输入到神经网络处理440,其 中神经网络处理440动态提供其具有在处理器和客户环境之间使用的 传输的定性和定量的特性。在本发明的一个实施例中,这些客户环境 特性包括中心处理单元(CPU)容量、网络接口特性,存储容量和媒 体再现装置性能。
仍然参考图4A,网络层输入425提供入站的(最初来自客户) 网络传输服务。网络层输出430提供出站的(最初来自处理器)网络 传输服务。计时器处理435提供用于本发明的用户限制神经网络处理 440在处理给定源媒体时所花费的时间的最大值的方式。
图4B是一方框图,示出了根据本发明的一个实施例的神经网络 处理模块440的CODEC选择方案的一个实施例。如图4B所述的神 经网络处理模块440包括:视频帧选择模块475,CODEC参数模块 480,输入层模块485,隐藏层486-487和输出模块488。在本发明 的一个实施例中,CODEC表示的信号适于用作用于引入到神经网络 处理模块440的信号的参考基线信号,其由神经网络处理模块440产 生。在一个实施例中,分类器417确定在引入的视频信号的段中的哪 个场景代表在下层的CODEC的可用参数的光中的最好场景。标准的 清单由神经网络处理模块440使用来确定在信号中哪个场景表示最好 场景。在一个实施例中,神经网络处理模块440对在视频的特殊帧中 的象素数量取样来通过视频信号的预先确定的参数确定在那个特殊帧 中的象素数量的变化。在另一实施例中,可能将在视频信号中的特别 场景中的显著的运动变化用作用于接下来的引入视频的基线参考场景 (“最好场景”)
在本发明的一个实施例中,神经网络处理模块440将来自分类器 417的视频段作为输入,并且接下来使用这个输入的取样来得出足够 的关于视频信号特性的信息。例如,在如图4B所示的方案中,神经 网络处理模块440采用窗口快像(例如,176×144象素窗口)来检查。 对于神经网络处理模块440,观看取样窗口的中心来产生足够的关于 视频信号的信息是有益的。在本发明的一个实施例中,神经网络处理 440使用最多8帧来产生关于视频信号的必需信息。以从参数模块480 到输入层485的特殊CODEC参数表示来自取样窗口的信息。
输入层485和多个隐藏层486-487通过多个神经元连接,其中 神经元具有每一形成从一个神经元到其它的强或弱的概要(synoptic) 连接的连接。在一个实施例中,提供每一由神经网络处理模块440支 持的CODEC具有它自己的神经网络来处理和特别的CODEC一起到 来的CODEC特定参数。神经网络处理440通过循环(round robin) 方式产生“最好的”视频,其中的循环方式就像从在视频取样捕捉时 期内的多个CODEC处理作为“烘烤”(bake-off)提到的处理。在处 理来自引入信号的最好的视频表示中,用于每一CODECS的每一对应 的神经网络从隐藏层486-487产生最好的表示样本,并且将信号送 到输出模块488。在本发明的一个实施例中,来自每一类由神经网络 处理440处理的CODEC的最好的CODEC的输出数据设置具有两个 可能性。第一个是神经网络处理440提交用于每一CODEC的最好结 果到输出模块448来“烘烤”多个用于多个CODEC中每一个的“最 好的”样本的神经网络,其中的CODEC反过来从多个最好的CODEC 中产生获胜的最好的CODEC。烘烤神经网络比处理CODECS处理的 神经网络更小、并且更快。
在第二处理方案中,神经网络处理440可能实现处理由多个 CODECS产生的最好的CODEC的基因算法。基因算法采用和弹子游 戏相同的统计选择方法。这样,不将来自多种神经网络的获胜的输出 CODEC送入“烘烤”神经网络,而是可能应用基因算法处理,来将 来自多种神经网络的输出模块488送入存储桶(bucket),并且从在 源媒体末尾的场景集合,例如,电影等中挑出最好的CODEC表示。 在本发明的一个实施例中,神经网络处理440使用前向和后向传播算 法来处理CODECS。
回到图4A,为了提供这个人工智能处理的进一步理解的目的, 下面提供了一个特殊应用的实例。应该理解应将由这个示例性应用提 供的系统的操作特性认作根据本发明的用于数据压缩和传送的神经网 络440方面广泛描述的。可以做出其它应用并落入本发明范围之内。
视频内容提供商在它的服务器上安装本发明的系统。为了执行最 初的如上所述的AI处理,将取样视频引入本系统。创建CODEC特性 的复杂矩阵,例如,对于每一比特速率的视频图形等,以在后面画出。 接下来,为了观看视频M,客户端的用户和内容提供商系统连接。本 发明的位于服务器上的通信系统传送软件代理到客户的装置,这样使 得客户可以和通信系统连接以传送特定装置的信息和接收合适的压缩 的信息和用于播放的解压CODEC。之后,为传输合适的压缩每一帧 的目的,AI系统开始将视频M作为流式信号载入缓存用于对每一帧 选择合适CODEC。缓存器的时间周期根据多个变量,理论上的系统 的处理能力,并且可能通常是,例如,对于具有用于预先记录的合适 性能,但是视频媒体未压缩的系统来说大约15秒。在缓存器内,根 据如图所示的矩阵中的预先测试的序列的“类型”比较每一帧和每一 CODEC。
接下来,系统400通过从在客户装置上的软件代理接收的信息观 看用户端的参数,例如,屏幕分辨率、可用存储器。之后选择最合适 的CODEC,并且通过在CODEC内设置特定变量到固定数量(例如, 基于比较源视频和过去的图形、传输信号性能或约束条件以及目的装 置性能或约束条件)来为最优化表现设置/调整。通常由分类器417一 帧一帧的做出刚刚描述的处理,但是为了时间的压缩效率比较 CODECS,使得用于每一帧的处理预期其它在前和在后的帧。一旦选 择了合适的CODEC并为每一帧调整(和其中由系统自动的合适的确 定帧的模块),传送系统报告客户代理并且在对应的要被加压并播放 的帧之前传送调整的CODEC。
应该认可这个系统400的神经网络440持续学习并且记住在 CODEC库445中的CODECS的操作和性能,并且持续使用它的学习 来改进输入媒体信号的压缩效率。通过库的运行信号帧的过程,更改 CODEC操作参数,通过比较逻辑525(图5)比较压缩性能和参考标 准压缩,并且再次运行循环,并进一步更改。该运行信号帧的过程是 反复的550(图5),通常持续改进压缩效率。事实上,具有在库445 中的一个或多个CODECS的压缩可能达到比参考压缩算法更好的改进 标准。
但是,当时间约束条件435(图4A)存在时(比如在用于流媒体 内容的实时推动或拉动要求),这个过程必须最终停止在一些点上, 使得处理的特殊的帧或帧序列被压缩575,并且传送580到目的,同 时没有计时器435的不可接受的延时。然后,可能由神经网络440在 CODEC操作系统内操作下一个帧或序列。这些终点可能由到达预先 确定的所需结果来定义,例如,但是不限于(i)到达预先确定的百分比 (%)压缩效率,例如,相比参考标准;或(ii)到达在处理上的预先确 定的或派定的时间限制设置,例如根据关于缓存时间的时间(例如, 15秒);或(iii)(i)或(ii)的更早的出现。在任意事件中,虽然到达终点 用于选择合适的CODEC,并且执行比较575和传送580操作。这不 标志着用于神经网络440训练继续的终点。存储通过每一处理的循环 收集的信息550。当将来遇到在引入的帧中的接下来的类似的帧和系 统约束条件参数时,记住存储的信息并且通过神经网络440重新获得, 以改进压缩575和传送580。
虽然预期很多不同的通信协议,认为是有益的一个特殊的实施例 使用“全双工网络堆栈”协议,其允许在服务器和客户装置之间的双 向通信。而且,虽然其它协议可能适用于特殊的应用,优选完全双工 系统。
通过使用流媒体传送结构来克服潜在的问题和使用嵌入的神经网 络440来克服速度考虑,刚刚描述的系统400解决了先前已知的 CODEC系统遇到的困难。之后,系统400能够重新设置用于在神经 网络440中的压缩的算法,目的是在任意网络结构上每一次都达成最 优化结果。
根据刚刚描述的整个压缩系统和方法,可能在CODEC库445中 使用多种CODECS,虽然根据本发明的任意特殊的CODEC的有益的 使用、预期这种CODEC采取单独的形式或和其它CODECS组合。例 如,合适的CODEC库445可能包括一个或多个下面类型的CODECS: (i)模块CODECS(例如,MPEG版本,比如Microsoft MediaTM或 QucitimeTM:(ii)分形CODECS;以及(iii)小波CODECS(例如,Real)。 根据另一方面,合适的CODEC库445可能包括一个或多个下面类型 的CODECS:(i)运动预测的CODECS;以及(ii)静止CODECS。此外, 该CODEC库445可能包括一个或多个下面的:(i)有损CODECS;以 及(ii)无损CODECS。
在本发明的一个实施例中,所有这些不同的类型的CODECS可 能由根据本发明的CODEC库445表示;并且,在库中可能包括给定 类型的多于一个特殊CODEC。或者,为了达成所需的性能来最优化 流媒体通信在信号本身、传输信道约束条件或目的装置约束条件中的 宽范围的实时变量的压缩,提供这些多种类型的多种组合。此外,本 发明的另外的高度有利的方案允许新的CODECS载入库445,并且立 即可用于用在神经网络440压缩/传送系统400中。但是,认为用在最 优化通信多种预期流媒体信号中是有益的,并且具有用于图像信号的 特殊益处的CODEC库445的一个特殊实例,包括下面的特定 CODECS:MPEG版本1,2或4(例如,Microsoft MediaTM和QuicktimeTM );Duck TrumotionTM;ON2;Real MediaTM;MJPEG;H.261;H.263; H.263+;GIF;JPEG;JPEG2000;BMP;WBMP;DIVX。
下面是刚刚描述的压缩系统和方法的多种方面的进一步的实例, 至少部分基于这个公开,认为其不论独立的和以多种组合对于本领域 普通技术人员都是广泛有益的。这个广泛的方面的进一步的实例在其 它地方的“发明内容”中以及附加的权利要求中提供。
达成多种CODEC操作的具有人工智能的神经网络440的使用是 广泛和具有独特利益的。特别的,对由响应于信号质量、数据内容和 数据格式学习的应用确定的源数据的预处理410提供一种系统和方 法。提供一种系统和方法,用于通过选择和应用合适的CODEC(从 所有可用的在CODEC库445中的CODECS中的一组)处理原数据的 每一单元(例如,帧或帧模块),其中根据源数据的观察到的特性和 响应于压缩类似数据的过去学习到的应用进行合适的CODEC的选择 和应用。提供一种系统和方法,其用于通过在所选的压缩算法中设置 多个压缩特性来最优化最初数据完整性的捕捉和保存来处理每一单元 源数据。此外,将每一或所有上述的信号处理步骤应用到每一单一的、 顺序的信号数据单元,例如,信号剪辑(clip),视频帧,或单独的 合适的分组。
进一步预期根据本发明的CODEC管理系统400提供图像处理的 系统和方法,其中该处理适于正常化最初的源数据/图像并且对最初数 据调整大小和重新取样来适应神经网络处理模块440的规范。还提供 以单一系统和任意源数据流服务任意传输或记录信道的能力。另外, 在这里描述了单独的或者有益的组合的多种系统和方法,提供它们具 有和任意连接和无连接的协议,包括,但是不限于TCP、UDP、 WTP/WDP、HTTP等的兼容性。
如在这里所示和所述的本发明还允许用于加速神经网络440的学 习速率,并且同时最小化实现所述网络的数据存储需要的更为有益的 应用。每一不同种类的数据流都具有基本上需要神经网络440更多的 处理的独特的特性。例如,视频数据流在运动的流行和程度、颜色对 比度、以及细节的图形和可见性上不同。更多的处理需要更长的时间 来达到最优化的功能性。更多的处理还需要更多可预测的库存储,通 常增长到无限大的尺寸。对于实时神经网络处理,可以最小化处理时 间和存储来通过提供预先开发的数据流种类的可预测库特性而显著增 加功能性。
因此,下面是本发明的预先训练的神经网络440方面的实例,其 应该独立的和以组合方式(包括在这里其它地方所示和所述的其它实 施例的组合)广泛的认为该发明是有益的。提供了一种系统和方法, 其在神经网络440中创建并使用人工智能,并且预先训练神经网络用 于用在解决问题当中,其中的问题可能是,例如,但是不必须限定于, 根据本发明的特殊的有益方面的流媒体压缩。还提供了一种系统和方 法,用于将通常要被解决的问题细分为可能根据智能网络的学习的历 史处理的有用的种类。
还根据本发明提供了智能流媒体传送系统和方法,其基于用户端 性能和传输信道约束条件(例如,但是不限定于)的可用的传输速度 或带宽、以及互联网拥塞来管理内容传输。数据压缩和传送系统400 使用计算机实现的智能处理,比如基于神经网络的人工处理,来分析 连接的方面(包括但是不限定于不同的比特速率、等待时间、传输特 性和装置限制)来在压缩方法中做出变更并且管理服务质量(“QoS”) 420问题。因此,压缩的、数字的、可恢复的和/或可解压的数据流可 能通过多个具有不同性能特性的传输媒介传送到多个不同的本地和/或 远程装置。另外,提供解压系统用于在终端装置再生该解压的数据。
在一个有益的实施例中,终端装置建立和位于服务节点上的系统 的连接。除了建立通信正常需要的软件以外,终端装置可能最初具有 嵌入在其中的和本系统相关联的常驻的软件。在链接终端装置到服务 器节点的情况中,系统将软件代理发送到终端装置,其中终端装置和 其它在一起形成整个传送系统的服务器侧的软件模块合作。软件代理 通知终端装置的系统用于解压和播放数据的设置和处理性能。软件代 理还报告确定的相关信息到在终端和服务器之间的通信信道的特性的 系统。这种信息包括,但是不限于,等待时间、带宽以及信号路径整 体性。基于终端装置配置和信道特性和性能的实时更新,系统通过改 变参数,比如缓存长度、发送比特速率和错误校正,有效的管理压缩 的数据流的传输。系统还将操作情况送到压缩系统来动态的改变编码 和压缩设置从而最优化数据的传送。位于终端装置上的传送软件代理 将包括一段一段的变更的数据流以压缩/解压算法和它的设置解压。根 据终端装置的配置,并且特别的对于非常细小的客户,可能在一段一 段的基础上对于每一解压算法和编码设置组合更新说明。如果适于终 端装置,可能还保存用于解压的说明。
因此,还认为所述的用于传输到并且由目的装置操作的软件代理 是所述压缩/传送系统和方法的高度有益的方面。通过从源传送软件代 理到装置,很多的现有目的装置可以用于根据本方法通信,本方法可 能包括使用一个或多个算法或其它在传输源的操作的变量。换句话 说,可能需要目的装置是“特定格式”的播放器,就像很多现有的流 式和静态媒体通信系统的需要。而且,通过把诊断功能提供给目的代 理。可能在目的装置收集诊断信息,并且将其以适用于由源使用的格 式发送回源,其中源在它的神经网络处理中使用以达成合适的用于给 定情况组的CODEC操作。
使用客户侧的代理来提供包括实时的客户侧的装置数据和通信信 道状态的服务信息的质量,并且还认为这个使用超出了也在这里提供 的本发明的特定应用和其它方面的组合,并且也是广泛有益的。另外, 压缩的每一单元的处理,容纳客户侧的服务的数据和实时通信信道情 况的传输完毕数据也被广泛的预期为具有广泛达成的益处。此外,所 述的系统和方法提供说明到客户侧的代理来使得可以解压每一连续 的,独特的数据的压缩单元。因此,本发明的另一广泛益处在于提供 目的装置(比如,从如这里所述的用于特殊的实施例的传输源)和适 于将最初媒体信号的压缩的表示解压为解压的表示的CODEC,其是 基于关于下面的至少一个的可变参数:最初媒体信号的方案、传输信 道约束条件、以及目的装置约束条件。在另一广泛的方面中,目的装 置适于使用从CODECS库中基于与最初媒体信号有关的方案选择的参 数选择的CODEC。
还认为在这里所述的系统和方法可应用到每一信号的独特的、连 续的单元,例如,信号剪辑、视频帧和合适的单独的分组的信号处理。 另外,系统和它的各种子系统可能还完全是软件的,其必须被载入每 一合适的装置,或者可能将其嵌入主机硬件组件或芯片,例如,在服 务器侧,或在确定情况中,在客户侧(例如,多个方面的目的代理), 或,例如,可能存储在(比如)闪存存储器中。
认为刚刚描述的媒体压缩系统和方法的多个方面易于根据很多已 知的和预期很快出现的媒体通信需要的使用,包括,例如,根据在这 里的其它地方描述的多种通信装置,通信/传输信道格式和标准,以及 媒体类型和格式(例如,在上面的“背景”部分中)。
但是,为了进一步理解的目的,图6示出了根据本发明的一个实 施例的作为特别应用到“视频点播”方面的所有流媒体通信系统600 的示意性的视图,其中在很多不同位置的很多不同的末端用户610- 620可能从远程源请求并且接收实时的(例如,没有实质上的延迟)、 预先记录的视频。从在图6中提供进一步的信息,至少一个媒体通信 系统600的特定实现在下面的比特速率(指示可由目的装置转换为解 压的表示的最初信号的压缩的表示,其中由通常的人类观察者的眼睛 观察,解压的表示不具有或基本不具有损失)传送下面类型的视频: 低到大约250Kbs的VHS格式视频;在大约400Kbps的DVD格式视 频;以及在大约900Kbps的HDTV格式视频。根据这些速度,相信可 以由电话携带者通过现有的传输线路信道提供视频点播,例如,在现 有的DSL线路630-640上。
但是,随着可用带宽和大量的通信持续出现问题,相信即使可能 达到的更高的效率会引起这些类型的视频信号的压缩的表示以更慢的 比特速率传输。而且,如在这里其它地方所述的,本发明的压缩效率 基本关于神经网络440可用的处理能量的函数,并且随着其改进,而 且神经网络440的关于多种类型的媒体持续学习并训练。这些资源可 能甚至使得可无需改变本发明的功能特征而达成可观的压缩效率。
因此,认为下面的用于特定压缩的视频信号的传输速率的实例是 所需的并且可根据本发明的一个实施例达成:和大约200Kbps一样低 的VHS格式视频,更为优选的和大约150Kbps一样低,并且仍然更 为优选的和大约100Kbps一样低;和大约350Kbps一样低的DVD格 式视频,更为优选的和大约300Kbps一样低,并且仍然更为优选的与 大约250Kbps一样低;以及和大约800Kbps一样低的HDTV格式视 频,以及仍然更为优选的和大约700Kbps一样低。
而且,至少一个本发明的一个实施例的媒体通信系统400的实现 在7Kbps的传输速率传送20-24帧/秒颜色视频。相信这可以产生实 质上的流媒体信号通过WAP网关到无线目的装置的进步,这将在下 面的其它地方进一步谈到。
还应该认可,虽然在这个公开中强调视频通信,还预期有其它类 型的流式和静态数据。例如,观察到至少一个压缩和传输实施例的实 现提供基本上达到在大约24Kbps的比特速率的CD质量的声音(例 如,通过可由目的装置转换为解压的表示的最初的信号的压缩的表 示,其中解压的表示不具有和基本上不具有可由通常人类观察者的 朵观测到的损耗)。在这些速率,可能传送高保真质量的声音用于通 过拨号调制解调器播放。但是,进一步考虑可用的资源事项和神经网 络训练的程度,进一步预期本发明适于在低到大约20Kbps的速度传 送CD质量的声音,并且甚至低到大约15Kbps和甚至10Kbps。
无线音频通信系统
进一步预期本发明的流媒体通信系统在无线音频通信网络中具有 特别有用的应用,并且特别是在手机网络中。因此,图7和8以分别 增加的细节量示意性的示出了根据本发明的确定特定的各个实施例, 分别特别的应用到无线音频通信系统的流媒体通信系统700和800。 虽然认为示出的特别的装置、系统参数和通信装置的布置在本发明的 所有应用中是有益的,认为它们不产生限制,并且可能由本领域普通 技术人员基于这个公开以合适的替代物来代替。这样,为了根据本发 明的一个实施例和多种压缩、传送、解压,以及代码转换的方面集成 的目的,将在这个公开的其它地方参考的多种无线通信系统700和 800、标准、以及协议包含在这个部分中。
本发明的一个实施例的通信系统400和蜂窝通信网络的其它组分 的组合允许根据本发明的增强型的压缩、传送和解压来表明用于无线 音频通信的增强的服务质量。根据本发明的蜂窝通信的改进包括,但 是不限于,下面的实例:增加可用带宽,扩展接收范围,并且提供功 能衰减(graceful degradation),同时保持在低信号质量或接收电平的 时期内的连通性。
更为特别的,蜂窝电话信号的特征在于相对高程度的可变性,这 是因为,例如,客户的漫游位置,以及有限的小区范围,大气情况, 以及在日用周期中的非常有限和变化的可用带宽。因此,根据本发明 的自最优化CODEC管理系统特别适于调整合适的通信及压缩形式来 改变环境。最起码,可能增加压缩效率并引起用于给定信号的带宽的 减少,随着无线信道业务的持续拥塞,这是十分有价值的成就。
在一个特殊的考虑中,如图9所示,根据本发明的增加的压缩效 率很好的应用来在“软切换”过程中在小区之间改进带宽问题。在蜂 窝电话通信的过程中,无论何时发射机或接收机在小区覆盖区域中迁 移,由系统的到小区之间的“终止”有效通信的需要增加通信带宽需 要和结果成本。终止通信的行动引起从先前有效的蜂窝发射机到中心 办公室的“回程”(hackhaul)信道,用于转发到新的有效的蜂窝发 射机。回程信道表示带宽的重要使用。增加压缩可以产生节省。如图 所示,这种“回程”方式包括在用于传递特别的信号的带宽的双倍(从 第一小区送回的媒体留下并且留到第二小区用于传输)或甚至四倍(从 第一和第二小区的重叠传递)。
本发明的媒体通信系统400可能识别何时回程发生,比如根据在 软件代理中提供的传输信道诊断,并且可能通过调整压缩的程度响应 来补偿。
WAP视频网关
随着特别观看到的在无线或移动互联网中观察到和预期的快速增 长,本发明的实施例预期智能压缩/传送/解压实施例和WAP网关功能 型的组合应用。
因此也提供了一种根据本发明的系统和方法,用于通过带宽约束 的无线通信系统使用无线应用协议(WAP)编码、压缩和发送复杂的 数字媒体(例如,视频画面)。在一个实施例中,数据由位于服务器 节点的系统处理,该节点采用具有人工智能的神经网络。从输入流捕 捉数据的样本段,并且处理来符合某类客户的独特的需要。像在上面 消息描述的,系统将持续变化的数字数据流的特性和具有预先开发的 经验学习的规则的库相关,并且和外部施加的最优化设计数据的一 致,连续性和细节的约束条件相关,其中数据为在客户接口最后接收, 解码并呈现的。
在图8中示意性的示出提供了在这里所述的流媒体通信系统的添 加的功能性的网关。根据WAP网关系统830,提供客户代理,其适于 在多个平台上运行,并且不需要特定的软件来解码视频流。根据在这 里其他地方描述的本发明的流媒体传送系统的使用,WAP装置的观看 者保持和系统服务器上行流的恒定通信,使得用户侧的客户825可以 把用于流媒体通信的相关信息提供给编码平台,该信息包括,但是不 限于:可变屏幕尺寸,处理能力,客户操作系统和浏览器版本,连接 速度和等待时间,由此允许流媒体传送系统定制流到每一单独的和它 “通话”的客户。因此,包含了如在这里所述的AI压缩AI驱动的服 务器830可能和WAP网关830结合,将需要的WAP和TCP/IP协议 (或其它协议,例如,双向服务器堆栈)转换结合,同时视频和音频 服务器835采用在这里所述的压缩、传送和解压的系统和方法,例如, 包括在这里所述的代码转换机系统和方法。根据这个系统的合适的主 机结构(没有示出)通常包括运行Linux OS的架式安装系统,具有更 改的WAP网关830或作为软件插入现有的服务器。
这个WAP网关系统830可能进一步在主/从关系中作为另一整个 流媒体传送结构(可应用到除了特殊无线外的其它传送系统)的有益 方面。多种内容分配网络,比如通过Akamai和Inktomi可用的,投入 在通过互联网在位于互联网的边界的服务器上使用“智能超高速缓 存”改进数据传送。这种主/从关系由本系统保持,其中主服务器位于 要被传送的内容的源并且从服务器位于边界上。这些服务器通信“智 能的”最优化通过互联网的内容传送并且减少等待时间、带宽和存储 需要,改进到用户端的视频/音频流的总体质量,并且减少到内容提供 商的媒体传送的成本。
随着大型电信操作器过渡到多服务宽带网络,并且随着到移动互 联网的用户数量持续快速增加,本发明的WAP网关830支持移动通 信的持续增长。特别的,移动通信是很多种类的系统和协议,每一具 有它自己的约束条件和用于互动装置来传递流式数据的需要。网关830 在特别有益的方面可能支持多种“2G”系统,同时具有可更新性,用 于接下来的“2.5G”和“3G”网络技术(系统的数字的增加通常表示 互联网功能性的进步)。
下面的表3提供了已知的移动通信标准的实例,并且提供了由本 发明的AI系统使用的用于最优化在移动目的装置,如媒体播放器领 域中的流媒体的通信的确定的相关信息。
表3:现有的/预期很快的移动通信标准     模式   波特速率(通常的)     GSM(2G)     9.6Kbps     CDMA     9.6Kbps     TDMA     14.4Kbps     CDPD     14.4Kbps     iMODE     128Kbps     GPRS     144Kbps     WCDMA或CDMA2000     144Kbps到2Mbps     GSM(3G)     2Mbps
另外,本发明特别有利的是它的多种流媒体信号到多种不同类型 的无线通信装置的能力。适于和本发明的流媒体通信系统和方法一起 使用的无线通信装置的实例,以及系统和方法可互换的支持何种类 型,在下面的表4中提供:
表4:具有互联网功能的PDA的实例  装置   制造   速度   存储器   屏幕深度 屏幕尺寸  调制解调   器类型   连接速度  iPAQ  Compaq  206MHz  16-64Mb  12b/象素    颜色 320×240   外部的   (例如,   CDPD)     9600-   14.4Kbps  PalmVII  Palm   33MHz   4-16Mb   4b/象素   b/w;8   b/象素颜     色   内部的   14.4Kbps  Handspring  Palm   33MHz   4-16Mb   4b/象素   b/w;8   b/象素颜     色   外部的   14.4Kbps  Blackberr     y  Research-     In-   Motion   33MHz    4Mb   2b/象素     b/w   内部的     9.6-   14.4Kbps  Jornada     HP  133MHz  16-32Mb   18b/象素 320×240   外部的     9.6-   14.4Kbps  Casseope  ia   Casio  150MHz  16-31Mb   12b/象素 320×240   外部的     9.6-   14.4Kbps
下面将描述多种特定实例,提供如在这里所述的本发明的实际的 无线互联网应用的观察。这种实例包括和下面至少一个(但是不限于) 相关联的变化的参数的CODEC库的使用:目的无线通信装置;传输 信道;通信协议;以及各个流媒体信号本身。根据这些实例使用的系 统和方法的多种特殊特征预期作为本发明进一步定义的独立的有益方 面。
共享的交互式环境
还根据本发明提供了一种系统和方法,用于使得实时远程客户可 以和高清晰度的、多维的、多共享的模拟环境互动,同时不需要重大 的客户侧处理能力。更为特别的,图10示出了作为应用到根据本发 明的共享的互动游戏的整体的流媒体通信系统。
这个系统包括:(i)代理服务器;(ii)图形呈现性能;(iii)用于反馈 客户输入到游戏的客户软件代理;(iv)用于支持本发明的传送系统的 客户软件代理;以及(v)来自服务器到客户的流。预期对于多个客户, 通常通过设计表现共享的互动游戏,提供刚刚描述的多个组分来支持 每一客户。
互动游戏的实施例预期数据压缩和传送实施例的实现具有也是用 于来自其它类似的远程装置系统的信号的目的装置的装置。这个布置 是广泛有益的,例如,在进一步的交互式媒体实现,比如视频会议和 类似功能当中。因此,每一远程系统是源和目的装置,并且在它和其 它远程系统之间发送和接收代理。
目的装置
虽然本发明的通信系统可以将流媒体信号传递到多种目的装置, 本发明的进一步预期的特征提供由客户用户将远程接收器作为目的装 置/播放器装入。这个置顶盒播放器可能适于服务至少一个,虽然优选 的可能有多个,或者可能是下面的全部:视频点播(VOD);音乐点 播(MOD);点播的互动游戏(IGOD);互联网协议的语音(“VoIP”), 任意通过IP连接提供语音技术服务的技术;电视网络接入;数字视频 记录来记录、暂停并重放实况电视;电子邮件,聊天;DVD播放器; 以及其它对于本领域普通技术人员很明显的应用。为了舒适,可能将 所有这些发送到在用户自己家庭中的现有的电视。另外,客户使用这 个盒,或其它作为和本发明的通信系统的接口的系统,可以通过电缆 和DSL连接接收DVD质量的视频和环绕声。
实例
为了进一步示出可能根据本发明达成的高度有利的结果的目的, 下面是用于不同类型的流媒体通信的特定实施例的实例,包括观察到 的结果和相关讨论。这些实例示出了通过不同传输信道传递相同的预 先记录的视频和到不同的目的装置,其中预先记录的视频具有下面的 最初特性:720线的分辨率和32比特颜色信息,大约1.4吉比特的最 初文件大小。
实例1
提供“iPAQ”模型3650手持PDA(可从Compag,Inc通过商业 渠道获得,在这个公开的时间是大约$500)。该PDA具有和14.4Kbps (最大)无线CDPD调制解调器(“AirCard300”无线外部调制解调 器,可从Sierra Wireless通过商业渠道获得并且在这个公开的时间是 大约$200)的接口,该接口使用扩展部件(来自Compaq,Inc.的IPAQTM PCMCIA扩展套件),其具有和无线调制解调器连接的PCMCIA卡槽。 使用的IPAQTM通常的特征在于,具有下面的处理参数:206MHz处理 器;32Mb存储器;12b/象素颜色;240×320屏幕大小;来自Microsoft 公司的PocketPCTM操作系统版本3.0以及立体声。IPAQ在旧金山, 加利福尼亚通过接口的CDPD调制解调器通过AT&T蜂窝无线载波系 统连接到互联网,并且具有大约13.3K比特/秒的连接带宽。位于圣何 塞,加利福尼亚(相距大约50MI)的服务器由PDA连接,其中PDA 采用http和rtsp协议,并且使用PDA来启动用于具有下面操作特定 的预先记录的视频的请求:720线分辨率和32比特颜色信息,1.4吉 比特的最初文件大小。在大约七秒内,由PDA在PDA屏幕接收、解 压、和播放预先记录的视频的压缩的近似值。整个视频在全运动中在 240×320×12BPP分辨率观看,没有可观察到的延迟和缺陷
实例2
提供“JornadaTM”模型548手持PDA(可从HP公司通过商业渠 道获得,在这个公开的时间是大约$300),该PDA和9.6Kbps(最大) 无线CDMA电话(“Motorola i85s”无线外部数字蜂窝电话,可从 Motorola授权的卖主通过商业渠道获得,在这个文章的时间是大约 $200)接口,该接口使用和电话及PDA连接并一起形成无线调制解 调器的适配器(adaptor)电缆(来自Motorola和HP的Motorola和HP RS-232标准接口电缆)。使用的Jornada型PDA装置的总的特征通 常是具有下面的处理参数:133MHz处理器;32Mb存储器;12b/象素 颜色;240×320屏幕尺寸;来自Microsoft公司的PocketPCTM操作 系统版本3.0以及环绕声。JornadaTM和在newark、NJ通过接口的CDMA 电话/调制解调器在Nextel数字蜂窝无线载波系统上和互联网连接, 具有8K比特/秒的连接带宽。位于圣何塞、加利福尼亚(相距大约2900mi 远)的服务器由PDA连接,其中PDA采用http和WDP协议,并且 使用PDA来启动用于具有下面初始特性的预先记录的视频的请求:720 线分辨率和32比特颜色信息,1.4吉比特的初始文件大小。在大约七 秒内,由PDA在PDA屏幕上接收、解压和播放预先记录的视频的压 缩的近似值。整个视频在完全运动中在176×120×8BPP分辨率观看, 没有可观察到的延迟和缺陷。
实例3
提供“置顶盒”模型st850笔记本PC(可从MSI公司通过商业 渠道获得,在这个文章的时间是大约$300)。置顶盒作为10Mbps(最 大)以太网/802.11连接的接口,使用连接置顶盒和宽带连接(DS3) 的CAT5以太网电缆(一般的)。使用的置顶盒的通常特性是具有下 面的处理参数:400MHz处理器;64Mb存储器;32b/象素颜色;720 线屏幕分辨率;来自Microsoft公司的Windows CE操作系统版本2.11, 以及AC3数字6声道环绕声。置顶盒在Newark、NJ通过结构的共享 DS3连接通过Alter.Net互联网主干和互联网连接,具有376K比特/秒 的连接带宽。位于圣何塞、加利福尼亚(相距大约2900mI远)的服 务器由PDA连接,其中PDA采用http和rtsp协议,并且使用PDA 来启动用于具有下面初始特性的预先记录的视频的请求:7201线分辨 率和32比特颜色信息,1.4吉比特的最初文件大小。在大约七秒内, 由置顶盒在商用的参考监视器(Sony)屏幕上接收、解压和播放预先 记录的视频的压缩的近似值。整个视频在完全运动中在720线x32bpp 观看,没有可观察到的延迟和缺陷。
虽然为了描述本发明的目的,在这里更详细的示出并描述了多种 特别实施例,应该认可可能由本领域的普通技术人员根据这个公开, 在不脱离本发明的精神范围的情况下做出进一步的变更和改进。例 如,可能做出特别描述的多种实施例的多种不同组合并且仍然在本发 明的精神范围之内。根据另一实例,还可以对多种实施例做出明显的 改进和更改,并且仍然在这个发明的精神范围之内。
相关申请
本申请是题目为“用于传递媒体信号的系统和方法”的由Reynolds 等人提交的临时性申请的非临时性申请,其代理案号为ID-PAT- 001PR1,申请号为60/325,483,并于2001年9月26日提交。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈