多视点视频流多速率组播传输的最优速率分配方法
专利汇可以提供多视点视频流多速率组播传输的最优速率分配方法专利检索，专利查询，专利分析的服务。并且本 发明 提出了一种多视点 视频流 多速率组播传输的最优速率分配方法，其构思是：将多视点视频流传输中多速率多径路由、中继 节点 的网络流量控制进行了联合优化，并且在选择最佳组播传输路径和分配各视点视频流传输速率时，兼顾了视点和 帧 的传输顺序问题，一方面，为每个视频流寻求合适的传输网络使所有需要该视点的用户节点的失真最小化；另一方面，同时满足用户对视点的 请求 度和帧之间解码依赖性的需求。此外，本发明还采用拉格朗日对偶方法对原始凸优化问题进行分解并求解，既实现了资源的最优分配，又便于分布式求解。该方法能有效地利用网络的带宽资源，实现异构网络环境中所有用户整体失真最小化，为用户端提供更佳的视频 质量 。，下面是多视点视频流多速率组播传输的最优速率分配方法专利的具体信息内容。
1.一种多视点视频流多速率组播传输的最优速率分配方法，其特征在于根据上述发明构思，采用下述步骤实现异构网络环境中所有用户整体失真最小化，其步骤如下：
第一，将多视点视频流传输中的多速率多径路由、中继节点的网络流量控制进行联合优化；
第二，在选择最佳组播传输路径和分配各视点视频流传输速率时，兼顾视点和帧的传输优先级顺序，不仅为每个视频流寻求传输网络使所有需要该视点的用户节点的失真最小化，而且满足网络环境中所有用户对视点的请求度和帧之间解码依赖性的需求；
第三，采用分布式的速率分配算法，即采用拉格朗日对偶方法对原始凸优化问题进行分解和求解，既实现了资源的最优分配，又便于分布式求解；
上述第一步骤中的联合优化是：网络中每个接收节点在接收需要的视频流时，同时选用多条路由路径；基于这些路径，合理分配网络资源给各个视点，进一步提高网络的吞吐量；
上述第二步骤中的兼顾视点和帧的传输优先级顺序是：确定视点和帧的传输优先级计算方法，在选择路由和进行网络流量分配时，传输优先级较高的视点分配的网络流量较多，每个视点分配的网络流量首先用于传输优先级比较高的帧；
上述第三步骤中的分布式的速率分配算法是：利用拉格朗日对偶方法，对原始凸优化问题进行分解和求解，允许每个网络节点和每条链路利用本地局部信息进行速率的动态调整和更新，以分布式方式实现链路传输速率的全局最优化分配；以网络中所有用户整体失真最小化为目标函数，以链路容量限制、视点编码速率限制等为约束函数，建立多视点视频流多速率组播传输的资源分配凸优化数学模型；具体方法如下：
1．网络模型的建立
将网络抽象为有向图 ，其中 是节点的集合，分为源节点集合 、中间节点集合 和接收节点集合 ， 是节点之间链路的集合；对于每条链路 对应有限的传输带宽 ；假定一个多视点视频包含 个视点 ，每一个视点的
编码速率为 ；假设从源节点到每个接收节点 均有多条传输路径 ， 表示接收节点 在接收第 个视点数据时，第 条路径上分配的网络流量大小；矩阵 表示链路和接收节点 的传输路径之间的关系，其中 的元素 表示链路 包含于接收节点的第 条传输路径中， 表示链路 没有包含在接收节点 的第 条传输路径中；
2. 视点和帧的传输优先级的计算
在用户端，显示设备周期性检测用户的位置，假定用户端 和视点 的视
角夹角为 ，用户端 对视点 的需求度为 ，其计算方式为：
，设置用户端视点的选择阈值为 ，若视点的需求度
大于视点选择阈值 ，则用户端 选择该视点，并向存储多视点视频数据的服务器发送该视点请求，否则用户端 不选择该视点，不向服务器发送该视点请求，服务器收集所有用户的视点请求信息，并以此计算每个视点的传输优先级，即传输网络中所有用户对视点 的需求度之和作为视点 的传输优先级 ，其表达式为： ；
在多视点视频编码KS-IPP结构中，视点的编码顺序按视点的传输优先级确定，将传输优先级最高的视点作为第一个视点 ，并根据视点传输优先级从高到低的顺序依次确定其他视点在KS-IPP编码结构中的顺序，
多视点视频中帧的传输优先级由该帧所在视点的传输优先级和该帧的类型确定，多视点视频编码KS-IPP结构中包含不同类型的帧，其具体如下：帧、 帧、 帧、 帧、 帧，每一类帧丢失均导致一部分帧不能正常解码，若 帧或者 帧丢失，则 帧或者 帧所在的视点和该视点外解码依赖 帧或者 帧的其他视点均不能正常解码，若 帧丢失，则该 帧所在视点内除 帧均不能正常解码，若 帧丢失，则该 帧的相邻帧不能正常解码， 帧丢失不影响其他帧的正常解码，因此，设视点 中的第 个帧 丢失所引起的不能正常解码的帧集合 ，其表达式为:
上述公式中， 表示视点 中的第 个帧， 表示多视点视频中的视点数， 表示每个GOP(Group of Picture)中帧的数目，集合 可分为两部分：只包含视点内帧的集合 和包含视点 以外帧的集合 ，
在计算帧的传输优先级时，首先视点 中的第 个帧 的传输优先级 等于
该帧丢失时视点 中不能正常解码的帧的传输优先级之和，即集合 中帧的传输优先级之和，其计算表达式表示为：
式中， 表示视点 中第 个帧 的传输优先级， 表示视点 中第
个帧， 表示帧 的传输优先级， 表示帧 的丢失导致视点
中不能正常解码的帧的集合， 表示每个GOP(Group of Picture)中帧的数目，当在编码 帧时以其他帧为参考帧，其他帧的编码均不依赖于 帧，则在每个视点内帧的传输优先级是最小的， 帧的传输优先级是计算其他帧的传输优先级的基础，在每个视点中，设所有帧的传输优先级之和等于该视点的传输优先级，其计算表达式为：
式中， 表示第 个视点的传输优先级， 表示视点 中第 个帧，
表示帧 的传输优先级， 表示视点 的一个GOP(Group of
Picture)内所包含帧的集合， 表示每个GOP中帧的数目，
根据以上 计算表达式和 计算表达式，即可得到每个视点中各个
帧的传输优先级，
在多视点视频编码KS-IPP结构中，每个视点的关键帧 帧或者 帧采用视点内编码和视点间编码的方式，在计算 帧或者 帧的传输优先级时还要考虑视点间编码，一个 帧或者 帧 的传输优先级可以表示为该帧丢失而不能正常解码的所有关键帧的传输优先级之和，即集合 中关键帧的传输优先级之和：
式中， 表示视点 中第0个帧 的传输优先级， 表示视点 中第
0个帧， 表示帧 的传输优先级， 表示帧 的丢失导致视点
以外的视点中不能正常解码的帧的集合， 表示多视点视频中视点的数目，根据视点和帧的传输优先级，若在一个用户端的可用网络流量不足以传输所有选择的视点时，则按照传输优先级从高到低的顺序传输视点；若可用网络流量不足以传输一个视点中所有的帧，则按照传输优先级从高到低的顺序传输视点内的帧，这样可以提高用户端接收的视频质量，
3．建立凸优化数学模型
目标问题P: min
约束条件：
1) ；
2) ；
3) ；
优化目标：使异构网络环境中的所有用户失真总和最小化；其中 为视点对与用户 的重要性， ，
约束条件：
1) 规定每条链路上的实际网络流量消耗量小于等于该链路的传输容量；
2) 对应于各个接收节点，用于接收每个视点的网络流量小于等于该视点的编码码率；
3) 规定各个接收节点在每条路径上的网络流量必须大于等于零；
4. 对原始凸优化问题分布式求解
目标问题P1:
约束条件：
；
步骤1：定义拉格朗日对偶：
其中， 是拉格朗日乘子；
步骤2：定义拉格朗日对偶函数： ；
步骤3：定义对偶问题： ；
步骤4：采用原始-对偶算法，同时更新原始变量和对偶变量，逐步逼近最优点，其中和 是正的步长值， 表示取正值的运算：
在以上更新过程中， 可视为拥塞代价，当总需求 逼
近可提供的网络流量上限 时， 上升；反之， 下降，定义 为满足目标问题P1中约束条件 的最优化拉格朗日乘子， 是第
条链路上总的拥塞代价，所有更新过程可以分布式实现，每条链路、每个节点只需要局部信息，就可完成更新。
多视点视频流多速率组播传输的最优速率分配方法
技术领域
发明内容
第二，在选择最佳组播传输路径和分配各视点视频流传输速率时，兼顾视点和帧的传输优先级顺序，不仅为每个视频流寻求传输网络使所有需要该视点的用户节点的失真最小化，而且满足网络环境中所有用户对视点的请求度和帧之间解码依赖性的需求；
第三，采用分布式的速率分配算法，即采用拉格朗日对偶方法对原始凸优化问题进行分解和求解，既实现了资源的最优分配，又便于分布式求解；
上述第一步骤中的联合优化是：网络中每个接收节点在接收需要的视频流时，同时选用多条路由路径，基于这些路径，合理分配网络资源给各个视点，进一步提高网络的吞吐量；
上述第二步骤中的兼顾视点和帧的传输优先级顺序是：确定视点和帧的传输优先级计算方法，在选择路由和进行网络流量分配时，传输优先级较高的视点分配的网络流量较多，每个视点分配的网络流量首先用于传输优先级比较高的帧；
上述第三步骤中的分布式的速率分配算法是：利用拉格朗日对偶方法，对原始凸优化问题进行分解和求解，允许每个网络节点和每条链路利用本地局部信息进行速率的动态调整和更新，以分布式方式实现链路传输速率的全局最优化分配；以网络中所有用户整体失真最小化为目标函数，以链路容量限制、视点编码速率限制等为约束函数，建立多视点视频流多速率组播传输的资源分配凸优化数学模型，具体方法如下：
1．网络模型的建立
将网络抽象为有向图 ，其中 是节点的集合，分为源节点集合 、中间节点集合 和接收节点集合 ， 是节点之间链路的集合；对于每条链路 对应有限的传输带宽 ；假定一个多视点视频包含 个视点 ，每一个视点的编码速
率为 ；假设从源节点到每个接收节点 均有多条传输路径 ， 表示接收节点在接收第 个视点数据时，第 条路径上分配的网络流量大小；矩阵 表示链路和接收节点 的传输路径之间的关系，其中 的元素 表示链路 包含于接收节点 的第 条传输路径中， 表示链路 没有包含在接收节点 的第 条传输路径中；
2. 视点和帧的传输优先级的计算
在用户端，显示设备周期性检测用户的位置，假定用户端 和视点 的视角夹角为 ，用户端 对视点 的需求度为 ，其计算方式为：
，设置用户端视点的选择阈值为 ，若视点的需求度
大于视点选择阈值 ，则用户端 选择该视点，并向存储多视点视频数据的服务器发送该视点请求，否则用户端 不选择该视点，不向服务器发送该视点请求，服务器收集所有用户的视点请求信息，并以此计算每个视点的传输优先级，即传输网络中所有用户对视点 的需求度之和作为视点 的传输优先级 ，其表达式为：
；
在多视点视频编码KS-IPP结构中，视点的编码顺序按视点的传输优先级确定，将传输优先级最高的视点作为第一个视点 ，并根据视点传输优先级从高到低的顺序依次确定其他视点在KS-IPP编码结构中的顺序，
多视点视频中帧的传输优先级由该帧所在视点的传输优先级和该帧的类型确定，多视点视频编码KS-IPP结构中包含不同类型的帧，其具体如下：帧、 帧、 帧、 帧、 帧，每一类帧丢失均导致一部分帧不能正常解码，若 帧或者 帧丢失，则 帧或者 帧所在的视点和该视点外解码依赖 帧或者 帧的其他视点均不能正常解码，若 帧丢失，则该 帧所在视点内除 帧均不能正常解码，若 帧丢失，则该 帧的相邻帧不能正常解码， 帧丢失不影响其他帧的正常解码，因此，设视点 中的第 个帧 丢失所引起的不能正常解码的帧集合 ，其表达式为:
上述公式中， 表示视点 中的第 个帧， 表示多视点视频中的视点数， 表示每个GOP(Group of Picture)中帧的数目，集合 可分为两部分：只包含视点内帧的集合 和包含视点 以外帧的集合 ，
在计算帧的传输优先级时，首先视点 中的第 个帧 的传输优先级 等于
该帧丢失时视点 中不能正常解码的帧的传输优先级之和，即集合 中帧的传输优先级之和，其计算表达式表示为：
式中， 表示视点 中第个帧 的传输优先级， 表示视点 中第
个帧， 表示帧 的传输优先级，表示帧 的丢失导致视点 中不能正
常解码的帧的集合， 表示每个GOP(Group of Picture)中帧的数目，
当在编码 帧时以其他帧为参考帧，其他帧的编码均不依赖于 帧，则在每个视点内帧的传输优先级是最小的， 帧的传输优先级是计算其他帧的传输优先级的基础，在每个视点中，设所有帧的传输优先级之和等于该视点的传输优先级，其计算表达式为：
式中，表示第 个视点的传输优先级， 表示视点 中第 个帧，表示帧
的传输优先级， 表示视点 的一个GOP(Group of Picture)内所包含帧的集合， 表示每个GOP中帧的数目，
根据以上 计算表达式和 计算表达式，即可得到每个视点
中各个帧的传输优先级，
在多视点视频编码KS-IPP结构中，每个视点的关键帧 帧或者 帧采用视点内编码和视点间编码的方式，在计算 帧或者 帧的传输优先级时还要考虑视点间编码，一个 帧或者 帧 的传输优先级可以表示为该帧丢失而不能正常解码的所有关键帧的传输优先级之和，即集合 中关键帧的传输优先级之和：
式中， 表示视点 中第0个帧 的传输优先级， 表示视点
中第0个帧， 表示帧 的传输优先级， 表示帧
的丢失导致视点 以外的视点中不能正常解码的帧的集合， 表示多视点视频中视点的数目，
根据视点和帧的传输优先级，若在一个用户端的可用网络流量不足以传输所有选择的视点时，则按照传输优先级从高到低的顺序传输视点；若可用网络流量不足以传输一个视点中所有的帧，则按照传输优先级从高到低的顺序传输视点内的帧，这样可以提高用户端接收的视频质量，
3．建立凸优化数学模型
目标问题P: min
约束条件：
1) ；
2) ；
3) ；
优化目标：使异构网络环境中的所有用户失真总和最小化；其中 为视点对与用户 的重要性， ，
约束条件：
1) 规定每条链路上的实际网络流量消耗量小于等于该链路的传输容量；
2) 对应于各个接收节点，用于接收每个视点的网络流量小于等于该视点的编码码率；
3) 规定各个接收节点在每条路径上的网络流量必须大于等于零；
4. 对原始凸优化问题分布式求解
目标问题P1:
约束条件：
；
步骤1：定义拉格朗日对偶：
其中， 是拉格朗日乘子；
步骤2：定义拉格朗日对偶函数： ；
步骤3：定义对偶问题： ；
步骤4：采用原始-对偶算法，同时更新原始变量和对偶变量，逐步逼近最优点，其中和 是正的步长值， 表示取正值的运算：
在 以 上 更 新 过 程 中， 可 视 为 拥 塞 代 价，当 总 需 求
逼近可提供的网 络流量上限 时，
上升；反之， 下降，定义 为满足目标问题P1中约束条 件
的最优化拉格朗日乘子， 是第 条链路上总的拥塞
代价，所有更新过程可以分布式实现，每条链路、每个节点只需要局部信息，就可完成更新。
具体实施方式
640*480，视频的帧率为 且 ,每个 的大小为16。图中，每个接收节点均有四条可选用的路径，每条路径的有不同的传输容量。
端视点的选择阈值为 ，若视点的需求度 大于视点选择阈值 ，则用户端 选择该视点，并向存储多视点视频数据的服务器发送该视点请求，否则用户端 不选择该视点，不向服务器发送该视点请求。服务器收集所有用户的视点请求信息，并以此计算每个视点的传输优先级，即传输网络中所有用户对视点 的需求度之和作为视点 的传输优先级，其表达式为： ;
在多视点视频编码KS-IPP结构中，视点的编码顺序按视点的传输优先级确定，将传输优先级最高的视点作为第一个视点 ，并根据视点传输优先级从高到低的顺序依次确定其他视点在KS-IPP编码结构中的顺序，
多视点视频中帧的传输优先级由该帧所在视点的传输优先级和该帧的类型确定，多视点视频编码KS-IPP结构中包含不同类型的帧，其具体如下：帧、 帧、 帧、 帧、 帧，每一类帧丢失均导致一部分帧不能正常解码，若 帧或者 帧丢失，则 帧或者 帧所在的视点和该视点外解码依赖 帧或者 帧的其他视点均不能正常解码，若 帧丢失，则该 帧所在视点内除 帧均不能正常解码，若 帧丢失，则该 帧的相邻帧不能正常解码， 帧丢失不影响其他帧的正常解码，因此，设视点 中的第 个帧 丢失所引起的不能正常解码的帧集合 ，其表达式为:
上述公式中， 表示视点 中的第 个帧， 表示多视点视频中的视点数， 表示每个GOP(Group of Picture)中帧的数目，集合 可分为两部分：只包含视点内帧的集合 和包含视点 以外帧的集合 。
式中， 表示视点 中第 个帧 的传输优先级， 表示视点 中第
个帧， 表示帧 的传输优先级， 表示帧 的丢失导致视点
中不能正常解码的帧的集合， 表示每个GOP(Group of Picture)中帧的数目，当在编码 帧时以其他帧为参考帧，其他帧的编码均不依赖于 帧，则在每个视点内帧的传输优先级是最小的， 帧的传输优先级是计算其他帧的传输优先级的基础。在每个视点中，设所有帧的传输优先级之和等于该视点的传输优先级，其计算表达式为：
式中， 表示第 个视点的传输优先级， 表示视点 中第 个帧，
表示帧 的传输优先级， 表示视点 的一个GOP(Group of Picture)
内所包含帧的集合， 表示每个GOP中帧的数目，
根据以上 计算表达式和 计算表达式，即可得到每个视点中各个帧的传
输优先级。
式中， 表示视点 中第0个帧 的传输优先级， 表示视点 中第
0个帧， 表示帧 的传输优先级， 表示帧 的丢失导致视点
以外的视点中不能正常解码的帧的集合， 表示多视点视频中视点的数目，根据视点和帧的传输优先级，若在一个用户端的可用网络流量不足以传输所有选择的视点时，则按照传输优先级从高到低的顺序传输视点；若可用网络流量不足以传输一个视点中所有的帧，则按照传输优先级从高到低的顺序传输视点内的帧，这样可以提高用户端接收的视频质量，
3、建立基于以上网络的凸优化计算方法
将网络抽象为有向图 ，其中 是节点的集合，分为源节点集合 、中间节点集合 和接收节点集合 ， 是节点之间链路的集合；对于每条链路 均对应有限的传输带宽 ；假定一个多视点视频包含 个视点 ，每一个视点的编码
速率为 ；假设从源节点到每个接收节点 均有多条传输路径 ， 表示接收节点在接收第 个视点数据时，第 条路径上分配的网络流量大小；矩阵 表示链路和接收节点 的传输路径之间的关系，其中 的元素 表示链路 包含于接收节点 的第 条传输路径中， 表示链路 没有包含在接收节点 的第 条传输路径中；原始凸优化问题可利用分布式求解的方法进行求解：
目标问题P: min
约束条件：
1) ；
2) ；
3) ；
优化目标：使异构网络环境中的所有用户失真总和最小化；其中 为视点对与用户 的重要性， ，
约束条件：
1) 规定每条链路上的实际网络流量消耗量小于等于该链路的传输容量；
2) 对应于各个接收节点，用于接收每个视点的网络流量小于等于该视点的编码码率；
3) 规定各个接收节点在每条路径上的网络流量必须大于等于零；
4. 对原始凸优化问题分布式求解
目标问题P1:
约束条件：
；
步骤1：定义拉格朗日对偶：
其中， 是拉格朗日乘子；
步骤2：定义拉格朗日对偶函数： ；
步骤3：定义对偶问题： ；
步骤4：采用原始-对偶算法，同时更新原始变量和对偶变量，逐步逼近最优点，其中和 是正的步长值， 表示取正值的运算：
在 以 上 更 新 过 程 中， 可 视 为 拥 塞 代 价，当 总 需 求
逼 近 可 提 供 的 网 络 流 量 上 限 时，
上升；反之， 下降，定义 为满足目标问题P1中约束条 件
的最优化拉格朗日乘子， 是第 条链路上总的拥塞代
价，所有更新过程可以分布式实现，每条链路、每个节点只需要局部信息，就可完成更新。
, 。
在时间 ，链路 上：
① 接收所有使用链路 的接收节点 的 值；
② 更新拥塞代价 ；
③ 将新的 广播到所有的接收节点 。
① 接收到总的网络拥塞代价值；
② 更新分配的路径流量 ；
③ 将新的 广播到所有的链路 。
② 随着视点数的增加系统占用的带宽
图5给出了在网络带宽状况充足的情况下随着视点数的增加系统所占用的带宽。在网络带宽状况充足的情况下，随着传输的视点数从一个增加到四个，采用MVC编码占用的带宽最小，每个视点单独编码时占用的带宽最多，图中的结果表明了三种编码方式的编码效率。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| VR虚拟技术嵌套中间件的工作方法 | 2020-05-18 | 3 |
| 利用自适应运动向量精度的方法和装置 | 2021-01-07 | 1 |
| 拼接墙的超高清视频显示方法和系统 | 2021-01-21 | 0 |
| 基于视间预测的双目立体视频的编码及解码方法 | 2023-06-03 | 2 |
| 以低编码器和解码器复杂度进行视频编码的高精度运动矢量 | 2023-08-31 | 2 |
| 用于视频编码和解码的自适应耦合预处理和后处理滤波器的方法和设备 | 2020-11-17 | 0 |
| 一种自适应视频编码控制系统及方法 | 2020-10-06 | 0 |
| Using Depth Information to Assist Motion Compensation-Based Video Coding | 2022-09-23 | 1 |
| 움직임 벡터를 이용한 영상 복호화 방법 및 및 컴퓨터로 판독 가능한 저장매체 | 2022-11-09 | 0 |
| COEFFICIENT CODING HARMONIZATION IN HEVC | 2022-12-01 | 2 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
