技术领域
[0001] 本
发明属于视频传输技术领域，涉及一种视频传输方法，特别涉及一种基于用户认知需求的视频传输方法，可用于视频传输系统。
背景技术
[0002]
大数据的发展导致了视觉大数据的产生，随着
图像采集设备以及显示设备的更新
迭代，大量的视觉数据以便捷的形式呈现在用户眼前，为用户提供丰富多彩的信息。然而在不同工作环境下，网络带宽并不总是能满足视觉数据传输的需求，无目的、无组织的高清图像采集制造出了巨量的冗余数据，导致关键的有效数据无法在有限的网络带宽中正常传递给用户，使得用户体验下降，甚至错过重要信息。
[0003] 为了减轻网络压
力，优化用户体验，在传统的视频传输方法中，服务端将获取到的原始视频数据进行
有损压缩编码，再把有损压缩编码后的数据发送给客户端，客户端对接收到的视频数据解码还原成近似原始的数据，此时服务端获取到的原始视频数据才能以一定
质量展示到用户面前，同时，用户一般有控制视频质量的权利，即通过预设的选项来控制压缩编码过程中的编码参数，以调整所看到的视频质量。这个过程虽然会增加整个系统的复杂度，同时有损压缩也会对视频数据的质量造成影响，但只要调控得当，适当地牺牲系统复杂度以及视频数据质量能够使得系统更合理地使用网络带宽，在有限的带宽条件下为用户提供更流畅的体验。但在传统的视频传输方法中仍存在
缺陷，程序无法准确地度量用户对视频质量的需求，更无法精确地为用户提供
指定质量的视频，同时，对于不同内容的视频
片段，以同样的编码参数进行压缩编码后，其
感知质量损失是不同的，若对所有视频片段以同样的编码参数进行压缩编码，则用户在客户端得到的视频质量参差不齐，用户体验较差。
[0004] 目前，为了优化用户获取视频的体验，主要是通过获取的当前网络状态来优化视频传输方法，例如，
申请公布号为CN105025294A，名称为“一种视频传输控制装置及方法”的
专利申请，公开了一种视频传输方法，该方法先监测网络状态，再根据网络状态对视频进行
采样，得到采样后的
视频帧，最后将视频帧发送给用户。该方法通过视频帧率控制待传输视频的码率，能有效地减少视频传输时的数据量，同时视频帧率根据网络状态确定，因此能保证用户能获得流畅的视频体验。但该方法存在的缺陷是：
[0005] 1)根据网络状态控制传输视频的码率，导致用户没有选择视频质量的权力，不能根据自身需求选择视频质量，用户体验仍然较差；
[0006] 2)根据网络状态盲目地提高视频的码率，并不总是能提高视频的感官质量，虽然网络带宽能确保这些数据流畅地传输给用户，但由于没有考虑人眼的感知特性，视频数据中人眼感知不到的冗余数据会无意义地占据带宽，导致带宽的浪费。
发明内容
[0007] 本发明的目的在于克服上述
现有技术存在的缺陷，提出了基于用户认知需求的视频传输方法，旨在提高用户体验，并减少冗余数据导致的带宽浪费。
[0008] 为实现上述目的，本发明采取的技术方案包括如下步骤：
[0009] (1)服务端获取视频片段X；
[0010] (2)客户端定义用户的认知需求R，并对每个认知需求进行编号：
[0011] 客户端定义用户的绝对无损需求、感知无损需求和认知无损需求，其中，绝对无损需求表示用户在客户端获取的视频数据与原视频片段X一致的编号为R＝0的需求；感知无损需求表示用户在客户端获取的视频数据与原视频片段X感官质量一致的编号为R＝1的需求；认知无损需求表示用户在客户端获取的视频数据存在感官质量损失的需求，按照感官质量损失从小到大的顺序，认知无损需求分为第一级认知无损需求、第二级认知无损需求、第三级认知无损需求和第四级认知无损需求四个等级，编号分别为R＝2、R＝3、R＝4和R＝5；
[0012] (3)客户端将用户选择的认知需求的编号发送至服务端：
[0013] 客户端将用户根据自身在客户端获取的视频数据质量的需要选择的一种认知需求R的编号发送至服务端；
[0014] (4)服务端对视频片段X进行编码，并将编码结果发送至客户端：
[0015] (4a)服务端判断用户选择的认知需求R的编号是否为0，若是，执行步骤(4b)，否则，执行步骤(4c)；
[0016] (4b)服务端采用
无损压缩编码
算法对视频片段X进行编码，得到编码后的视频片段Y；
[0017] (4c)服务端利用质量评价算法计算视频片段X的第n阶编码参数Q，n∈[1,5]且n＝R，并采用有损压缩编码算法，通过Q对视频片段X进行编码，得到编码后的视频片段Y；
[0018] (4d)服务端将步骤(4b)或步骤(4c)得到的编码后的视频片段Y发送至客户端；
[0019] (5)客户端对视频片段Y进行解码：
[0020] (5a)客户端判断接收到的视频片段Y是否为通过无损压缩编码算法获取，若是，执行步骤(5b)，否则，执行步骤(5c)；
[0021] (5b)客户端采用无损压缩编码算法对视频片段Y进行解码，得到解码后的可播放的视频片段X′；
[0022] (5c)客户端采用有损压缩编码算法对视频片段Y进行解码，得到解码后的可播放的视频片段X′。
[0023] 本发明与现有技术相比，具有如下优点：
[0024] 1)本发明在对视频片段进行编解码的过程中，是根据用户不同的认知需求，采用不同的压缩编码方法实现的，用户选择的每一种认知需求都有其实际含义，根据实际含义选择认知需求就能获得所需质量的视频片段，避免了现有技术因根据网络带宽控制视频码率调整视频质量导致的用户体验差的缺陷。
[0025] 2)本发明利用质量评价算法计算视频指定感官质量对应的编码参数，通过该编码参数对
视频编码再传输，使得用户获取到的视频数据刚好满足用户的感官质量需求，解决了视频在传输过程中存在大量用户不需要的冗余数据的问题，实现了为用户提供指定质量视频的前提下，将视频码率降到最低，节约了网络带宽。
附图说明
具体实施方式
[0027] 以下结合附图和具体
实施例，对本发明作进一步详细描述。
[0028] 实施例1.本实施例客户端采用无损压缩编码算法对视频片段Y进行编码和解码。
[0029] 参照图1.本发明包括如下步骤：
[0030] 步骤1)服务端获取视频片段X；
[0031] 视频片段X可以由摄像头等能产生可播放的视频数据的对象提供；
[0032] 步骤2)客户端定义用户的认知需求R，并对每个认知需求进行编号：
[0033] 虽然通过不同的编码算法以及相应的编码参数，能得到一系列不同码率的编码视频，但受限于人眼的感知特性，人眼只能从中分辨出有限的几个质量等级，因此在本发明中，对用户关于视频质量的认知需求作了一定的限定，在客户端定义用户的认知需求为绝对无损需求、感知无损需求和认知无损需求三大类，其中，绝对无损需求表示用户在客户端获取的视频数据与原视频片段X一致的编号为R＝0的需求，主要用于医疗及军事等需要确保信息完整性的应用中；感知无损需求表示用户在客户端获取的视频数据与原视频片段X感官质量一致的编号为R＝1的需求，主要用于艺术欣赏及数字娱乐等用户不要求确保信息完整性，但同时也不希望察觉出视频质量损失的应用中；认知无损需求表示用户在客户端获取的视频数据存在感官质量损失的需求，按照感官质量损失从小到大的顺序，认知无损需求分为第一级认知无损需求、第二级认知无损需求、第三级认知无损需求和第四级认知无损需求四个等级，编号分别为R＝2、R＝3、R＝4和R＝5，主要用于实况体育及交通监控等用户不要求获得完美的观影体验，但要求能认知视频中的目标的应用中，其中第四级认知无损需求为实现该目的的最低要求，若用户在该认知需求下得到的视频的质量进一步下降，则会出现用户无法认知视频中目标的现象；
[0034] 步骤3)客户端将用户选择的认知需求的编号发送至服务端：
[0035] 客户端将用户根据自身在客户端获取的视频数据质量的需要选择的一种认知需求R的编号发送至服务端；
[0036] 步骤4)服务端对视频片段X进行编码，并将编码结果发送至客户端：
[0037] (4a)服务端判断用户选择的认知需求R的编号是否为0，若是，则采用无损压缩编码算法对视频片段X进行编码，得到编码后的视频片段Y，其中，无损压缩编码算法可采用Huffyuv、H.264无损模式、MJPEG2000无损模式等可对视频进行无损压缩编码的算法，由于无损编码算法压缩率都较高，因此实施例采用计算速度最快的Huffyuv算法；
[0038] (4b)服务端将编码后的视频片段Y发送至客户端；
[0039] 步骤5)客户端对视频片段Y进行解码：
[0040] 客户端判断接收到的视频片段Y是否为通过无损压缩编码算法获取，若是，则采用Huffyuv算法对视频片段Y进行解码，得到解码后的可播放的视频片段X′。
[0041] 实施例2.本实施例客户端采用有损压缩编码算法对视频片段Y进行编码和解码，其中的步骤1)～步骤3)与实施例1相同，仅对步骤4)和步骤5)作了调整。
[0042] 参照图1.本发明包括如下步骤：
[0043] 步骤1)服务端获取视频片段X；
[0044] 视频片段X可以由摄像头等能产生可播放的视频数据的对象提供；
[0045] 步骤2)客户端定义用户的认知需求R，并对每个认知需求进行编号：
[0046] 虽然通过不同的编码算法以及相应的编码参数，能得到一系列不同码率的编码视频，但受限于人眼的感知特性，人眼只能从中分辨出有限的几个质量等级，因此在本发明中，对用户关于视频质量的认知需求作了一定的限定，在客户端定义用户的认知需求为绝对无损需求、感知无损需求和认知无损需求三大类，其中，绝对无损需求表示用户在客户端获取的视频数据与原视频片段X一致的编号为R＝0的需求，主要用于医疗及军事等需要确保信息完整性的应用中；感知无损需求表示用户在客户端获取的视频数据与原视频片段X感官质量一致的编号为R＝1的需求，主要用于艺术欣赏及数字娱乐等用户不要求确保信息完整性，但同时也不希望察觉出视频质量损失的应用中；认知无损需求表示用户在客户端获取的视频数据存在感官质量损失的需求，按照感官质量损失从小到大的顺序，认知无损需求分为第一级认知无损需求、第二级认知无损需求、第三级认知无损需求和第四级认知无损需求四个等级，编号分别为R＝2、R＝3、R＝4和R＝5，主要用于实况体育及交通监控等用户不要求获得完美的观影体验，但要求能认知视频中的目标的应用中，其中第四级认知无损需求为实现该目的的最低要求，若用户在该认知需求下得到的视频的质量进一步下降，则会出现用户无法认知视频中目标的现象；
[0047] 步骤3)客户端将用户选择的认知需求的编号发送至服务端：
[0048] 客户端将用户根据自身在客户端获取的视频数据质量的需要选择的一种认知需求R的编号发送至服务端；
[0049] 步骤4)服务端对视频片段X进行编码，并将编码结果发送至客户端：
[0050] (4a)服务端判断用户选择的认知需求R的编号是否为0，若不是，则利用质量评价算法计算视频片段X的第n阶编码参数Q，n∈[1,5]且n＝R，并采用有损压缩编码算法，通过Q对视频片段X进行编码，得到编码后的视频片段Y，其中有损压缩编码算法可采用MJPEG、H.264、H.265等可对视频进行有损压缩编码的算法，为了更好地与其它方案对接，实施例采用目前普及率最高的H.264算法，此时，编码参数等价于H.264算法中的量化参数；
[0051] 对于同一有损压缩编码算法与同一等级的编码后视频感官质量，其编码过程中采用的编码参数与视频本身内容有关，因此本发明利用能代表感官质量的质量分来计算编码参数，视频片段X的第n阶编码参数Q的计算步骤为：
[0052] (4a1)客户端通过预先实验统计的编码参数与质量分关系表，查表第n阶编码参数对应的质量分Sn，同时将第n阶编码参数Q的初始值设置为0；
[0053] 为了获得编码参数与质量分关系表，实施例预先准备一系列测试视频，以不同编码参数对视频进行编码，编码后的视频以质量高到质量低排序，并让参与实验人员对同一内容的视频选择出5个感官质量开始发生变化的视频，5个视频的感官质量满足感知无损需求及认知无损需求的定义，再记录这5个视频相对于原始视频的5级质量分，最后将通过所有参与实验人员得到的5级质量分进行统计得到统计后的5级质量分S1、S2、S3、S4和S5；
[0054] (4a2)客户端对Q进行更新：
[0055] Q＝Q+1；
[0056] (4a3)客户端采用H.264算法，以Q为编码参数对视频片段X进行编码，得到编码后的视频片段Y1；
[0057] (4a4)客户端采用H.264算法对Y1进行解码，得到解码后的视频片段X1′，并采用基于结构相似性的质量评价算法SSIM，计算X1′相对于X的质量分S(X,X1′)；
[0058] 质量评价算法SSIM主要利用图像的局部结构特征，结合
亮度与
对比度，来计算两幅图像之间的相似度，即失真图像相对于原图的质量分，对于视频，实施例通过计算失真视频相对于原视频每个对应帧之间的SSIM质量分，并计算其平均值以得到失真视频相对于原视频的SSIM质量分，其中，失真视频的质量失真来自于H.264编码过程中的信息丢失，质量评价算法SSIM是质量评价算法领域中最为经典的算法之一，较低的计算复杂度使其得到了广泛的应用，在实施例中利用质量评价算法SSIM得到的质量分，能有效地计算出指定认知需求对应感官质量视频的编码参数，在实施例中采用的质量评价算法SSIM计算步骤如下：
[0059] (4a41)客户端将视频片段X中第i帧图像记为Xi，可播放的视频片段X1′中第i帧图像记为X1i′，其中，i＝1,2,...,N，N为视频片段X及视频片段X1′中总图像帧数，并分别计算Xi的平均强度 和X1i′的平均强度
[0060]
[0061]
[0062] 其中，M表示每帧图像的总
像素数，Xi(j)表示Xi的第j个像素点，X1i′(j)表示X1i′的第j个像素点，j＝1,2,...,M；
[0063] (4a42)客户端计算视频片段X中第i帧图像Xi与视频片段X1′中第i帧图像X1i′之间的亮度相似度L(Xi,X1i′)：
[0064]
[0065] 其中，C1＝(K1L)2为避免分母为0的常数，K1＝0.01，L＝255；
[0066] (4a43)客户端计算视频片段X中第i帧图像Xi的标准差 和视频片段X1′中第i帧图像X1i′的标准差
[0067]
[0068]
[0069] (4a44)客户端计算视频片段X中第i帧图像Xi和视频片段X1′中第i帧图像X1i′之间的对比度相似度C(Xi,X1i′)：
[0070]
[0071] 其中，C2＝(K2L)2为避免分母为0的常数，参数K2＝0.03；
[0072] (4a45)客户端计算视频片段X中第i帧图像Xi和视频片段X1′中第i帧图像X1i′之间的结构相似度ST(Xi,X1i′)：
[0073]
[0074] 其中， 为避免分母为0的常数， 表示视频片段X中第i帧图像Xi和视频片段X1′中第i帧图像X1i′之间的协方差：
[0075]
[0076] (4a46)客户端计算视频片段X中第i帧图像Xi与视频片段X1′中第i帧图像X1i′之间的SSIM值SSIM(Xi,X1i′)，得到视频片段X1′相对于视频片段X的质量分S(X,X1′)：
[0077]
[0078] 其中，SSIM(Xi,X1i′)＝L(Xi,X1i′)C(Xi,X1i′)ST(Xi,X1i′)。
[0079] (4a5)客户端重复步骤(4a2)至步骤(4a4)，直到S(X,X1′)≤Sn，得到的Q即为视频片段X的第n阶编码参数；
[0080] 对于实施例采用的H.264编码算法，其编码参数范围为[0,51]，其中编码参数越小，对应编码后视频质量越高，实施例通过设置最高的编码后视频质量作为起始值，并逐步增大编码参数以使编码后视频质量分接近指定质量分；
[0081] (4b)服务端将编码后的视频片段Y发送至客户端；
[0082] 步骤5)客户端对视频片段Y进行解码：
[0083] 客户端判断接收到的视频片段Y是否为通过无损压缩编码算法获取，若不是，则采用H.264算法对视频片段Y进行解码，得到解码后的可播放的视频片段X′。
[0084] 以上描述仅是本发明的两个具体实例，不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种
修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的
权利要求保护范围之内。
