人脸视频压缩方法
专利汇可以提供人脸视频压缩方法专利检索，专利查询，专利分析的服务。并且一种人脸视频压缩方法，属于多媒体通信时人脸视频 数据压缩 技术领域，其特征在于，在发送端利用人脸模型进行视频中人脸的 定位 和参数化表征，得到由光照参数向量、 姿态 参数向量和形状和外观联合参数向量表示的人脸模型参数向量，并进行基于给定欲保留参数的 帧 样本个数时的全局最小参数误差和模型参数总比特小于给定上限的约束，把最优自适应帧间压缩后的人脸模型参数向量发送给接收端再利用独立分片线性插值方法进行人脸模型参数向量的恢复，经过人脸形状计算和经过恢复的人脸外观，得到原图像，在大大提高人脸视频压缩比的同时保证了最优重建 质量 ，在时域上最大限度除去人脸视频中的冗余，从而提高了通信资源利用率。，下面是人脸视频压缩方法专利的具体信息内容。
1.一种人脸视频压缩方法，其特征在于，是一种在移动视频通话时对前后帧的人脸模型参数进行时域冗余度压缩的人脸模型的视频编码方法，是在移动视频通话系统的发射端和接收端中依次按以下步骤实现的：
步骤(1)，系统初始化，
使用至少包括云存储、介质存储、闲时传输在内的任何一种方法在发射端和接收端各建立一个统一的人脸模型，步骤如下：
步骤(1.1)，采集D帧人脸图像，构建一个人脸图像训练数据库，包括：人脸训练图像集和人脸训练数据集，前者存储供训练用的D帧人脸图像，后者存储每帧人脸图像的相关训练数据，所述人脸训练参数，也称人脸模型参数，包括：
人脸形状向量Si，i为所述D张人脸图像的序号，i＝{1，2，...，i，...，D}，D为有限正整数，还有人脸平均形状向量
姿态参数向量(vi，θi)，表示人脸在视频帧中的位置和角度，是用普鲁克分析方法Procrustes Analysis对所述人脸形状向量Si和平均人脸形状向量 用平移和旋转变换校正后得到的平移量Vi和旋转角θi，
人脸形状参数向量bsi，表示至少包括轮廓、五官的位置、大小、形状和动作在内的人脸特征，
人脸外观向量gi，是以所述人脸平均形状向量 为目标，通过分片仿射拉伸Piecewise Affine Warping方法使所述人脸形状向量Si所定义的特征点与人脸平均形状向量 所定义的同一个特征点位置相吻合从而得到的一幅由人脸图像中人脸部分的像素值所拉成的向量 人脸平均外观向量 是对人脸训练数据集中所有人脸外观向量进行平
均所得到的，
光照参数向量(μiσi)，与拍摄时的光照条件、亮度、对比度和光照角度有关：
μi＝mean(gi)，σi＝var(gi)，
是对所述人脸外观向量gi做像素强度归一化后得到的光照归一化外观向量，μi是归一化过程得到的平均像素强度，mean为平均值，
σi是归一化过程得到的像素强度标准差，var为标准差，
步骤(1.2)，按以下方法计算步骤(1.1)中所述的各人脸训练参数：
所述人脸形状向量Si，是对第i帧人脸图像用Regularized Landmark Mean-Shift人脸定位算法所得到的si＝{(xi1，yi1)，...，(xij，yij)，...，(xiF，yiF)}，其中：
j为特征点序号，j＝{1，2，...，j，...，F}，F为特征点数目，
所述人脸平均形状向量 为：
所述形状向量参数 其中：
Ps是对所有的所述人脸形状向量Si，i＝{1，...，i，...，D}用主成分分析方法Principal Component Analysis得到的人脸形状变化模式矩阵，为一个列正交矩阵，每一列表示人脸的一种整体运动模式，与反映人脸姿态及外观变化的人脸特征的坐标的整体运动模式，
发射端对任一帧i实时输入的人脸图像，按以下步骤计算最终需压缩的人脸模型参数向量pi：
pi＝{(vi，θi)，(μi，σi)，ci}，
步骤(2)，发射端对于实时输入的所述D帧人脸图像中的任选帧i按下式计算最终需压缩的某i个人脸模型参数向量pi：
pi＝{(vi，θi)，(μi，σi)，ci}，其中Ci为任选帧的联合参数向量， 其中：
T
bsi为第i帧人脸形状参数向量，bsi＝Pssi，
为第i帧人脸外观参数向量，
bi为第i帧人脸形状与外观联合参数向量，
为D帧人脸图像的平均人脸形状与外观联合参数向量，
Pg为对所述人脸训练数据集中的所有人脸外观向量gi进行主成分分析Principal Component Analysis而得到的人脸外观变化模式矩阵，为一个列正交矩阵，每一列表示由人脸姿态、动作变化造成的人脸外观像素值的一种整体变化模式，
Q是根据对所述人脸训练数据集中的人脸形状参数向量bsi和人脸外观参数向量计算得到的人脸形状和外观联合参数向量bi，i＝{1，...，i，...，D}进行主成分分析Principal Component Analysis而形成的人脸形状和外观联合参数变化矩阵，为一个列正交矩阵，每一列表示所述人脸形状参数向量bsi和人脸外观参数向量 的一种联合变化模式；
步骤(3)，对于步骤(2)得到的人脸模型参数向量pi依次按以下步骤进行最优自适应帧间压缩，满足给定的模型参数压缩比目标，并把压缩后的人脸模型参数向量p′i发送给接收端；
步骤(3.1)，设定：M为在设定时间段内输入并缓存的人脸模型参数向量p的缓存帧数，用pi表示，i＝{1，...，i，...，M}为人脸模型参数向量p的序号，M在数值上等于人脸图像帧数D，
N为欲保留的缓存帧数，M>N，
步骤(3.2)，对所述M个人脸模型参数向量p按以下步骤进行最优多边形近似插值，以便得到N个样本时全局的所有人脸模型参数v、θ、μ、σ、c的全局参数误差最小，步骤如下：
步骤(3.2.1)，在所述M个缓存帧中，保留首、尾两个缓存帧，则每两个相邻人脸模型参数向量间在线性插值后跳过的样本个数为
步骤(3.2.2)，根据步骤步骤(3.2.1)得到的结果对经过线性插值后得到的所有人脸模型参数向量p，对其中v、θ、μ、σ、c共五个人脸模型参数中的每一个，构筑其与任意一个相邻的人脸模型参数向量中同一类别的人脸模型参数之间通过同样的线性插值方式得到的近似结果与原数据之间的误差，用误差的平方和表示为ei，i′，组成误差平方和矩阵E＝[ei，i′]，1≤i≤M，1≤i′≤M，若：i′≥i，则ei，i′＝0，
步骤(3.2.3)，定义方矩阵H＝[hi，i′]，1≤i≤M，1≤i′≤M，hi，i′表示把步骤(3.2.2)中第1个人脸模型参数到第i个人脸模型参数之间分成k段再进行所述同样的线性插值方式得到的最小的逐点误差平方和，1≤i≤M，1≤i′≤M，i，i′为k段内的任意二个人脸模型参数向量中同一类别人脸模型参数的对应的参数点，且i′≥i时，hi，i′＝∞，
步骤(3.2.4)，定义矩阵F＝[fi′，i]，1≤i≤M，1≤i′≤M，i′
下标i″，i为M-N段内的二个参数点，l＝{mmax+1，...，M}，i≠i″，
arg为对段中的点i取值，mmax＝N-1，lmax＝M-1，
全部所述各类人脸模型参数的全局最小误差al，m的向量为AL，M，
步骤(3.2.6)，根据步骤(3.2.5)的结果，构造一个人脸模型参数误差矩阵R，简称参数误差矩阵，行数为所述人脸模型参数向量中人脸模型参数的个数，每一行对应一个人脸模型参数，
步骤(3.2.7)，依次按以下步骤，按照任意可能的量化比特数与丢帧数的组合，计算在使用所选组合时该组合的模型参数在所述缓存帧中所造成的参数误差的和：
步骤(3.2.7.1)，当所述参数误差矩阵R的每一行对应一个精度为b比特的一个所述人脸模型参数向量pi中的一个人脸模型参数时，把每一行分为17块，每块对应一个量化比特数，共对应0～16比特共17个量化比特数，
步骤(3.2.7.2)，在所述多边形近似插值公式下，步骤(3.2.7.1)中每一个所述的块对应于各类人脸模型参数下的量化比特数和丢帧数，构成所述参数误差矩阵R的各个元素，步骤(3.2.7.3)，遍历所述参数误差矩阵R中的各个元素，得到对应的量化比特数和丢帧个数，计算对应的经过所述的多边形近似插值方式得到的所述人脸模型参数与原始的所述人脸模型参数的误差，用∈(pi)表示，对于不同物理意义的所述人脸模型参数的所述误差进行下述人为对pi进行扰动Δpi后再测量重建图像的误差，用∈(pi+Δpi)表示，得到所述人脸模型参数误差矩阵R的近似重构误差矩阵∈所需要的加权参数 其中：
对所述人脸模型参数误差矩阵R中的每一行使用上述 加权即得到近似重构误差矩阵∈，
步骤(3.2.7.4)，根据步骤(3.2.7.3)得到的近似重构误差矩阵∈，就得到对应的由量化比特数和丢帧个数相组合成的不同的组合方案，
步骤(3.2.8)，按以下步骤生成一个与所述近似重构误差矩阵∈大小相同的比特开销矩阵W，记录所有人脸模型参数的所有组合方案的比特开销：
步骤(3.2.8.1)，设定：所述比特开销矩阵W：行数为所述人脸模型参数的个数，列数等于欲保留的缓存帧数N，行序号为对应的人脸模型参数的序号，列为所述量化比特数b的17个块，矩阵元素代表第i个人脸模型参数采用量化比特数b和丢帧个数M-N的组合方案时的比特开销，
步骤(3.2.8.2)，对于第i个人脸模型参数向量pi，在整段传输过程中产生的总信令开销：
第1个比特，表示所述人脸模型参数向量pi是否需要传输；1表示需要传输，0表示不需要传输，
第2～10个比特表示每个需要传输的人脸模型参数向量pi的4个量化比特数和欲保留的所述人脸模型参数的5个人脸模型参数向量的样本数，分别表示v、θ、μ、σ、c，步骤(3.2.8.3)，第i个人脸模型参数向量pi在整个传输过程中产生的总数据开销：欲保留的人脸参数帧样本个数N与对应的人脸模型参数的量化比特数b的乘积，步骤(3.2.8.4)，对所述比特开销矩阵W中的所有矩阵元素，按步骤(3.2.8.1)－步骤(3.2.8.3)分别计算其对应的总信令的和总数据的开销，输入到所述矩阵元素中，步骤(3.2.9)，依次按以下步骤采用时间开销较小的近似启发式算法求出人脸模型参数向量最小化的总比特开销作为总的实际比特开销：
步骤(3.2.9.1)，对所述近似重构误差矩阵∈进行分行排序：
步骤(3.2.9.1.1)，对每一行的各个所述近似重构误差从左到右依次递减排序得到一个重排近似误差矩阵 简称矩阵 并记录排序前各所述近似重构误差所对应的各元素的序号在排序后的对应位置，所述元素是指所述人脸模型参数向量中的一个人脸模型参数的一个所述组合方案，再根据所述排序前后序号的对应关系把所述比特开销矩阵W的每一行重新排列构成一个对应于各所述人脸模型参数的元素值的重排比特开销矩阵 简称矩阵
步骤(3.2.9.2)，记录所述矩阵 中每一行元素从右到左的元素值的依次递增的误差增量，
步骤(3.2.9.3)，以所述矩阵 中每一行元素最右端的元素最为起始元素，按照当前的组合方案中选取的量化比特数与丢帧数计算出这种组合所需要的总比特开销，步骤(3.2.9.4)，若所述总比特开销大于给定的上限值，则根据当前选取的元素向左选取一个误差增量最小的元素，
步骤(3.2.9.5)，若步骤(3.2.9.4)中所选定的元素仍然满足不了总比特开销小于给定上限的要求，则根据当前选定的元素，对另一个更向左的元素重复步骤(3.2.9.4)，直到满足要求为止；
步骤(3.2.9.6)，根据步骤(3.2.9.5)的结果，进行所述人脸模型参数向量pi的压缩，把结果发送给接收端；
步骤(4)，接收端根据发送端提供的量化比特数和丢帧数的组合方案以及压缩后的人脸模型参数向量p′i中各类人脸模型的参数，采用同样方式的线性插值方法进行人脸模型参数向量pi的恢复，
步骤(5)，依次按以下步骤进行人脸视频图像重建：
步骤(5.1)，把所述的人脸形状和外观联合变化模式矩阵Q分为行数等于所述形状参数向量bs元素个数的Qs和行数等于所述外观参数向量bg的元素个数的Qg，步骤(5.2)，按下式计算人脸形状向量s和人脸外观向量g：
步骤(5.3)，按下式对人脸外观向量g进行光照反归一化，恢复原图光照，得到原图光照的人脸外观向量g：
g＝σg+μ，
步骤(5.4)，通过分片仿射拉伸的方法，将原图光照的人脸外观向量g从由人脸平均形状向量 所表示的特征点坐标位置拉伸至由人脸形状向量s所表示的特征点坐标位置。
人脸视频压缩方法
技术领域
背景技术
发明内容
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 同步加速器控制方法、装置、设备及存储介质 | 2020-05-12 | 118 |
| 一种输电线路操作过电压的断路器相控抑制方法 | 2020-05-17 | 654 |
| 一种自能式SF6断路器双喷口式灭弧室及其灭弧方法 | 2020-05-13 | 777 |
| 电触头用铜基复合材料 | 2020-05-17 | 922 |
| 一种输电线路操作过电压的断路器相控抑制方法 | 2020-05-17 | 597 |
| 混合式整体晶胶介质及其制备方法 | 2020-05-14 | 658 |
| 一种测量长间隙空气交流电弧介质恢复强度的方法 | 2020-05-11 | 573 |
| 一种杞柳防裂处理方法 | 2020-05-17 | 320 |
| 一种超低介电常数薄膜的制作方法 | 2020-05-12 | 938 |
| 弧后介质强度恢复快的真空灭弧室 | 2020-05-11 | 758 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
