技术领域
[0001] 本
发明涉及视频编辑技术领域的一种视频修补方法，特别是涉及一种运动拍摄的静态场景视频的时域一致性空洞区域修补方法。
背景技术
[0002] 随着数字
图像处理技术的发展，越来越多的领域需要利用视频修补技术，而所谓的视频修补，就是填充视频中缺损区域的过程，目的是将缺损视频填充完整，使得观察者察觉不出该视频曾经是破损的。因此，视频修补技术成为当前研究热点，在文物保护、视频错误隐藏等方面均有广泛应用，同时，该技术还可以应用在2D转3D制作过程。
[0003] 现已存在较多的视频修补技术，例如早期的图像内插法(inpainting)，该方法一般只能处理小缝隙的补全。后来，一些研究者提出的采用基于样本
采样(Example-based)和
纹理合成的方法进行图像内容的修复和补全，例如，Criminisi的方法：Antonio Criminisi,Patrick Pérez,Kentaro Toyama.Region filling and object removal by exemplar-based image inpainting.IEEE Trans.on Image Processing,2004,13(9):1200-1212。这类方法可以处理较大缺失区域的图像内容补全。其中大部分的方法都是采用贪心方法的局部搜索策略，少部分方法基于全局求解策略。通常，结构性的信息很难靠自动方法补好，所以一些方法提出采用交互来辅助结构信息的补全。针对视频序列，已有的一些视频补全技术往往假设摄像机是静止不动或者做仿射运动。比如，Wexler等人提出的
时空一致性视频补全方法：Yonatan Wexler,Eli Shechtman,Michal Irani:Space-Time Completion of Video.IEEE Trans.Pattern Anal.Mach.Intell.29(3):463-476(2007)，该方法将整个视频看成一个立方体，从视频中采样时空
块来对空洞进行修补。Shiratori等人提出的运动场传递方法：通过对运动场缺失区域的运动信息的补全来实现
颜色的传递和补全。然而到目前为止，特别针对基于视图绘制的补全技术还很少见。与传统的图像/视频补全不同，基于视图绘制的补全，由于缺失区域往往都在不连续边界，所以不仅需要考虑颜色混合和半透明等问题，而且需要考虑几何遮挡等因素。另外，对于基于视图的绘制而言，深度信息是已知的，如何将该信息有效利用起来对于高
质量的补全而言也是非常关键的。
因此，直接应用传统的图像或视频补全技术往往结果不够理想。
[0004] 随着立体技术的流行，也逐渐出现了针对立体图像的补全技术。Wang等人提出了一种新的同步立体图像修补方法：Liang Wang,Hailin Jin,Ruigang Yang,Minglun Gong:Stereoscopic inpainting:Joint color and depth completion from stereo images.CVPR 2008，可以有效地填充因为遮挡以及去除前景物体所遗留下来的空洞。
Hervieu等人提出一个两步式的空洞修补方法：Alexandre Hervieu,Nicolas Papadakis,Aurélie Bugeau,Pau Gargallo,Vicent Caselles:Stereoscopic Image Inpainting:
Distinct Depth Maps and Images Inpainting.ICPR 2010:4101-4104，先将立体图像缺失内容的深度信息补全，然后拓展了的Criminisi方法，来填补颜色区域，最终完成立体图像的空洞补全。然而，这两种方法都没有考虑场景存在半透明物体的情况，而且也没有考虑补全的时空一致性问题。
发明内容
[0005] 为了克服
现有技术的不足，本发明提供了一种运动拍摄的静态场景视频的时域一致性空洞区域修补方法，旨在利用多
帧的关联信息全自动地修复视频中的空洞区域，生成完整且时域一致的视频序列。
[0006] 本发明所采用的技术方案包括以下步骤：
[0007] 1)对于待修补视频的每帧图像，将其相邻帧的图像利用深度信息和摄像机参数投影到当前帧的图像上，根据投影结果从待修补视频的空洞区域中选择
像素点建立可修补像素点区域Ωt作为部分空洞区域，然后对视频中该部分空洞区域进行时域一致性的深度和颜色修补；
[0008] 2)对于待修补视频的剩余空洞区域，采用图像内插法和漫
水填充法补全该帧图像中剩余空洞区域的颜色和深度，然后将该帧图像利用其深度信息投影至相邻帧图像上，利用投影图像的颜色和深度对相邻帧中剩余空洞区域的颜色和深度进行修补。
[0009] 所述的步骤1)具体包括：
[0010] 1.1)将待修补视频记为{It|t＝0,…,M}，其中It为待修补的t帧视频图像，M为视频中总帧数，其相应的
深度图序列记为{Dt|t＝0,…,M}，每帧图像的摄像机参数记为{Kt[Rt|Tt]|t＝0,…,M}；
[0011] 对于待修补的第t帧视频图像It，将其前、后相邻的各20帧图像{In|n＝t-20,…,t+20∧n≠t}利用摄像机参数和深度图序列{Dn|n＝t-20,…,t+20∧n≠t}投影到当前待修补的第t帧视频图像It上，n为图像帧数序号；
[0012] 将投影得到的多帧投影
图像序列记为{In→t|n＝t-20,…,t+20∧n≠t}，其相应的投影深度图序列记为{Dn→t|n＝t-20,…,t+20∧n≠t}；
[0013] 1.2)建立可修补像素点区域Ωt：
[0014] 对于当前待修补的t帧视频图像It中空洞区域的每个像素点p，检查其在多帧投影图像序列中颜色是否有效；如果存在有效的投影颜色，则像素点p为可修补的像素点，将所有可修补的像素点形成的可修补像素点区域记为Ωt，并进行颜色和深度优化：
[0015] 可修补像素点区域Ωt中每个像素点p的颜色从有效帧投影颜色集合之中选择，即It(p)＝If(p)→t(p)，有效帧投影颜色集合是指多帧投影图像序列中像素点p
位置的所有有效颜色集合；
[0016] 可修补像素点区域Ωt中每个像素点p的深度从有效帧投影深度集合之中选择，即Dt(p)＝Df(p)→t(p)，有效帧投影深度集合是指多帧投影图像序列中像素点p位置的所有有效深度集合；其中f(p)为像素点p选择的有效投影颜色的该帧图像序号；
[0017] 如果不存在有效的投影颜色，像素点p为不可修补的像素点，不进行颜色优化，作为剩余空洞区域；
[0018] 1.3)对可修补像素点区域Ωt中的所有像素点进行深度修补和颜色修补：
[0019] 1.4)重复步骤1.1)～步骤1.3)过程
迭代进行三次，完成对待修补视频中部分空洞区域的深度和颜色修补。
[0020] 所述的步骤1.3)中的对可修补像素点区域Ωt中的所有像素点进行深度修补具体包括：
[0021] 1.3.a)待修补的t帧图像下，针对可修补像素点区域Ωt的深度构建深度
能量方程ED(Ωt)，采用以下公式：
[0022]
[0023] 其中，q表示像素点p相邻的像素点，N(p)表示像素点p的邻域像素点集合，包括当前帧周围八邻域像素点以及通过光流计算得到的时域上前后帧对应像素点；λD为深度平滑项的权重， 为像素点p的深度数据项， 采用以下公式：
[0024]
[0025] 其中，f(p)为像素点p选择的有效投影颜色的该帧图像序号，Ft(p)代表像素点p在有效投影深度集合中离摄像机视点最近的投影深度值；
[0026] 为对像素点p及其所有相邻像素点q的深度平滑项，采用以下公式：
[0027]
[0028] 其中，f(q)为像素点q选择的有效投影颜色的该帧图像序号；
[0029] 再利用图切割方法最小化深度能量方程ED(Ωt)，利用求解获得的最优深度值，对可修补像素点区域Ωt中所有像素点进行填补，完成对待修补的t帧图像中部分空洞区域深度的修补；
[0030] 重复上述步骤对待修补视频的所有帧进行修补，完成对视频中部分空洞区域的深度修补。
[0031] 所述的步骤1.3)中的对可修补像素点区域Ωt中的所有像素点进行颜色修补具体包括：
[0032] 1.3.b)将待修补视频以连续相邻的5帧图像为一段依次分为多段图像序列，连续相邻的五帧图像记为
[0033] 对于第tb至tb+4帧的可修补像素点区域Ωt的颜色求解构建颜色能量方程采用以下公式：
[0034]
[0035] 其中，q表示像素点p相邻的像素点，N(p)表示像素点p的邻域像素点集合，包括当前帧周围八邻域像素点以及通过光流计算得到的时域上前后帧对应像素点；λI为颜色平滑项的权重， 为第tb至tb+4帧的可修补像素点区域Ωt， 为像素点p的
颜色数据项，采用以下公式：
[0036]
[0037] 其中，Mt(p)代表像素点p在有效投影颜色集合中的中值；
[0038] 为对相邻像素点p及其所有相邻像素点q的颜色平滑项，采用以下公式：
[0039]
[0040] 其中，f(q)为像素点q选择的有效投影颜色的该帧图像序号，t′表示t帧及t帧前后相邻帧的集合中任一一帧，即t′∈{t-1,t,t+1}；利用图切割方法最小化颜色能量方程利用最小化求解所获得的最优颜色值对可修补像素点区域Ωt中的像素点进行填补，即完成了第tb至tb+4帧部分空洞区域的修补；
[0041] 重复上述步骤对待修补视频的所有帧进行颜色修补，完成对视频中部分空洞区域的颜色修补。
[0042] 所述的步骤2)具体包括：
[0043] 2.1)从待修补视频的所有图像中选择剩余空洞区域最大的该帧图像Im，利用图像内插法修补该帧图像中剩余空洞区域的颜色，并利用漫水填充法修补该帧图像中剩余空洞区域的深度；
[0044] 2.2)将该帧图像Im利用摄像机参数和深度信息投影至前、后相邻的各20帧图像{In|n＝m-20,…,m+20∧n≠m}上，得到各自的投影图像Im→n和投影深度图Dm→n；
[0045] 对于上述前、后相邻的各20帧图像中每个图像In，利用各自的投影图像Im→n和投影深度图Dm→n的有效颜色和深度填补各自帧图像的剩余空洞区域；
[0046] 2.3)重复步骤2.1)～步骤2.2)，直到所有图像的剩余空洞区域均被修复完整。
[0047] 所述的步骤1.1)和步骤2.2)中的投影方式相同，步骤1.1)中的投影具体为：将图像利用摄像机参数和深度图序列投影至第t帧视频图像的过程如下：
[0048] a)将图像It中的每个像素点p利用其深度Dt(p)进行反投影，获得相应的3D点P，反投影计算公式如下：
[0049]
[0050] 其中，Kt为t帧摄像机的内参，[Rt|Tt]为t帧摄像机的外参，Rt为t帧摄像机的旋转矩阵，Tt为t帧摄像机的平移向量，T为矩阵转置，-1为矩阵求逆；
[0051] b)将图像It中的所有像素点的反投影3D点按照2D图像网格相邻关系进行连接，形成3D
网格模型；
[0052] c)从第n帧视频图像前后相邻20帧的每一帧的摄像机视点和视线方向
渲染3D网格模型，获得投影图像In→t和投影深度Dn→t，投影图像In→t中模型投影未
覆盖的区域中像素点的颜色和深度均为无效。
[0053] 与现有技术相比，本发明的有益效果是：
[0054] 1)能够实现时域一致的视频空洞修补，保证视频修补的完整性和时域一致无跳变；
[0055] 2)能够实现全自动的视频修补，处理效率高，无需任何人工交互辅助；
[0056] 本发明可以完成通常意义上的视频编辑，例如去除
视频帧中多余物体或者恢复其中破损区域的颜色信息，使得修复后的视频完整并且时域一致无跳变；此外，该技术还可以用来完成视频2D转3D立体过程中补全新视图合成产生的“遮挡空洞”，从而生成完整一致的高质量立体视频。
附图说明
[0057] 图1为本发明的流程示意图。
[0058] 图2为本发明
实施例待修补视频的输入图像。
[0059] 图3为本发明实施例执行步骤1)后的时域一致性视频修补结果。
[0060] 图4为本发明实施例执行步骤2)后的时域一致性视频完整修补结果。
具体实施方式
[0061] 下面结合附图及具体实施例对本发明作进一步详细说明。
[0062] 如图1所示，本发明方法包括以下步骤：
[0063] 1)对于待修补视频的每帧图像，将其相邻帧的图像利用深度信息和摄像机参数投影到当前帧的图像上，根据投影结果从待修补视频的空洞区域中选择像素点建立可修补像素点区域Ωt作为部分空洞区域，然后对视频中该部分空洞区域进行时域一致性的深度和颜色修补；
[0064] 2)对于待修补视频的剩余空洞区域，选择剩余空洞区域最大的图像帧，分别采用图像内插法和漫水填充法补全该帧图像中剩余空洞区域的颜色和深度，然后将该帧图像利用其深度信息投影至相邻帧图像上，利用投影图像的颜色和深度对相邻帧中剩余空洞区域的颜色和深度进行修补。
[0065] 上述步骤1)具体包括：
[0066] 1.1)将待修补视频记为{It|t＝0,…,M}，其中It为待修补的t帧视频图像，M为视频中总帧数，其相应的深度图序列记为{Dt|t＝0,…,M}，每帧图像的摄像机参数记为{Kt[Rt|Tt]|t＝0,…,M}，摄像机参数包括内参和外参，具体内参包括焦距、图像的
光心点坐标位置和畸变参数；
[0067] 对于待修补的第t帧视频图像It，将其前、后相邻的各20帧图像{In|n＝t-20,…,t+20∧n≠t}利用摄像机参数和深度图序列{Dn|n＝t-20,…,t+20∧n≠t}投影到当前待修补的第t帧视频图像It上，n为图像帧数序号；
[0068] 将投影得到的多帧投影图像序列记为{In→t|n＝t-20,…,t+20∧n≠t}，其相应的投影深度图序列记为{Dn→t|n＝t-20,…,t+20∧n≠t}；
[0069] 1.2)建立可修补像素点区域Ωt：
[0070] 对于当前待修补的t帧视频图像It中空洞区域的每个像素点p，检查其在多帧投影图像序列中颜色是否有效；如果存在有效的投影颜色，则像素点p为可修补的像素点，将所有可修补的像素点形成的可修补像素点区域记为Ωt，并进行颜色和深度优化：
[0071] 可修补像素点区域Ωt中每个像素点p的颜色从有效帧投影颜色集合之中选择，即It(p)＝If(p)→t(p)，有效帧投影颜色集合是指多帧投影图像序列中像素点p位置的所有有效颜色集合；
[0072] 可修补像素点区域Ωt中每个像素点p的深度从有效帧投影深度集合之中选择，即Dt(p)＝Df(p)→t(p)，有效帧投影深度集合是指多帧投影图像序列中像素点p位置的所有有效深度集合；其中f(p)为像素点p选择的有效投影颜色的该帧图像序号；
[0073] 如果不存在有效的投影颜色，像素点p为不可修补的像素点，不进行颜色优化，作为剩余空洞区域；
[0074] 1.3)对可修补像素点区域Ωt中的所有像素点进行深度修补和颜色修补：
[0075] 1.4)重复步骤1.1)～步骤1.3)过程迭代进行三次，每次迭代过程中的可修补像素点区域Ωt均不相同，每次迭代均对其中部分未修补的空洞区域进行进一步修补，完成对待修补视频中部分空洞区域的深度和颜色修补。
[0076] 上述步骤1.3)中的对可修补像素点区域Ωt中的所有像素点进行深度修补具体包括：
[0077] 1.3.a)待修补的t帧图像下，针对可修补像素点区域Ωt的深度构建深度能量方程ED(Ωt)，采用以下公式：
[0078]
[0079] 其中，q表示像素点p相邻的像素点，N(p)表示像素点p的邻域像素点集合，包括当前帧周围八邻域像素点以及通过光流计算得到的时域上前后帧对应像素点；λD为深度平滑项的权重，λD可取值为2； 为像素点p的深度数据项，采用以下公式：
[0080]
[0081] 其中，f(p)为像素点p选择的有效投影颜色的该帧图像序号，Ft(p)代表像素点p在有效投影深度集合中离摄像机视点最近的投影深度值，该深度数据项 约束p的深度与最近深度值接近；
[0082] 为对像素点p及其所有相邻像素点q的深度平滑项，采用以下公式：
[0083]
[0084] 该深度平滑项 约束八个邻域像素点的深度一致性；
[0085] 其中，f(q)为像素点q选择的有效投影颜色的该帧图像序号；
[0086] 再利用图切割方法最小化深度能量方程ED(Ωt)，利用求解获得的最优深度值，对可修补像素点区域Ωt中所有像素点进行填补，完成对待修补的t帧图像中部分空洞区域深度的修补；重复上述步骤对待修补视频的所有帧进行修补，完成对视频中部分空洞区域的深度修补。
[0087] 为保持视频颜色修补的时域一致性，对于视频进行多帧联合颜色修补，上述步骤1.3)中的对可修补像素点区域Ωt中的所有像素点进行颜色修补具体包括：
[0088] 1.3.b)将待修补视频以连续相邻的5帧图像为一段依次分为多段图像序列，连续相邻的5帧图像记为
[0089] 对于第tb至tb+4帧的可修补像素点区域Ωt的颜色求解构建颜色能量方程采用以下公式：
[0090]
[0091] 其中，q表示像素点p相邻的像素点，N(p)表示像素点p的邻域像素点集合，包括当前帧周围八邻域像素点以及通过光流计算得到的时域上前后帧对应像素点；λI为颜色平滑项的权重，λI可取值为10， 为第tb至tb+4帧的可修补像素点区域Ωt， 为像素点p的颜色数据项，采用以下公式：
[0092]
[0093] 其中，Mt(p)代表像素点p在有效投影颜色集合中的中值，该颜色数据项 约束p的颜色与中值滤波颜色接近；
[0094] 为对相邻像素点p及其所有相邻像素点q的颜色平滑项，采用以下公式：
[0095]
[0096] 该深颜色平滑项 约束八个邻域像素点的颜色一致性；因此EsI(p,q)同时约束当前帧的相邻像素点和时域对应像素点的颜色一致性；
[0097] 其中，f(q)为像素点q选择的有效投影颜色的该帧图像序号；t′表示t帧及t帧前后相邻帧的集合中任一一帧，即t′∈{t-1,t,t+1}；利用图切割方法最小化颜色能量方程利用最小化求解所获得的最优颜色值对可修补像素点区域Ωt中的像素点进行填补，即完成了第tb至tb+4帧部分空洞区域的修补；
[0098] 重复上述步骤对待修补视频的所有帧进行颜色修补，完成对视频中部分空洞区域的颜色修补。
[0099] 上述步骤2)具体包括：
[0100] 2.1)从待修补视频的所有图像中选择剩余空洞区域最大的该帧图像Im，利用基于样本的图像内插法修补该帧图像中剩余空洞区域的颜色，并利用漫水填充法修补该帧图像中剩余空洞区域的深度；
[0101] 2.2)将该帧图像Im利用摄像机参数和深度信息投影至前、后相邻的各20帧图像{In|n＝m-20,…,m+20∧n≠m}上，得到各自的投影图像Im→n和投影深度图Dm→n，投影方式如步骤1.1)中的投影方式；
[0102] 对于上述前、后相邻的各20帧图像中每个图像In，利用各自的投影图像Im→n和投影深度图Dm→n的有效颜色和深度填补各自帧图像的剩余空洞区域；
[0103] 2.3)重复步骤2.1)～步骤2.2)，直到所有图像的剩余空洞区域均被修复完整。
[0104] 所述的步骤1.1)和步骤2.2)中的投影方式相同，步骤1.1)中的投影具体为：
[0105] 将图像利用摄像机参数和深度图序列投影至第t帧视频图像的过程如下：
[0106] a)将图像It中的每个像素点p利用其深度Dt(p)进行反投影，获得相应的3D点P，反投影计算公式如下：
[0107]
[0108] 其中，Kt为t帧摄像机的内参，具体内参包括焦距、图像的光心点坐标位置和畸变参数，[Rt|Tt]为t帧摄像机的外参，Rt为t帧摄像机的旋转矩阵，Tt为t帧摄像机的平移向量，T为矩阵转置，-1为矩阵求逆；
[0109] b)将图像It中的所有像素点的反投影3D点按照2D图像网格相邻关系进行连接，形成3D网格模型；
[0110] c)从第n帧视频图像前后相邻20帧的每一帧的摄像机视点和视线方向渲染3D网格模型，获得投影图像In→t和投影深度Dn→t，投影图像In→t中模型投影未覆盖的区域中像素点的颜色和深度均为无效。
[0111] 上述摄像机的参数模型采用了Richard Hartley的著作《Multiple View Geometry in Computer Vision》中提出的透视摄像机模型内外参数形式。
[0112] 上述步骤1.3.a)和1.3.b)中的图切割方法采用Delong等人提出的图切割方法：A.Delong,A.Osokin,H.N.Isack,and Y.Boykov:Fast Approximate Energy Minimization with Label Costs.International Journal of Computer Vision,2012,96(1):1-27.[0113] 上述步骤2.1)中的图像内插法采用Criminisi等人提出的基于样本的图像内插法：A.Criminisi,P.Pérez,and K.Toyama:Region Filling and Object Removal by Exemplar-Based Image Inpainting.IEEE Transactions on Image Processing,2004,13(9):1200-1212.
[0114] 本发明的实施例如下：
[0115] 输入图2所示的待修补视频的输入图像，采用步骤1)进行深度和颜色修补，其中，λD取值为2，λI取值为10；由此得到如图3所示的时域一致性视频修补结果，其中还剩余少量未修补的图像区域。
[0116] 然后对于剩余图像区域，采用步骤2)进行完整修补，由此得到如图4所示的视频的最终完整修补结果，该结果修补颜色衔接自然，并且在多帧图像之间保持一致，无闪烁跳变。
[0117] 由此看出，在运动拍摄、摄像机参数已知的条件下，基于图像投影的视频修补方式能够保证修补内容的准确性和时域一致性。
[0118] 上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和
权利要求的保护范围内，对本发明作出的任何
修改和改变，都落入本发明的保护范围。
