首页 / 专利库 / 物理 / 能量 / 三维模型追踪中外点滤除方法和装置

三维模型追踪中外点滤除方法和装置

阅读:749发布:2023-01-26

专利汇可以提供三维模型追踪中外点滤除方法和装置专利检索,专利查询,专利分析的服务。并且本 发明 提供一种三维模型追踪中外点滤除方法和装置,其中方法包括:在当前 帧 图像中提取轮廓或者提取特征点;获取基于轮廓 采样 点或基于特征点的 颜色 模型;读入下一帧图像,根据运动模型预测轮廓或者特征点在下一帧中的初始 位置 ;根据初始位置在下一帧中优化轮廓或者搜索对应的特征点;以颜色模型为 基础 ,计算轮廓采样点或特征点颜色概率分布的 能量 值,并根据计算的能量值滤除外点;求解下一帧 姿态 ,并将下一帧替换为当前帧。本发明能够解决三维模型 跟踪 在实际场景中的高光,复杂环境及遮挡等问题,从而提高三维追踪的成功率和鲁棒性。,下面是三维模型追踪中外点滤除方法和装置专利的具体信息内容。

1.一种三维模型追踪中外点滤除方法,其特征在于,包括:
在当前图像中提取轮廓;
获取基于轮廓采样点的颜色模型,所述颜色模型是轮廓的边缘每个点的颜色概率分布模型或者全局的颜色概率分布模型;
读入下一帧图像,根据运动模型预测轮廓在下一帧中的初始位置,并根据初始位置在下一帧中优化轮廓;
以颜色模型为基础,计算轮廓采样点颜色概率分布的能量值,并根据计算的能量值滤除外点;
求解下一帧姿态,并将下一帧替换为当前帧。
2.根据权利要求1所述的三维模型追踪中外点滤除方法,其特征在于,所述在当前帧图像中提取轮廓,具体包括:
根据当前帧的姿态,将三维物体的轮廓投射到二维图像上,其中在算法中假设图像在轮廓对应的位置出现轮廓,从而来求解轮廓。
3.根据权利要求1所述的三维模型追踪中外点滤除方法,其特征在于所述获取基于轮廓采样点的颜色模型,具体包括:
统计以轮廓采样点为中心的预设范围内的颜色分布,统计轮廓采样区域内各个点的颜色值,对颜色值进行量化,计算量化后轮廓采样区域中各个颜色出现的概率,形成各个点的颜色概率分布模型;在每一帧追踪结束后重新计算轮廓边缘各个点的颜色概率分布模型,或者以预设的速率更新轮廓边缘各个点的颜色概率分布模型;
或者,
统计轮廓所有采样点的预设范围内的颜色分布,对颜色值进行量化,计算量化后每种颜色在轮廓采样区域出现的概率,形成轮廓全局的颜色概率分布模型;在每一帧追踪结束后重新计算轮廓所有采样点的概率分布形成全局颜色概率分布模型;或者,以预设的速率更新全局颜色概率分布模型。
4.根据权利要求1所述的三维模型追踪中外点滤除方法,其特征在于,所述读入下一帧图像,根据运动模型预测轮廓在下一帧中的初始位置,并根据初始位置在下一帧中优化轮廓,具体包括:
读入下一帧图像,根据运动模型预测上一帧提取到的轮廓采样点在下一帧中可能出现的初始位置,根据初始位置在下一帧中搜索边缘以优化轮廓。
5.根据权利要求1所述的三维模型追踪中外点滤除方法,其特征在于,所述基于轮廓采样点的概率分布的能量值通过能量函数E计算,所述能量函数E的计算公式为:
E=-log(P(Φ|Ω))
其中,Ic(x)表示当前帧下x坐标处的像素值;
Ω为轮廓采样点的采样区域;
Pf(Ic(x))表示当前颜色在全局前景的颜色模型中的后验概率;
Pb(Ic(x))表示当前颜色在全局后景的颜色模型中的后验概率;
Φ(x)为有向距离场,当x在前景时,其返回正向的距离,当x位于背景时,其返回负向的距离;
He(x)赋予采样区域内距离采样点越近的点越大的权重。
6.一种三维模型追踪中外点滤除方法,其特征在于,包括:
当前帧提取特征点;
获取基于特征点的颜色模型,所述颜色模型是各个特征点的颜色概率分布模型或者所有特征点的全局颜色概率分布模型;
读入下一帧图像,根据运动模型预测特征点的位置,并根据初始位置在下一帧中搜索对应的特征点;
以颜色模型为基础,计算特征点概率分布的能量值,并根据计算的能量值滤除外点;
求解下一帧姿态,并将下一帧替换为当前帧。
7.根据权利要求6所述的三维模型追踪中外点滤除方法,其特征在于,所述当前帧提取特征点,具体包括:
根据三维图像追踪得到的姿态确定需要在图像中计算的区域,在区域内提取点并计算相应的描述子生成特征点。
8.根据权利要求6所述的三维模型追踪中外点滤除方法,其特征在于,所述获取基于特征点的颜色模型,具体包括:
统计以各个特征点为中心的预设范围内的颜色分布,对颜色值进行量化,计算量化后每种颜色出现的概率,形成各个特征点的颜色概率分布模型;在每一帧追踪结束后重新计算各个特征点的颜色概率分布模型,或者以预设的速率更新各个特征点的颜色概率分布模型;
或者,
统计所有特征点预设范围内的颜色分布,对颜色值进行量化,计算量化后每种颜色出现的概率,形成特征点的全局颜色概率分布模型;在每一帧追踪结束后重新计算所有特征点的概率分布形成特征点的全局颜色概率分布模型;或者,以预设的速率更新特征点的全局颜色概率分布模型。
9.根据权利要求6所述的三维模型追踪中外点滤除方法,其特征在于,所述读入下一帧图像,根据运动模型预测特征点的位置,并根据初始位置在下一帧中搜索对应的特征点,具体包括:
读入下一帧图像,根据运动模型预测上一帧提取到的特征点在下一帧中可能出现的初始位置;
根据初始位置在下一帧中搜索对应的特征点;或者,在初始区域附近提取特征点并利用描述子比对搜索对应的特征点。
10.根据权利要求6所述的三维模型追踪中外点滤除方法,其特征在于,所述基于特征点的概率分布的能量值通过能量函数E计算,所述能量函数E的计算公式为:
其中,表示特征点的附近区域;
x为像素坐标;
Ic(x)表示当前帧下x坐标处的像素值。
11.一种三维模型追踪中外点滤除装置,其特征在于,所述三维模型追踪中外点滤除装置被执行时实现权利要求1至10中任一项所述的三维模型追踪中外点滤除方法步骤。
12.一种三维模型追踪中外点滤除装置,其特征在于,所述装置包括存储器和处理器,其中:
所述存储器,用于存储代码和文档;
所述处理器,用于执行所述存储器中所存储的代码和文档用以实现权利要求1至10任一所述的方法步骤。

说明书全文

三维模型追踪中外点滤除方法和装置

技术领域

[0001] 本发明实施方式涉及计算机视觉领域,尤其涉及一种三维模型追踪中外点滤除方法和装置。

背景技术

[0002] 跟踪技术早期主要应用于平面跟踪,具体来说是在一定量的视频序列中,针对特定的目标(比如车辆、人、广告牌等)进行追踪,在视频序列中标记出目标在视频中的位置。目标跟踪在计算机视觉领域有着广泛的应用:比如视频监控,车流量监控,无人驾驶,人脸识别增强现实(augmented reality,AR)等。例如在人脸识别中,需要实时在视频序列中抓取人脸所在的位置,才能提取人脸相关的特征进行识别;在AR领域中,需要实时在视频序列中抓取出标记的位置进行渲染等。
[0003] 上述的跟踪一般针对的是图像中特定的一像素区域或者平面物体。随着计算机算的提升以及市场的需求,跟踪技术逐步向三维物体过度。在三维物体的跟踪中,除了需要实时标明三维物体在视频画面中的位置,还需要计算出三维物体的大小,朝向等详细的姿态信息。特别是在AR领域中,如果姿态信息不够准确,那么渲染出的虚拟物体将会很大程度上影响用户体验。
[0004] 现有技术1的美国专利申请US20140369557公开了一种用于基于特征的跟踪的系统和方法,其中,追踪方式采取的是NCC预测+平面IC迭代+特征跟踪(feature tracking)。存在模板的情况下,首先利用NCC进行粗搜索确定目标所在的大致区域,随后从图像中的平面区域提取出单应(homography)并利用逆组合(Inverse Compositional)的方式进行迭代,进一步得到较为精确的位置,最后在此基础上,利用feature tracking,特征点匹配的方式确定最终精确的位置。在该专利定义的系统中,包含了一系列计算异常时位置的输出,比如feature tracking失败的时候,输出Inverse Compositional迭代的位置等。
[0005] 现有技术2的中国专利申请CN 106845435公开了一种基于实物检测追踪算法的扩增实境技术实现方法,主要采取的是预先设置三维实物模板及姿态,进行追踪。在具体的跟踪过程中,给跟踪区域划分了一个区域框,并在区域内提取特征点。如果特征点数量满足阈值需求,则进行特征点的跟踪。其主要方式是在当前提取ORB特征点时,在下一帧寻找搜索对应的特征点,从而估算出下一帧的三维模型的位姿。若特征点数量不够,则提取区域内的边缘,利用边缘轮廓优化估算三维模型的姿态(pose)。
[0006] 但是,在实施本发明的过程中,发明人发现现有技术至少存在如下问题:
[0007] 针对现有技术1,采取平面迭代的方式,必须在追踪序列中,存在特征点丰富的平面区域才可以,否则会引起失败。另外,三维物体的跟踪往往不符合平面的数学假设,在求解过程中也容易出现问题。
[0008] 针对现有技术2,在采取特征点的方案中,由于三维物体在视发生变换时,原本可见的角点或者面可能变为不可见,容易引起追踪失败。当物体纹理较少切换到基于边缘追踪时,由于各种光照或者复杂背景等问题,边缘很有可能收敛到局部最优,求解出错误的位姿,引起后续的跟踪失败。
[0009] 此外,在三维模型的跟踪中,由于部分三维模型缺乏纹理,且存在高光反光等,难以生成固定的模板进行特征点的跟踪,往往是通过区域跟踪或者边缘跟踪来实时计算目标的姿态,方便进行后续的处理。但是由于目标模型本身和环境光照等本质性缺陷容易引入外点;在实际应用中广泛存在遮挡,传统的算法也较容易引入外点。上述现象都容易导致算法求解处有偏差的姿态或者引起丢失。
[0010] 应该注意,上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明,并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

[0011] 针对上述问题,本发明实施方式的目的在于提供一种三维模型追踪中外点滤除方法和装置,能够解决三维模型跟踪在实际场景中的高光,复杂环境及遮挡等问题,从而提高三维追踪的成功率和鲁棒性。
[0012] 为实现上述目的,本发明实施方式提供一种三维模型追踪中外点滤除方法,包括:当前帧提取轮廓;获取基于轮廓采样点的颜色模型,所述颜色模型是投影轮廓的边缘每个点的颜色概率分布模型或者全局的颜色概率分布模型;读入下一帧图像,根据运动模型预测轮廓在下一帧中的初始位置,并根据初始位置在下一帧中优化轮廓;以颜色模型为基础,计算轮廓采样点颜色概率分布的能量值,并根据计算的能量值滤除外点;求解下一帧姿态,并将下一帧替换为当前帧。
[0013] 具体地,在基于轮廓的方案中,根据当前帧的姿态,将三维物体的轮廓投射到二维图像上,其中在算法中假设图像在轮廓对应的位置出现轮廓,从而来求解轮廓。
[0014] 统计以轮廓采样点为中心的预设范围内的颜色分布,统计轮廓采样区域内各个点的颜色值,对颜色值进行量化,计算量化后轮廓采样区域中各个颜色出现的概率,形成各个点的颜色概率分布模型;在每一帧追踪结束后重新计算轮廓边缘各个点的颜色概率分布模型,或者以预设的速率更新轮廓边缘各个点的颜色概率分布模型。或者,统计轮廓所有采样点的预设范围内的颜色分布,对颜色值进行量化,计算量化后每种颜色在轮廓采样区域出现的概率,形成轮廓全局的颜色概率分布模型;在每一帧追踪结束后重新计算轮廓所有采样点的概率分布形成全局颜色概率分布模型;或者,以预设的速率更新全局颜色概率分布模型。
[0015] 读入下一帧图像,根据运动模型预测上一帧提取到的轮廓采样点在下一帧中可能出现的初始位置,根据初始位置在下一帧中搜索边缘以优化边缘。
[0016] 为实现上述目的,本发明实施方式还提供一种三维模型追踪中外点滤除方法,包括:当前帧提取特征点;获取基于特征点的颜色模型;所述颜色模型是轮廓的边缘每个点的颜色概率分布模型或者全局的颜色概率分布模型;读入下一帧图像,根据运动模型预测特征点的位置,并根据初始位置在下一帧中搜索对应的特征点;以颜色模型为基础,计算特征点概率分布的能量值,并根据计算的能量值滤除外点;求解下一帧姿态,并将下一帧替换为当前帧。
[0017] 具体地,在基于特征点的方案中,根据三维图像追踪得到的姿态确定需要在图像中计算的区域,在区域内提取角点并计算相应的描述子生成特征点。
[0018] 所述颜色模型是每个特征点的颜色概率分布模型或者所有特征点的全局颜色概率分布模型。
[0019] 统计以每个特征点为中心的预设范围内的颜色分布,对颜色值进行量化,计算量化后每种颜色出现的概率,形成每个特征点的颜色概率分布模型;在每一帧追踪结束后重新计算每个特征点的颜色概率分布模型,或者以预设的速率更新每个特征点的颜色概率分布模型。或者,统计所有特征点预设范围内的颜色分布,对颜色值进行量化,计算量化后每种颜色出现的概率,形成特征点的全局颜色概率分布模型;在每一帧追踪结束后重新计算所有特征点的概率分布形成特征点的全局颜色概率分布模型;或者,以预设的速率更新特征点的全局颜色概率分布模型。
[0020] 读入下一帧图像,根据运动模型预测上一帧提取到的特征点在下一帧中可能出现的初始位置;根据初始位置在下一帧中搜索对应的特征点;或者,在初始区域附近提取特征点并利用描述子比对搜索对应的特征点。
[0021] 本发明实施方式还提供一种三维模型追踪中外点滤除装置,所述三维模型追踪中外点滤除装置被执行时实现如前所述的三维模型追踪中外点滤除方法。
[0022] 本发明实施方式还提供一种三维模型追踪中外点滤除装置,包括存储器和处理器,其中:存储器用于存储代码和文档;处理器用于执行所述存储器中所存储的代码和文档用以实现如前所述的三维模型追踪中外点滤除方法。
[0023] 由上可见,本发明实施方式提供的三维模型追踪中外点滤除方法和装置,经过发明人的多次实验研究,通过统计追踪点或这追踪区域的历史颜色模型实时计算当前追踪点的能量,提出了全新的计算能量值E的公式,其中E越小,采样点正确的几率越大,使得根据能量值E,并通过设置能量阈值或者其他自适应的阈值处理方式,就能够简便且准地将错误的轮廓或者特征点给滤除,避免错误跟踪的轮廓或特征点对整体的追踪效果造成影响,从而提升了各个场景下三维模型追踪的稳定性和鲁棒性。尤其是,在基于轮廓的方案中,可以在能量函数中为离轮廓更近的采样点赋予更大的权重,如此将会使结果更可靠。附图说明
[0024] 为了更清楚地说明本发明实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图逐一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0025] 图1为本发明实施方式提供的基于特征点的三维图像追踪方法的流程示意图;
[0026] 图2为本发明实施方式提供的基于轮廓的三维图像追踪方法的流程示意图;
[0027] 图3为本发明实施方式提供的三维模型追踪中外点滤除方法的流程示意图;
[0028] 图4为本发明实施方式提供的基于轮廓进行三维图像追踪的示意图;
[0029] 图5为本发明实施方式提供的三维模型追踪中外点滤除方法的流程示意图;
[0030] 图6为本发明实施方式提供的三维模型追踪中外点滤除装置的结构示意图。

具体实施方式

[0031] 为使本发明实施方式的目的、技术方案和优点更加清楚,下面将结合本发明实施方式中的附图,对本发明实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
[0032] 本发明实施方式提供了一种三维模型追踪中外点滤除方法,其中三维图像追踪中可以基于特征点和基于轮廓进行。
[0033] 如图1所示,三维图像追踪的一种方法可以是基于轮廓的,大致包括:
[0034] 101、计算当前帧三维物体轮廓在图像上的投影;
[0035] 102、读入下一帧图像;
[0036] 103、根据运动模型预测轮廓变换的位置;
[0037] 104、提取下一帧图像边缘,与轮廓拟合优化求解;以及
[0038] 105、求解下一帧姿态,并将下一帧替换为当前帧。
[0039] 如图2所示,三维图像追踪的另一种方法可以是基于特征点的,大致包括:
[0040] 201、当前帧提取特征点并储存;
[0041] 202、读入下一帧图像;
[0042] 203、根据运动模型预测特征点位置;
[0043] 204、搜索特征点;以及
[0044] 205、求解下一帧姿态,并将下一帧替换为当前帧。
[0045] 本发明实施方式提供的三维模型追踪中外点滤除方法,在基于特征点和基于轮廓的三维图像追踪方案基础上,又基于颜色模型引入了新的模块,能够有效地滤除外点,从而解决三维模型跟踪在实际场景中的高光、复杂环境及遮挡等问题,进一步提升三维物体追踪的鲁棒性。
[0046] 如图3所示,该基于颜色模型实现三维模型追踪中外点滤除方法,具体包括以下步骤:
[0047] 步骤301,当前帧提取轮廓或者提取特征点。
[0048] 基于提取轮廓进行三维图像追踪的方案中:
[0049] 根据当前帧的姿态,将三维物体的轮廓投射到二维图像上,其中算法假设图像在轮廓对应的位置应该出现边缘来求解轮廓,例如可以通过整体优化边缘的位置或者通过法线搜索寻找梯度高的位置作为边缘采样点,从而求解出轮廓,在此对求解轮廓的具体方法并不作限制。
[0050] 在基于特征点进行三维图像追踪的方案中:
[0051] 根据三维图像追踪得到的姿态(pose)确定需要在图像中计算的区域。在区域内提取角点并计算生成相应的特征描述子。其中提取角点可以为FAST(features from accelerated segment test)角点,也可以为Harris角点或类似的角点提取算法,在此对提取角点的具体方法并不作限制。
[0052] 针对提取到的角点,计算相应的描述子生成其特征点。生成特征描述子的方式可以为简单的提取patch(补丁)生成NCC(Normalized Cross Correlation)/SAD(Sum of Absolute Differences)/SSD(Sum of Squared Differences)等的匹配模板;也可以为ORB(Oriented FAST and Rotated BRIEF)描述子或者SIFT(Scale Invariant Feature Transform)/SURF(Speed Up Robust Feature)等描述子,在此对描述子并不作具体限制。
[0053] 步骤2,获取基于轮廓采样点或基于特征点的颜色模型。
[0054] 在本步骤中,计算统计或更新基于轮廓采样点或基于特征点的颜色模型。
[0055] 颜色模型是轮廓的边缘每个点的颜色概率分布模型或者全局的颜色概率分布模型,这里的颜色可以指原本电脑常规图像格式储存的RGB各个通道的颜色模型,也可以是指RGB颜色模型变换到HSV/HSI等的颜色模型。RGB颜色模型:RGB色彩模式是工业界的一种颜色标准,是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的,RGB即是代表红、绿、蓝三个通道的颜色,这个标准几乎包括了人类视力所能感知的所有颜色,是目前运用最广的颜色系统之一。HSV颜色模型:HSV(Hue,Saturation,Value)是根据颜色的直观特性由A.R.Smith在1978年创建的一种颜色空间,也称六角锥体模型(Hexcone Model)。这个模型中颜色的参数分别是:色调(H),饱和度(S),明度(V)。HSV可以和RGB互相转换。
[0056] 由于帧间同一部位的像素点可能存在细微的颜色差异,为了考虑效率和鲁棒性,一般会对颜色通道值进行量化,比如原本RGB每个通道值为0~255,即总共有65535种颜色,可以将其量化为512或者256种颜色,HSV/HIS也是同理。量化方式在不同的颜色通道可以采取不同的量化值,比如HSV中,出于颜色区分度的考量,可以将H通道量化得更细。
[0057] 颜色概率分布模型可以指单个特征点或者边缘采样点周边区域颜色的概率分布,也可以指所有点周边区域汇聚在一起形成的全局颜色模型。对于特征点的方式,由于特征点分布位置的不确定性,往往采取独立的颜色模型。对于边缘的方式,由于采样点聚集在边缘附近,往往统计其整体的颜色模型,并将颜色模型分前景(物体内部)模型和后景模型分别储存。
[0058] 概率分布是指在当前区域的颜色模型中,这种颜色出现的概率,其中所有颜色出现的概率总和为1。概率分布可以是每一帧实时生成的,即每一帧追踪结束后重新计算特征点或者边缘采样点的颜色概率分布模型,也可以与该特征点或者边缘采样点形成绑定关系,在生成初始的颜色概率分布模型后,以一定速率更新这个概率分布,这样的好处是可以防止画面突然变化引入的误差。
[0059] 以RGB颜色模型为例,假设目标区域有两种颜色,一种60%的区域为(255,0,0),剩下40%的区域颜色为(0,255,0);目标区域总共有n个像素点。在原始的RGB模型中,每个通道总共有256种值,将每个通道量化为m个值。则颜色通道共计m3种分布。令j=256/m。则分布为((0~j-1),0~(j-1),0~(j-1)),((1~2j-1),0~(j-1),0~(j-1))````````````((256-j)~255,(256-j)~255,(256-j)~255);其中,颜色分布((256-j)~255,0~(j-1),0~(j-1))值为0.6n,(0~(j-1)0~(j-1),(256-j)~255)值为0.4n。归一化后分别为0.6和
0.4,其余值为0。这些值反映了对应颜色范围内的颜色在目标区域内出现的概率。
[0060] 基于轮廓进行三维图像追踪的方案中,获取基于轮廓采样点的颜色模型,具体包括:
[0061] 统计以轮廓采样点为中心的预设范围内的颜色分布,统计轮廓采样区域内各个点的颜色值,对颜色值进行量化,计算量化后轮廓采样区域中各个颜色出现的概率,形成各个点的颜色概率分布模型;在每一帧追踪结束后重新计算轮廓边缘各个点的颜色概率分布模型,或者以预设的速率更新轮廓边缘各个点的颜色概率分布模型;
[0062] 或者,
[0063] 统计轮廓所有采样点的预设范围内的颜色分布,对颜色值进行量化,计算量化后每种颜色在轮廓采样区域出现的概率,形成轮廓全局的颜色概率分布模型;在每一帧追踪结束后重新计算轮廓所有采样点的概率分布形成全局颜色概率分布模型;或者,以预设的速率更新全局颜色概率分布模型。
[0064] 基于特征点进行三维图像追踪的方案中,获取基于特征点的颜色模型,具体包括:
[0065] 统计以各个特征点为中心的预设范围内的颜色分布,对颜色值进行量化,计算量化后每种颜色出现的概率,形成各个特征点的颜色概率分布模型;在每一帧追踪结束后重新计算各个特征点的颜色概率分布模型,或者以预设的速率更新各个特征点的颜色概率分布模型;
[0066] 或者,
[0067] 统计所有特征点预设范围内的颜色分布,对颜色值进行量化,计算量化后每种颜色出现的概率,形成特征点的全局颜色概率分布模型;在每一帧追踪结束后重新计算所有特征点的概率分布形成特征点的全局颜色概率分布模型;或者,以预设的速率更新特征点的全局颜色概率分布模型。
[0068] 步骤3,读入下一帧图像,根据运动模型预测轮廓或者预测特征点位置。
[0069] 在本步骤中,读入下一帧图像,根据运动模型预测上一帧提取到的边缘采样点或者特征点在下一帧中可能出现的初始位置,以方便算法搜索优化轮廓或者特征点。
[0070] 运动模型可以为历史姿态的加速度,或者简单的粗搜索提供的初始位置,或者由设备陀螺仪等提供的初始位移和旋转等,在此对运动模型并不作具体限制。
[0071] 步骤4,根据初始位置在下一帧中优化轮廓或者搜索对应的特征点。
[0072] 基于轮廓进行三维图像追踪的方案中:
[0073] 可以简单的通过沿法线搜索梯度方向确定轮廓,也可以生成边缘距离场,通过优化距离场的补偿函数来获取正确的轮廓位置,在此对求解轮廓的具体方法并不作限制。
[0074] 以图4为例,在追踪三维模型时,其中内侧边框(采样点)是上一帧物体外轮廓依据上一帧姿态投射到当前帧的轮廓,外侧边框(采样点)为通过搜索方法得到的当前帧的轮廓图。402图象为处理过程中的前后景分割的中间图,403图像为当前帧的边缘图像,404图像为距离场优化中的距离场图像。
[0075] 基于特征点进行三维图像追踪的方案中:
[0076] 可以为简单的SAD/SSD/NNC等模板匹配的搜索,也可以在初始区域附近提取ORB/SIFT/SURF等特征点利用描述子比对确定对应的特征点,在此对确定特征点的具体方法并不作限制。
[0077] 步骤5,以颜色模型为基础,计算轮廓采样点或特征点颜色概率分布的能量值,并根据计算的能量值滤除外点。
[0078] 基于轮廓进行三维图像追踪的方案中:
[0079] 由于复杂背景,或者高光等的影响,可能在真实的轮廓附近产生假轮廓。假轮廓也具有梯度,对于直接搜索类的算法可能会让其误判。而这些假轮廓在距离场上会产生干扰,让算法收敛到假轮廓上,因此也需要过滤掉假轮廓附近的采样点。
[0080] 以图5为例,显示了被错误边缘“欺骗”而引起的姿态偏差,其中501图像中由于复杂背景,会在真实的轮廓附近产生假轮廓,例如503图像中线框内部的线条就是假轮廓,会引起优化错误,因此需要过滤掉这些假轮廓。
[0081] 在基于轮廓的能量函数定义中,定义能量函数E如下:
[0082]
[0083] E=-log(P(Φ|Ω))
[0084]
[0085] 其中,Ic(x)表示当前帧下x坐标处的像素值;
[0086] Ω为轮廓采样点的采样区域;
[0087] Pf(Ic(x))表示当前颜色在全局前景的颜色模型中的后验概率;
[0088] Pb(Ic(x))表示当前颜色在全局后景的颜色模型中的后验概率;
[0089] Φ(x)为有向距离场,当x在前景时,其返回正向的距离,当x位于背景时,其返回负向的距离。
[0090] He(x)为平滑的heavisde函数,其赋予采样区域内距离采样点越近的点越大的权重,当然也可采取其他线性的平滑函数,并不作具体限制。
[0091] 式(1)中的能量函数E在统计的全局颜色模型的限制下,当前找到的边缘点位于真正边缘(及物体轮廓)的概率。通过设置阈值筛选掉低概率的点,确保剩下的搜索到的采样点或者优化点均位于真正的边缘上,而不是杂乱背景或者高光等引起的假边缘上,从而提升了后续求解姿态的鲁棒性。
[0092] 此外,由于轮廓采样点的分布类似都在轮廓上,可以采取全局的统计进行内点外点的筛选。此外,可以在能量函数中为离轮廓更近的采样点赋予更大的权重,如此将会使结果更可靠。
[0093] 基于特征点进行三维图像追踪的方案中:
[0094] 由于视角变换特征点消失,或者由于遮挡,高光等造成特征点匹配错误等,错误的匹配会使得最终求解的姿态产生偏差。
[0095] 在基于特征点的能量函数定义中,定义能量函数E如下:
[0096]
[0097]
[0098] 其中,表示该特征点的附近区域;
[0099] x为像素坐标;
[0100] Ic(x)表示当前帧下x坐标处的像素值。
[0101] 式(2)中的能量函数E直观的衡量特征点附近的颜色采样与历史颜色分布需要一致,在提前设置好阈值的情况下,可以有效的滤除外点。
[0102] 在上述的基于轮廓或基于特征点进行三维图像追踪的方案中,P(Φ|Ω)越大,表示该点为真实轮廓点或特征点的概率越大。一般为了后续优化及计算的方便,选取E作为最后的能量表达,即E越小,采样点正确的几率越大。一般来说,若存在遮挡或者高光等情况时,局部的颜色模型会和全局颜色模型不符合,将会或者一个比较大的E,若收敛到了错误的边缘,其颜色模型与历史信息也不一致,也会获得一个较大的E。全局颜色模型或者局部历史颜色模型等可根据实际应用场景选取不同的措施。然后可以根据计算出的E设置简单的阈值过滤,将E大于一定阈值的点视为外点进行滤除,也可以通过自适应的阈值处理方式,例如均值加上固定数值,或者固定删除最大的10%能量的点等,此处不做具体限制。
[0103] 步骤6,求解下一帧姿态,并将下一帧替换为当前帧。
[0104] 在本步骤中,在经过外点滤除后,保证剩下的点都是正确搜索到的特征点或者边缘采样点,采用PNP或者高斯顿迭代等方式求解出当前帧下三维物体的姿态,进入下一帧的追踪。采用相同的计算方法求解下一帧姿态,并将下一帧替换为当前帧,循环处理。
[0105] 上面各种方法的步骤划分,只是为了描述清楚,实现时可以合并为一个步骤或者对某些步骤进行拆分,分解为多个步骤,只要包括相同的逻辑关系,都在本专利的保护范围内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法和流程的核心设计都在该专利的保护范围内。
[0106] 本发明实施例还提供了一种三维模型追踪中外点滤除装置,所述三维模型追踪中外点滤除装置被执行时实现如前所述的三维模型追踪中外点滤除方法。
[0107] 如图6所示,本发明实施方式还提供一种三维模型追踪中外点滤除装置,包括存储器和处理器,其中:
[0108] 存储器601,用于存储代码和文档;
[0109] 处理器602,用于执行所述存储器中所存储的代码和文档用以实现如前所述的三维模型追踪中外点滤除方法。
[0110] 上述的涉及到的三维模型追踪中外点滤除装置具体技术细节和三维模型追踪中外点滤除方法类似,故不再具体赘述。
[0111] 本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0112] 由上可见,本发明提供的三维模型追踪中外点滤除方法和装置,通过统计追踪点或这追踪区域的历史颜色模型实时计算当前追踪点的能量,通过能量阈值将错误的边缘或者追踪点给滤除,避免错误跟踪的边缘或点对整体的追踪效果造成影响,提升各个场景下三维模型追踪的稳定性和鲁棒性。
[0113] 本说明书中的各个实施方式均采用递进的方式描述,各个实施方式之间相同相似的部分互相参见即可,每个实施方式重点说明的都是与其他实施方式的不同之处。
[0114] 最后应说明的是:上面对本发明的各种实施方式的描述以描述的目的提供给本领域技术人员。其不旨在是穷举的、或者不旨在将本发明限制于单个公开的实施方式。如上所述,本发明的各种替代和变化对于上述技术所属领域技术人员而言将是显而易见的。因此,虽然已经具体讨论了一些另选的实施方式,但是其它实施方式将是显而易见的,或者本领域技术人员相对容易得出。本发明旨在包括在此已经讨论过的本发明的所有替代、修改、和变化,以及落在上述申请的精神和范围内的其它实施方式。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈