首页 / 专利库 / 视听技术与设备 / 块匹配运动估计 / 对准来自标本的有序堆叠的图像

对准来自标本的有序堆叠的图像

阅读:1021发布:2020-09-16

专利汇可以提供对准来自标本的有序堆叠的图像专利检索,专利查询,专利分析的服务。并且本 发明 涉及对准来自切片标本的有序堆叠的图像的领域。根据本方法和设备,通过相继进行如下操作对准有序堆叠的图像:针对有序堆叠的至少两个已经对准的图像确定下一个将对准的非对准图像的相应未对准,从至少两个已对准图像选择非对准图像与其具有最小未对准量的那个已对准图像作为参考图像,以及对准非对准图像与选择的参考图像。这是为了提供鲁棒性且计算量小的对准方法和设备。,下面是对准来自标本的有序堆叠的图像专利的具体信息内容。

1.一种用于对准来自标本的有序堆叠的图像的方法,包括如下相继步骤:
-针对所述有序堆叠的至少两个已经对准的图像(ri,ri+1)确定(S40)与所述有序堆叠中下一个要对准的非对准图像(ci+2)的相应的未对准(si,si+1);
-从所述至少两个对准图像(ri,ri+1)选择(S50,S70,S74,S76)所述非对准图像(ci+2)与其具有最小未对准量(f(si),f(si+1))的那个对准图像作为参考图像(r参考);以及-将所述非对准图像(ci+2)与所选择的参考图像(r参考)对准(S80)。
2.根据权利要求1所述的方法,其中,通过运动估计来确定所述相应的未对准(si,si+1),使得每个未对准由估计的位移场(mi,mi+1)描述。
3.根据权利要求2所述的方法,其中,所述位移场包括至少一个位移矢量(mi,mi+1),所述位移矢量描述如何移动要对准的图像中的像素以便将这个图像对准到所选择的参考图像。
4.根据权利要求2所述的方法,其中,所述对准图像和下一个要对准的所述非对准图像被分成,且其中,通过块匹配算法获得相应的位移场。
5.根据权利要求1所述的方法,其中,根据相应的对准图像和下一个要对准的所述非对准图像之间的相应匹配误差(f(si),f(si+1))计算相应的未对准量,其中,基于预定的匹配准则(f)计算所述匹配误差,且其中,选择具有最小匹配误差的对准图像作为所述参考图像(r参考)。
6.根据权利要求1所述的方法,其中,将所述非对准图像与所选择的参考图像对准包括基于变换参数(t)变换所述非对准图像,所述变换参数(t)描述了必须如何变换所述非对准图像以便实现与所选择的参考图像的对准,且其中,对于每个对准步骤,仅变换当前正对准的相应非对准图像。
7.根据权利要求1所述的方法,其中,如果所确定的所有未对准量都高于特定阈值,将从所述有序堆叠的图像中丢弃下一个要对准的所述非对准图像,且其中,在这种情况下,可以进一步用已经对准的图像的内插替代所丢弃的图像,和/或其中,如果在当前未对准确定步骤中对准图像的未对准量与其余未对准量相反高于特定阈值,将不会把该对准图像用于进一步的未对准确定步骤。
8.根据权利要求1所述的方法,其中,在确定相应的未对准之前,将图像中的至少一个转换到另一信号空间中,使得所有图像都在可比较的信号空间中。
9.根据权利要求1所述的方法,其中,通过目标识别确定相应的未对准。
10.根据权利要求1所述的方法,其中,通过运动估计确定相应的未对准,使得每个未对准都由估计的位移场(mi,mi+1)描述,且其中,如果反复发生大的未对准量,则通过目标识别而非运动估计来确定未对准。
11.一种用于对准来自标本的有序堆叠的图像的设备(100),包括以下装置:
-确定器(10),其针对所述有序堆叠的至少两个已经对准的图像(ri,ri+1)确定与所述有序堆叠中下一个要对准的非对准图像(ci+2)的相应的未对准(si,si+1);
-选择器(20),其用于从所述至少两个对准图像(ri,ri+1)选择所述非对准图像(ci+2)与其具有最小未对准量的那个对准图像作为参考图像(r参考);以及
-对准器(30),其用于将所述非对准图像(ci+2)与所选择的参考图像(r参考)对准。
12.根据权利要求11所述的设备,还包括运动估计器(11,12),其用于通过运动估计来确定相应的未对准,使得每个未对准由估计的位移场描述。
13.根据权利要求11所述的设备,其中,所述设备还适于执行根据权利要求3到10中的任一项所述的方法。
14.一种计算机程序产品,其使得处理器能够执行根据权利要求1所述的方法。
15.一种数据载体,其上存储有根据权利要求14所述的计算机程序产品。

说明书全文

对准来自标本的有序堆叠的图像

技术领域

[0001] 本发明涉及对准来自标本的有序堆叠的图像的领域,更具体而言,涉及用于对准来自切片标本的有序堆叠的图像的方法和设备。

背景技术

[0002] 对标本切片并成像,用于分析目的以及教学目的。有了描述切片标本的堆叠的图像,就能够生成该标本的合成视图,以分析标本的结构和解剖性质。在实验室中,例如从石蜡切割标本之后,切片标本的公共坐标系丢失,导致堆叠图像中的未对准。这一损失导致堆叠图像之间的平移和旋转差异。另一个未对准的来源可能来自基于人工执行的步骤的切片制备。可能会发生平移、缩放和拉伸。此外,可能会发现变形,例如拉伸的组织、破裂的组织和缺失的组织。
[0003] 为了在数字域中(即成像之后)对准标本的组织学切片,需要抵消变形过程的结果以及公共坐标系的丢失。用于对准的典型解决方案是在制备期间在标本块中增加标记作为人工基准,例如,通过在石蜡中嵌入在成像后对其进行探测的标记。然后可以使用这些标记的位置计算变换参数。不过,这样的额外标记需要额外的准备步骤。此外,在数字化之后用于存储图像的存储空间增大,因为为了拍摄在实际标本旁边增加的标记,对额外区域进行了成像。因此,希望不在标本块中使用额外的标记来对准有序堆叠的图像。
[0004] 下文描述了一种无需在标本块中增加额外标记的情况下对准一系列图像的方法:“Computer-Based Alignment and Reconstruction of Serial Sections”,John C.Fiala和Kirsten M.Harris,Boston University,Microscopy and Analysis,第5-7页,2002年
1月。为了进行对准,通过对用户输入的一组点对应进行计算来对图像进行变换。为了对准一系列图像,重复对准过程,其中将下一个要对准的图像与此前刚对准的图像进行对准。
[0005] 除上述参考文献之外,在以下段落中提到更多参考文献:
[0006] -Gerard de Haan等人,“True motion estimation with 3D-recursive search block matching”,IEEE transactions on circuits and systems of video technology,第3卷,第5期,1993年10月;
[0007] -美国专利No.5072293;
[0008] -US 2008/0144716A1;
[0009] -David G.Lowe,“Object recognition from local scale-invariant features”,International Conference on Computer Vision,1999,第1150-1157页;以及[0010] -David G.Lowe,“Distinctive image features from scale-invariant keypoints”,International Journal of Computer Vision,2004,第91-110页。

发明内容

[0011] 不过,不在标本块中使用额外的标记时,各种局部变形,例如缺失和破损组织,使得难以鲁棒性地对准切片标本的每幅图像。
[0012] 考虑到病理图像的尺寸大,通常为64k×64k像素,所以用于自动对准的计算要求变得很关键。于是,非常希望有减轻计算需求的快速对准程序。
[0013] 有利的是实现一种用于对准来自标本的有序堆叠的图像的方法,并实现一种能够鲁棒性地对准有序堆叠的图像并能够以低计算需求实现快速对准的对准设备。
[0014] 为了更好地解决一个或多个这些问题,在本发明的第一方面中,提出了一种用于对准来自标本的有序堆叠的图像的方法,包括如下相继的步骤:a)针对有序堆叠的至少两个已经对准的图像确定与有序堆叠中下一个要对准的非对准图像的相应的未对准;b)从至少两个对准图像选择与非对准图像具有最小未对准量的那个对准图像作为参考图像;以及c)对准非对准图像与选择的参考图像。
[0015] 为了进一步解决一个或多个这些问题,在本发明的第二方面中,提出了一种用于对准来自标本的有序堆叠的图像的设备,包括如下装置:确定器,其针对有序堆叠的至少两个已经对准的图像确定与有序堆叠中下一个要对准的非对准图像的相应的未对准;选择器,其从至少两个对准图像选择与非对准图像具有最小未对准量的那个对准图像作为参考图像;以及对准器,其用于对准非对准图像和选择的参考图像。
[0016] 针对每个要对准图像确定至少两个未对准可以提供鲁棒的对准方式。选择提供最小的未对准量的对准图像作为对准参考图像也可以确保鲁棒的对准方式。仅仅将非对准图像与选择的参考图像对准意味着仅需要一次从非对准图像变换成对准图像的需要计算的变换,可以实现简化的计算需求,并可以进一步允许快速对准。
[0017] 根据至少一个实施例,通过运动估计确定相应的未对准,使得每个未对准都由估计的位移场描述。这可以快速确定相应的未对准并实现简化的计算需求。
[0018] 根据至少一个实施例,所述位移场包括至少一个位移矢量,所述位移矢量描述如何移动要对准的图像中的像素以便将这个图像与选择的参考图像对准。这也可以快速确定相应的未对准并实现简化的计算需求。
[0019] 根据至少一个实施例,对准图像和下一个要对准的非对准图像被分成块,通过块匹配算法获得相应的位移场。这样可以进一步增加对准的鲁棒性。
[0020] 根据至少一个实施例,根据相应的对准图像和下一个要对准的非对准图像之间的相应匹配误差计算相应未对准量,其中基于预定的匹配准则计算所述匹配误差,且其中选择匹配误差最小的对准图像作为参考图像。这个特征也可以快速确定相应的未对准并实现简化的计算需求。
[0021] 根据至少一个实施例,将非对准图像与所选择的参考图像对准包括基于变换参数变换非对准图像,所述变换参数描述如何变换非对准图像以便实现与选择的参考图像的对准,且其中对于每个对准步骤,仅变换当前正对准的相应非对准图像。这个特征可以允许减少与将非对准图像变换成与选择的参考图像对准相关的计算负担。
[0022] 根据至少一个实施例,如果所确定的所有未对准量都高于特定阈值,将从有序堆叠的图像中丢弃下一个要对准的非对准图像,且在这种情况下,可以任选地进一步用已经对准的图像的内插替代丢弃的图像,和/或如果在当前未对准确定步骤中对准图像的未对准量与其余未对准量相反高于特定阈值,将不会把该对准图像用于进一步的未对准确定步骤。这个特征可以增强对准的鲁棒性并减小对准相对于局部变形的灵敏度。
[0023] 根据至少一个实施例,在确定相应的未对准之前,将图像中的至少一个转换到另一信号空间中,使得所有图像都在可比较的信号空间中。这个特征允许对准不同染色剂的图像,同时保持简单的匹配准则。这个特征也可以允许使用实现改进或进一步简化的未对准确定的信号空间。
[0024] 根据至少一个实施例,该设备包括运动估计器,用于通过运动估计来确定相应的未对准,使得每个未对准由估计的位移场描述。运动估计器可以快速且有计算效率地确定未对准量。
[0025] 根据至少一个实施例,通过目标识别确定相应的未对准。这个特征可以允许进一步增加对准过程的鲁棒性。
[0026] 根据至少一个实施例,通过运动估计确定相应的未对准,使得每个未对准都由估计的位移场描述,并且如果反复发生大的未对准量,则通过目标识别而非运动估计来确定未对准。这个特征可以在基于运动估计的快速简单的未对准确定过程和基于目标识别的更复杂鲁棒的未对准确定过程之间自动切换,因此考虑到先前对准迭代中确定的未对准,鲁棒性和用于对准的计算负担之间的权衡得以优化。
[0027] 所有以上方法步骤都要自动或至少部分自动地执行。
[0028] 通过组合均以“根据至少一个实施例”开始的以上段落中阐述的两个或更多个体特征获得其他实施例。因此,上述这些段落不应被解释为实施例仅能包括上述特征的单个特征。相应地获得设备的其他实施例,使得适于执行代表实施例的方法的任何设备也是实施例。
[0029] 此外,本发明涉及一种计算机程序产品,其使得处理器能够执行上述方法步骤,并且还涉及存储这种计算机程序产品的数据载体。
[0030] 本发明的这些和其他方面将从下文描述的实施例变得显而易见并参考其加以阐述。附图说明
[0031] 图1示出了相继对准来自标本的有序堆叠的图像的过程;
[0032] 图2是流程图,图示了用于根据本发明的至少一个实施例对准来自标本的有序堆叠的图像的方法;
[0033] 图3示出了用于根据本发明的实施例对准来自标本的有序堆叠的图像的设备。
[0034] 附图标记列表:
[0035] 10确定器
[0036] 11运动估计器
[0037] 12运动估计器
[0038] 20选择器
[0039] 30对准器
[0040] 32转换器
[0041] 34变换器
[0042] 100设备

具体实施方式

[0043] 在以下本发明的实施例中,将结合附图更详细地解释本发明。
[0044] 图1图示了相继对准来自标本(例如切片标本)的有序堆叠的图像的过程。如图1所示,在对准有序堆叠的图像之前,该堆叠被认为是完全非对准的,包括四个非对准图像c0、c1、c2和c3。通过基于已经对准的图像相继或递归地对准堆叠中仍是非对准的图像,如例如图1中间所示,图1示出了已经对准的图像r0和r1以及仍要对准的图像c2和c3,可以对有序堆叠的图像完全对准,从而将所有初始非对准的图像c0、c1、c2和c3变换成对准的图像r0、r1、r2和r3。在下文中,将用于图1的符号表示法在剩余的描述中通篇使用:将用附图标记c表示非对准图像,而将用附图标记r表示已经对准的图像。由下标序号表示有序堆叠中图像的相应位置(不论是否对准或非对准),使得如图1中间示范性所示,例如对准的图像r1被对准的图像r0和非对准图像c2围绕。
[0045] 图2是流程图,用于图示根据本发明的实施例对准来自标本的有序堆叠的图像的方法。
[0046] 在根据至少一个实施例的方法的开始,在图2的步骤S10中,将有序堆叠的一个非对准图像c确定为是无需对准变换的对准图像r:r0=c0。于是,选择这幅图像作为起点,用于相继对准有序堆叠的图像。尽管在图2的步骤S10中,选择序号为0的图像作为起始值,但该方法不限于这个起始位置。可以选择有序堆叠的图像中的任何位置,例如堆叠的中间位置。此外,可以确定起始位置,从而选择预计由于人工准备而导致具有最小量的未对准的图像作为起点。这可以是例如具有最小截面的图像,因为可以预期变形的绝对量会是最小。不过,由于其他原因,这也可能是覆盖大部分切片表面的图像。
[0047] 在步骤S20中,然后确定对准图像r0和下一个要对准的图像c1之间的未对准s0。下文将论述确定未对准s的适当方式。
[0048] 然后,在步骤S30中,基于确定的未对准s0将图像c1与r0对准,因此执行对准变换,导致c1→r1。在下文中,将使用ci→ri的符号表示法表示已经将(前一)非对准图像ci变换成对准图像ri。
[0049] 在步骤S35中,然后将位置指针i设置到0,以设置用于根据本发明的至少一个实施例的递归法的起始位置。类似于上述,对于非递归执行的步骤S10,也可以将位置指针i设置成任何其他适当值。选择值i=0,仅仅是为了简化以下解释。对于根据至少一个实施例的方法而言,非递归执行的步骤S10到S35仅仅是任选的。
[0050] 现在,将解释用于相继对准有序堆叠的图像的方法的递归执行的步骤。在步骤S40中,确定对准图像ri和下一个要对准的非对准图像ci+2之间的未对准si,以及对准图像ri+1和下一个要对准的非对准图像ci+2之间的未对准si+1。
[0051] 在下一步S50中,分别针对未对准si和si+1确定相应的未对准量f(si)和f(si+1)。确定未对准量表示从未对准s导出量f(s),从而可以将量f(s)用于比较。最简单地,计算未对准s的绝对大小作为量f(s)。如果将未对准s表示为矢量,或者可以计算矢量分量绝对值之和(与计算总和绝对差(缩写为SAD)相同,因为未对准已经是差异矢量),或者计算矢量分量值的均方误差(MSE)作为量f(s)。
[0052] 在步骤S70中,然后将在步骤S50中确定的未对准量f(si)和f(si+1)彼此比较。在f(si)小于f(si+1)的情况下,对准图像ri是下一个要对准的图像ci+2与其具有最小未对准量的图像,从而在步骤S74中将选择对准图像ri作为参考图像r参考。在f(si)大于等于f(si+1)的情况下,对准图像ri+1是下一个要对准的图像ci+2与其具有最小未对准量的图像,因此在步骤S76中将选择对准图像ri+1作为参考图像r参考。
[0053] 在步骤S74或步骤S76中选择r参考之后,在步骤S80中,将下一个要对准的图像ci+2与r参考对准,包括将ci+2对准变换成ri+2,使得:ci+2→ri+2。基于确定的未对准si(如果在步骤S74中已选择了r参考)或确定的未对准si+1(如果在步骤S76中已选择了r参考)执行这一对准变换。在步骤S80中的对准变换之后,在步骤S90中检查有序堆叠的图像是否完全对准,即是否未留下非对准图像c。如果堆叠尚未完全对准,即堆叠中仍然有要对准的图像,在步骤S95中将位置指针i加一,然后进行执行步骤S40到S90的下一次递归(或迭代)以对准下一幅图像。如果在步骤S90中确定堆叠已经完全对准,就完成了该对准方法,将不执行进一步的递归。
[0054] 在本发明的至少一个实施例中,通过运动估计来确定相应的未对准si,si+1,使得每个未对准由估计位移场描述。估计位移场例如能够包括至少一个位移矢量,描述如何移动要对准的图像中的像素以将这幅图像与选定参考图像对准。位移矢量可以描述所有可能的未对准,例如平移、旋转、缩放和拉伸。这样的位移矢量也称为运动矢量
[0055] 为了执行运动估计以获得位移矢量或运动矢量,已经提出了几种算法。可以将运动估计看作优化问题:必须要使有时复杂但通常简单的准则函数最小化或最大化以找到输出运动矢量。有硬算法(brute force method)简单地在预定义范围中尝试所有可能矢量,以便确保获得准则函数的全局优化。还有有效率的方法,仅测试最可能的运动矢量。这种可能性通常是由空间或时间邻近性确定的,因此在有效率的运动估计算法中时间和空间预测矢量是有用的。这可以通过如下文献中描述的3D递归搜索块匹配算法来实现:Gerard de Haan等人,“True motion estimation with 3D-recursive search block matching”,IEEE transactions on circuits and systems of video technology,第3卷,第5期,1993年10月。在这里通过引用将这篇文献完全并入。这种算法将一细分成例如8×8像素的块,并试图识别这一块在下一帧中的位置。比较这些位置使得能够向每个像素块分配运动矢量,该运动矢量包括块的像素替换与两帧之间的时间的比率。3D递归搜索是基于块的运动估计算法,采用从空间-时间预测获得的少量候选MV(MV=运动矢量)。3D递归搜索算法假设块小于对象,使得来自相邻块的MV是对当前块的候选MV的良好估计。按照特定次序,例如,从左至右和从上到下处理块,使得已经估计了MV的一些相邻块能够为当前块提供空间候选MV,而未处理的其他块从参考帧取得MV以为当前块提供时间候选MV。对于每个候选MV,计算运动估计误差。选择运动估计误差最低的候选者作为针对该块的输出运动矢量。
该算法使用正常光栅扫描次序历经块。本发明的至少一个实施例采用这样的块匹配算法获得相应位移场。有利地,在本发明的至少一个实施例中使用3D递归搜索块匹配算法作为块匹配算法。对于低成本实时执行,发明人提出使用快速递归运动估计器,其提供空间-时间一致的位移场,用于对准堆叠中的图像。在美国专利No.5072293和US 2008/0144716A1中描述了能够用于本发明至少一个实施例的用于确定运动矢量的其他基本方法,在此通过引用将其两者都并入本文。
[0056] 在本发明的至少一个实施例中,根据相应的匹配误差计算相应的未对准量f(s),例如f(si)、f(si+1)、f(mi)、f(mi+1),其是基于预定匹配准则f计算的。可以简单地确定的这种匹配准则f是总和绝对差(SAD):
[0057]
[0058] 其中 是被测试的候选矢量,矢量 表示块 的位置, 是亮度信号,n是图或视的数量。在输出处获得的运动矢量-每个块一个矢量-是给出最低SAD值的候选矢量。作为SAD的替代,作为匹配准则,可以通过对绝对差求平方并然后将其相加来应用均方误差(MSE)。类似地,可以应用3阶矩作为匹配准则f。
[0059] 在本发明的至少一个实施例中,将非对准图像c与选定的参考图像r参考对准包括基于变换参数t变换非对准图像,变换参数t描述为了实现与选定参考图像的对准必须如何变换非对准图像。可以从非对准图像和选定的参考图像之间确定的未对准,尤其是从描述所确定的未对准的位移场、位移矢量或运动矢量导出变换参数t。针对每幅要对准的图像仅执行一次需要大量计算的变换,而对于要对准的每幅图像执行超过一次的相应匹配误差的计算量小的计算。
[0060] 要比较的图像必须在可比较的信号空间中。不过,如果堆叠中的图像染有不同染色剂(例如苏木精和曙红(H&E)和免疫组织化学(IHC)),就不是这种情况。在使未对准或匹配误差最小化之前,通过将至少一个图像变换到其他图像的信号空间或可比拟的信号空间,能够保持或获得简单的匹配准则。
[0061] 根据至少一个实施例,如果所确定的所有未对准s的量都高于特定阈值,将从有序堆叠的图像丢弃下一个要对准的非对准图像。特定阈值可以是固定值,或者可以自适应地基于先前确定的未对准量加以确定。可以由通过对准图像的内插产生的内插图像替代丢弃的图像。作为内插的输入,可以选择有序堆叠中与丢弃图像相邻的对准图像。此外,如果在当前的未对准确定步骤中其未对准量高于特定阈值,而其余未对准量低于特定阈值,则不会将对准图像用于进一步的未对准确定步骤。特定阈值可以是固定值,或者可以自适应地基于先前确定的未对准量加以确定。
[0062] 根据至少一个实施例,通过目标识别确定相应的未对准。与用于匹配像素的块匹配算法相比,目标识别需要更多计算工作量。另一方面,目标识别在更高平的描述符上工作,比例如SAD更加鲁棒。不过,并非所有目标识别技术适用于作为对准有序堆叠的图像的基础。用于目标识别的适当方法是来自所谓局部尺度不变特征的目标识别。一种这样的方法被称为SIFT(尺度不变特征变换),在下文中被介绍过:“Object recognition from local scale-Invariant features”,David G.Lowe,International Conference on Computer Vision,1999,第1150-1157页。在如下文献中描述了用于目标识别的SIFT方法的非常全面描述:“Distinctive image features from scale-invariant keypoints”,David G.Lowe,International Journal of Computer Vision,2004,第91-110页。在此通过引用将两篇文献都并入本文。SIFT方法将图像的每个局部片都变换到独立于图像尺度和取向的坐标中。局部不变特征允许有效率地经过任意旋转、缩放、亮度和对比度变化和其他变换匹配杂乱图像的小部分。想法是将图像打破成很多小的大小不一的交叠片,以对于可能变换而言不变的方式描述其每片。然后可以逐一匹配每个部分,并检查匹配片的一致性。为了进行图像匹配和识别,首先从一组参考图像提取SIFT特征并存储在数据库中。通过将来自新图像的每个特征与这一先前数据库比较并基于它们的特征矢量的欧几里得距离发现候选匹配特征来逐一匹配新图像。
[0063] 根据至少一个实施例,仅在反复发生相对较大量未对准时才通过上述目标识别确定相应未对准。否则,如果未对准的量主要保持在特定阈值以下,通过快速且计算简单的运动估计来确定相应未对准。特定阈值可以是固定值,或者可以自适应地例如基于先前确定的未对准量加以确定。
[0064] 图3图示了根据本发明的至少一个实施例对准来自切片标本的有序堆叠的图像的设备。设备100包括确定器10、选择器20和对准器30。确定器10包括两个运动估计器11和12。运动估计器11在其输入处接收对准图像ri以及下一个要对准的图像ci+2。运动估计器11适于基于这些输入确定未对准si和位移矢量mi并输出它们。类似地,运动估计器12在其输入处接收对准图像ri+1和下一个要对准的图像ci+2,并适于基于这些输入确定未对准si+1和位移矢量mi+1并输出它们。将输出的未对准si和si+1馈送给选择器20。也可以将输出的未对准si和si+1分别输出为对应的位移矢量mi和mi+1,用于馈送给选择器20(在这种情况下,si=mi并且si+1=mi+1)。选择器20向从运动估计器11和12接收的未对准si和si+1应用匹配准则,例如SAD、MSE或3阶。应用匹配准则实现匹配误差f(si)和f(si+1)的计算。然后,选择器20确定这些匹配误差的最小值并从运动估计器11和12输出的位移矢量mi和mi+1选择具有最小匹配误差的那个位移矢量作为参考位移矢量m参考。通过这个参考位移矢量m参考,隐含地选择了非对准图像ci+2要与其对准的参考图像r参考。然后从对应运动估计器向对准器30馈送选择的参考位移矢量m参考。在对准器30中,在转换器32中将参考位移矢量m参考变换成变换参数t,用于变换非对准图像ci+2。在对准器30中,从转换器
32向变换器34输出变换参数t。变换器34使用变换参数t将非对准图像ci+2变换成对准图像ri+2,使得ci+2→ri+2。在针对ci+2完成一次对准迭代之后,可以针对ci+3开始下一次迭代,将位置计数器i加一。
[0065] 尽管上述实施例全部基于确定两个未对准来对准非对准图像,但这未将本发明限制到仅确定两个未对准。可以针对每个对准步骤确定超过两个未对准。可以从超过两个的对准图像中选择参考图像。
[0066] 尽管上述实施例基于确定非对准图像和非对准图像紧前方至少两个图像之间的至少两个未对准,但这并未将本发明限制到从彼此相邻且与非对准图像相邻的对准图像中选择参考图像。
[0067] 尽管在上述范例中,为了进行解释,有序堆叠的图像仅包括四个图像,但堆叠大小不限于这个大小。有序堆叠的图像可以包括任意数量的图像。在本发明的概念中,“确定器”、“选择器”、“对准器”、“运动估计器”要得到宽泛的理解并包括例如任一件硬件(例如确定器、选择器、对准器、运动估计器)、为执行所述确定、选择、对准、运动估计而设计的任何电路或子电路以及设计或编程为执行确定、选择、对准、运动估计的任何一件软件(计算机程序或子程序或计算机程序组或程序代码)以及多件这样单独或组合工作的硬件和软件的任意组合,而不限于下文给出的示范性实施例。
[0068] 本领域的技术人员将要认识到,本发明不限于上文特别示出并描述的内容。本发明在于每个新颖的特性以及特征的每种组合。权利要求中的附图标记不限制它们的保护范围。使用动词“包括”及其词形变化不排除存在权利要求中所述那些之外的元件。元件前的冠词不排除存在多个这样的元件。
[0069] 已经根据具体实施例描述了本发明,具体实施例是本发明的例示,不应被视为限制。可以在硬件、固件或软件或其组合中实施本发明。其他实施例在以下权利要求的范围之内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈