首页 / 专利库 / 人工智能 / 机器学习 / 人工神经网络 / 自组织映射 / 完整载片图像配准和交叉图像注释设备、系统和方法

完整载片图像配准和交叉图像注释设备、系统和方法

阅读:1013发布:2020-09-26

专利汇可以提供完整载片图像配准和交叉图像注释设备、系统和方法专利检索,专利查询,专利分析的服务。并且本公开涉及用于 图像配准 和注释的设备、系统和方法。所述设备包括用于在公共网格上对准完整载片数字图像并且在匹配组织结构的 基础 上将注释从一个经对准图像转移到另一经对准图像的计算机 软件 产品。所述系统包括诸如工作站和联网计算机之类的计算机实现的系统以用于完成基于组织结构的图像配准和交叉图像注释。所述方法包括用于基于组织结构在公共网格上对准对应于邻近 组织切片 的数字图像以及将注释从一个邻近组织图像转移到另一个邻近组织图像的过程。,下面是完整载片图像配准和交叉图像注释设备、系统和方法专利的具体信息内容。

1.一种计算机化图像配准过程,包括:
a.从单个患者的邻近组织切片的数字图像的集合选择第一组织切片的第一数字图像;
b.从所述集合选择第二组织切片的第二数字图像;
c.在第一数字图像和第二数字图像之间匹配组织结构;以及
d.将第一数字图像上绘制的注释自动映射到第二数字图像。
2.根据权利要求1的计算机化图像配准过程,其中第一数字图像从使用染色剂和成像模式获得的图像导出,并且第二数字图像从使用相比于第一数字图像而言不同的染色剂、不同的成像模式或这二者获得的图像导出。
3.根据权利要求2的计算机化图像配准过程,其中染色剂选自苏木精和曙红染色剂(“HE”染色剂)、免疫组织化学染色剂(“IHC”染色剂)或荧光染色剂。
4.根据权利要求2的计算机化图像配准过程,其中成像模式选自明场显微术和荧光显微术。
5.根据权利要求1的计算机化图像配准过程,其中匹配组织结构包括粗配准模式,其包括:从第一数字图像生成第一灰度级组织前景图像以及从第二数字图像生成第二灰度级组织前景图像;从第一灰度级组织前景图像计算第一组织二值边缘图以及从第二灰度级组织前景图像计算第二组织二值边缘图;计算全局变换参数以对准第一二值边缘图和第二二值边缘图;以及基于全局变换参数将第一数字图像和第二数字图像映射到涵盖第一和第二数字图像这二者的公共大网格。
6.根据权利要求5的计算机化图像配准过程,其中计算全局变换参数包括使用基于矩的映射方法来生成第一二值边缘图和第二二值边缘图之间的仿射映射。
7.根据权利要求5的计算机化图像配准过程,还包括用于细化第一数字图像和第二数字图像的对准的细配准模式。
8.根据权利要求7的计算机化图像配准过程,其中细配准模式包括:注释第一数字图像;将公共大网格上的注释映射到第二数字图像中的对应位置;以及基于二值组织边缘图使用距离匹配来更新位置。
9.根据权利要求8的计算机化图像配准过程,其中使用组织边缘二值图的经剪裁版本,并且方法还包括选择改进相对于粗模式配准的匹配的最小成本窗口。
10.一种图像配准系统,包括:
a.处理器;
b.包含供处理器执行的指令的存储器,所述指令如果被执行则导致以下中的一个或多个:基于匹配组织结构对准邻近组织切片的一个或多个图像以导致经对准的图像的集合,其中一个或多个图像中的每一个是使用不同的染色剂、不同的成像模式或这二者来制备的;以及在至少另一个经对准的图像上复制用户在一个经对准的图像上作出的注释;
c.用于触发处理器执行指令的客户端用户接口;以及
d.能够显示客户端用户接口、第一图像和第二图像、结果及其组合的监视器。
11.根据权利要求10的图像配准系统,被实现在包括包含处理器、存储器、客户端用户接口和监视器的至少一个计算机的工作站上。
12.根据权利要求10的图像配准系统,被实现在计算机网络上。
13.根据权利要求12的图像配准系统,其中计算机网络包括全部经由网络而连接的一个或多个客户端计算机、服务器和网络可访问数据库,其中一个或多个客户端计算机包括处理器、监视器和客户端用户接口;网络可访问数据库存储邻近组织切片的图像的至少一个集合;并且存储器驻留在服务器或一个或多个客户端计算机或这二者上。
14.根据权利要求10的图像配准系统,其中用于对准图像的指令包括包含粗配准过程和细配准过程的配准模
15.根据权利要求14的图像配准系统,其中粗配准模块包括用于从数字图像计算软加权前景图像、从前景图像提取二值组织边缘图、基于组织边缘图计算全局变换参数以及基于全局变换参数将组织边缘图映射到公共网格的指令。
16.根据权利要求14的图像配准系统,其中细配准过程包括用于识别第一经对准图像上的注释周围的第一区域、识别第二经对准图像中的第二区域、基于距离变换和最小成本函数计算使用迭代过程优化第一区域在第二区域中的位置的指令,其中第二区域大于第一区域且与第一区域协同定位在公共网格上。
17.一种用于对准图像并将注释从一个经对准图像映射到另一个经对准图像的计算机程序产品,所述计算机程序产品包括:具有计算机可读程序代码嵌入在其中的有形计算机可读存储介质,所述计算机可读程序代码被配置成:在来自邻近组织切片的数字图像的集合的第一数字图像和来自邻近组织切片的数字图像的集合的第二数字图像之间匹配组织结构,其中集合中的每一个图像是使用不同的染色剂、不同的成像模式或这二者获得的;并且基于经匹配的组织结构将注释从第一数字图像转移到第二数字图像。
18.根据权利要求17的计算机程序产品,其中匹配组织结构包括计算针对第一和第二数字图像中的每一个的软加权前景图像,提取针对第一和第二前景数字图像中的每一个的二值组织边缘图,基于第一和第二组织边缘图计算全局变换参数,以及基于全局变换参数将第一图像和第二图像映射到公共网格,其中公共网格具有中心,并且第一前景图像和第二前景图像均具有中心,并且第一和第二前景图像叠加在公共网格上使得公共网格的中心与第一前景图像的中心和第二前景图像的中心重合。
19.根据权利要求18的计算机程序产品,其中转移注释包括将第一数字图像上的注释映射到如公共网格所确定的第二图像上的对应位置。
20.根据权利要求19的计算机程序产品,其中转移注释还包括:基于包括下述各项的细配准过程调整第二图像上的注释的位置:定义第一图像上的注释周围的第一窗口;定义第二图像上的注释周围的第二窗口,其中第二窗口大于第一窗口;迭代地移位具有与第二窗口内的第一窗口相同的尺寸的第三窗口;针对第三窗口的每一个定位基于距离变换和成本函数计算来计算用于第三窗口的优化位置;以及基于第三窗口的优化位置调整第二图像中的注释的位置。
21.一种用于将注释从来自邻近组织切片的数字图像的集合的第一数字图像映射到邻近组织切片的数字图像的集合中的第二数字图像的方法,包括:
a.从集合选择第一图像;
b.从集合选择第二图像;
c.可选地注释第一图像;
d.指令计算机处理器执行导致基于匹配组织结构在公共网格上将第一图像与第二图像对准的指令;以及
e.指令计算机处理器将注释从第一图像转移到第二图像。
22.根据权利要求21的方法,其中所述指令在第一图像和第二图像被对准时自动发生。
23.根据权利要求22的方法,其中对准包括计算针对第一图像和第二图像中的每一个的软加权前景图像,提取针对第一前景图像和第二前景图像中的每一个的二值组织边缘图,基于第一组织边缘图和第二组织边缘图计算全局变换参数,以及基于全局变换参数在公共网格上映射第一图像和第二图像。
24.根据权利要求23的方法,其中公共网格具有中心,并且每个前景图像具有中心,并且公共网格的中心对应于针对第一图像和第二图像中的每一个的前景图像的中心。
25.根据权利要求24的方法,其中转移注释包括首先将第一图像上的注释映射到公共网格并且然后将公共网格注释映射到第二图像上的对应位置。
26.根据权利要求25的方法,其中注释还包括基于包括下述各项的细配准过程调整第二图像上的注释的位置:定义第一图像中的注释周围的第一窗口;定义第二图像中的第二窗口,其中第二窗口大于第一窗口但与第一窗口基本上协同定位在公共网格上;以及基于距离变换和成本函数计算使用迭代过程来计算第一窗口在第二窗口中的优化位置。
27.根据权利要求22的方法,其中用户经由计算机接口手动调整由计算机处理器转移的注释的位置、尺寸和形状中的至少一个。

说明书全文

完整载片图像配准和交叉图像注释设备、系统和方法

技术领域

[0001] 本说明书涉及用于操纵和/分析组织样品的数字化图像的设备、系统和方法。本说明书还涉及用于相邻组织切片样品的数字化图像的集合的图像配准的设备、系统和方法。而且,本说明书还涉及用于从邻近组织切片样品的图像集合中的一个图像向邻近组织切片样品的图像集合中的其它图像转移注释的设备、系统和方法。

背景技术

[0002] 数字病理学是指数字环境中的病理学信息的管理和解释。扫描设备用于对组织切片的载片成像,所述组织切片可以被染色,使得数字载片(例如完整载片图像)被生成。数字病理学软件使得数字载片能够存储在计算机存储器设备中,在计算机监视器上查看,且针对病理学信息而分析。
[0003] 所期望的是,数字病理学可以使得能够整合病理学环境的各种方面,除其他之外诸如纸质和电子记录、临床背景信息、在先病例、图像和结果。还期望的是,数字病理学可以实现增加的效率,除其它可能的效率之外,诸如增加的工作负荷能、在正确的时间对正确的病理学者的访问、病例和诊断的迅速检索、以及改进的工作流程。然而,存在对数字病理学的广泛采用及其各种益处的前景的许多阻碍,诸如成像性能、可扩缩性和管理。
[0004] 虽然以下示出和描述了某些新颖特征,其中的一些或全部可以在权利要求中指出,但是本公开的设备、系统和方法不意图限于所指定的细节,因为相关领域普通技术人员将理解到,在不以任何方式脱离于本公开的精神的情况下,在所说明的实施例的形式和细节及其操作中可以做出各种省略、修改、置换和改变。没有本文所描述的特征是关键或本质的,除非其被明确陈述为是“关键”或“本质”的。
发明内容
[0005] 本公开提供了用于操纵和/或分析组织样品的数字化图像的设备、系统和方法。例如,本公开提供了用于对应于邻近组织切片的数字载片的计算机化图像配准和/或用于从至少一个数字载片向至少一个其它数字载片转移注释的设备、系统和方法。
[0006] 在一些实施例中,所述设备包括用于对准作为邻近组织切片的数字图像集合的一部分的图像和/或在经对准的图像之间映射注释的计算机程序产品。该集合中的每一个图像可以使用不同的染色剂(或标签物,以下称为“染色剂”)、不同的成像模式或这二者而获得。在一些实施例中,计算机程序产品包括具有计算机可读程序代码嵌入在其中的有形计算机可读存储介质,计算机可读程序代码被配置成使用基于匹配组织结构的图像配准过程(即,涉及例如将不同集合的数据变换到一个坐标系统中的过程)对准该集合中的所选数字图像,导致经对准的数字图像的集合;并且计算机可读程序代码还可以被配置成将注释从经对准的数字图像的集合中的至少一个数字图像转移到经对准的图像的集合中的至少另一个数字图像。在其它实施例中,计算机程序产品包括具有计算机可读程序代码嵌入在其中的有形计算机可读存储介质,计算机可读程序代码被配置成使用基于匹配组织结构的图像配准过程来对准来自邻近组织切片的数字图像集合的第一数字图像和来自该集合的第
二数字图像,导致经对准的图像对;并且计算机可读程序代码还可以被配置成将注释从经对准的对中的第一或第二数字图像中的一个转移到经对准的对中的第一或第二数字图像
中的另一个。
[0007] 在另外的实施例中,匹配组织结构涉及计算用于邻近组织切片的数字图像集合中的所选图像中的每一个的软加权前景图像(例如,计算用于第一和第二数字图像中的每一个的软加权前景图像),提取用于每一个结果得到的前景数字图像的二值组织边缘图(例如用于第一和第二前景数字图像中的每一个),以及基于组织边缘图计算全局变换参数(例如基于第一和第二组织边缘图)。在另外的实施例中,匹配组织结构还涉及基于全局变换参数将至少部分原始选择的图像(例如,第一图像和第二图像)映射到公共网格。在另外的实施例中,公共网格的中心与前景图像的中心重合。
[0008] 在其它实施例中,转移注释包括基于公共网格(其在一些实施例中可以是诸如目标图像之类的特定图像的网格)将注释从至少一个经对准的图像(例如从第一图像或源图像)映射到至少另一个经对准的图像(例如第二图像或目标图像)上的对应位置。在另外的实施例中,转移注释还包括基于细配准过程细化所转移的注释的位置。在另外的实施例中,细配准过程包括识别源图像(例如经对准的图像对的第一图像)中的原始注释周围的窗口,识别目标图像(例如经对准的图像对的第二图像)中的对应位置中的第二但更大的窗口,以及在第二窗口内迭代地移位对应于第一窗口的第三窗口并且识别用于第三窗口的最优位置。在另外的实施例中,识别最优位置基于距离变换和成本函数计算。
[0009] 在一些实施例中,所述系统包括处理器;包含供处理器执行的指令的存储器,所述指令如果由处理器执行则提供以下结果:基于组织结构对准第一图像和第二图像,其中第一图像和第二图像是邻近组织切片的图像集合的一部分,并且其中该集合中的每一个图像可以使用不同的染色剂、不同的成像模式或这二者而制备;和/或将至少第一图像或第二图像中的一个上的注释(例如预存在的注释和/或用户标记的注释)复制在至少第一图像或第二图像中的另一个上;用于触发处理器执行指令的客户端用户接口;以及用于显示客户端用户接口、图像、结果或其组合的监视器。在一些实施例中,所述系统被实现在计算机工作站上。在一些实施例中,所述系统是使用计算机网络来实现的。
[0010] 在一些实施例中,所述方法包括图像配准过程,其涉及从邻近组织切片的数字图像集合选择图像以及使用基于组织匹配的配准过程对准所选图像。每一个数字图像可以使用相比于该集合中的另一数字图像而言不同的染色剂、不同的成像模式或这二者而获得。在另外的实施例中,图像配准过程包括:从单个患者的邻近组织切片的数字图像集合选择第一组织切片的第一数字图像;从该集合选择第二组织切片的第二数字图像;以及基于第一数字图像和第二数字图像之间的匹配组织结构执行配准过程。在一些实施例中,配准过程包括粗配准模式。在一些实施例中,配准过程还包括细配准模式。
[0011] 在一些实施例中,粗配准模式涉及从第一数字图像生成第一灰度级组织前景图像,从第二数字图像生成第二灰度级组织前景图像,从第一灰度级前景图像计算第一组织二值边缘图,从第二灰度级前景图像计算第二组织二值边缘图,计算全局变换参数以对准第一二值组织边缘图和第二二值组织边缘图,以及基于全局变换参数将第一数字图像和第二数字图像映射到公共网格。在另外的实施例中,计算全局变换参数包括使用基于矩的映射方法生成第一组织二值边缘图和第二组织二值边缘图之间的仿射映射。在一些实施例
中,细配准过程包括注释第一数字图像,将公共网格上的注释映射到第二数字图像上的对应位置,以及基于二值组织边缘图使用(Chamfer)距离映射更新第二图像上的注释的位置。
[0012] 在一些实施例中,所述方法是用于将注释从来自邻近组织切片的数字图像集合的第一数字图像映射到该集合中的第二数字图像的方法。在一些实施例中,所述方法涉及选择已经对准的数字图像对,如果没有所选图像之前已经被注释则注释该对中的一个数字图像(或者可选地,如果图像之前已经被注释则进一步注释图像),以及向该对中的另一数字图像转移注释。在一些实施例中,该映射方法涉及从邻近组织切片的数字图像集合选择第一图像,从该集合选择第二图像,指令计算机处理器执行指令,导致使用基于匹配组织结构的粗配准过程在公共网格上将第一图像与第二图像对准,例如如本文进一步描述的那样,如果第一图像尚未被注释则注释第一图像(或者可选地,如果第一图像已经被注释则进一步注释第一图像),以及指令计算机处理器向第二图像转移注释。在一些实施例中,转移注释自动发生,且可以与初始配准过程(例如粗配准过程)基本上同时发生,如果要配准的该对中的图像已经被注释的话,或者其可以与注释第一图像基本上同时发生。在一些实施例中,转移注释发生在第一和第二图像已经被对准之后。在一些实施例中,转移注释还包括基于细配准过程调整第二图像上的注释的位置,例如如本文进一步描述的那样。在本发明的一些实施例中,存在于第一图像上的注释(例如,与同计算机相关联的存储器中的图像相关联的绘图或笔记)被自动映射到第二图像。在本发明的一些实施例中,用户经由计算机接口或程序(例如图像查看器软件应用)手动调整由计算机处理器转移的注释的位置、尺寸和形状中的至少一个。
[0013] 虽然本公开提供了某些特定实施例,但是本发明不限于那些实施例。本领域普通技术人员将从本文的描述中领会到,可以对所描述的实施例做出修改,并且因此,说明书在范围上比所描述的实施例更宽。所有示例因此是非限制性的。附图说明
[0014] 图1是其中可实现根据本公开的设备、系统和方法的医学成像工作站系统的实施例的远景图示。
[0015] 图2是图示了其中可实现根据本公开的设备、系统和方法的联网系统的实施例的网络图。
[0016] 图3是由交互式菜单条和窗口组成的主屏幕的屏幕截图,该主屏幕可以是与依照本公开的图像分析程序的实施例相关联的窗口式图形客户端用户接口的一部分。
[0017] 图4是有不同的菜单选项被选择的图3的主屏幕的另一屏幕截图。
[0018] 图5是有又一菜单选项被高亮的图3的主屏幕的另一屏幕截图。
[0019] 图6是注释模GUI的实施例的屏幕截图,其中可以查看和注释数字载片,并且其可以从图3的主屏幕启动。
[0020] 图7是在已经注释了数字载片之后图6的注释模块GUI的另一屏幕截图。
[0021] 图8是在执行图像配准之后图5的屏幕的另一屏幕截图。
[0022] 图9是注释模块GUI的屏幕截图,在所图示的实施例中该屏幕在已经执行了配准之后自动打开。
[0023] 图10是图9的注释模块GUI的另一屏幕截图,其显示用于经配准的图像的对的期望视场(“FOV”)。
[0024] 图11是当用户选择图8中所示的主屏幕的图像配准标签之下的显示按钮310时打开的窗口的屏幕截图。
[0025] 图12是图示了依照本公开的由图像分析软件程序实施的方法的实施例的流程图。
[0026] 图13图示了依照本公开的可作为图像分析程序的一部分的粗配准过程的实施例的基本步骤。
[0027] 图14图示了图13的粗配准过程的实施例的基本步骤之一的进一步细节。
[0028] 图15图示了HE图像及其对应的软加权前景图像。
[0029] 图16图示了用于图15的H通道图像的图14的软加权过程的实施例。
[0030] 图17a-c图示了IHC图像及其对应的软加权前景图像,以及图13的粗配准过程的实施例的基本步骤之一的细节。
[0031] 图18图示了用于图17a-c的IHC图像的图14的软加权过程的实施例。
[0032] 图19图示了软加权前景HE图像及其对应的边缘图,以及软加权前景IHC图像及其对应的边缘图。
[0033] 图20图示了经变换的HE边缘图。
[0034] 图21是与八个变换条件中的每一个有关的倒角距离值的曲线图的示例。
[0035] 图22图示了已经使用已依照本公开的实施例计算的全局变换参数在公共网格上对准的HE图像和IHC图像。
[0036] 图23图示了仅在根据本公开的粗配准过程之后将注释从第一图像映射到第二图像的结果。
[0037] 图24图示了依照本公开的细配准过程的实施例的初始步骤。
[0038] 图25图示了图24的细配准过程的附加步骤。

具体实施方式

[0039] 本文提供一个或多个实施例的详细描述。然而,要理解的是,根据本公开的设备、系统和方法可以以各种形式体现。因此,本文所公开的特定细节不要被解释为是限制性的,而是作为用于权利要求和用于教导本领域技术人员以任何适当的方式采用本设备、系统和方法的代表性基础
[0040] 除非以其它方式限定,否则本文所使用的所有技术和科学术语具有与本公开所属领域普通技术人员通常理解的相同含义。在存在用于本文的术语的多个定义的情况下,除非以其它方式陈述,否则本章节中的那些占优势。
[0041] 无论本文在哪里使用短语“例如”、“诸如”、“包括”等,都要理解到后面跟随有短语“并且没有限制”,除非以其它方式明确陈述。类似地,“示例”、“示例性”等要理解成是非限制性的。
[0042] 术语“基本上”允许不负面地影响所意图的目的的从描述符的偏离。描述性术语被理解为被术语“基本上”所修饰,即使词语“基本上”并未被明确记载。
[0043] 术语“大约”意指计及由于实验误差所致的变化。所有测量或数字隐含地被理解为被词语“大约”修饰,即使测量或数字未被词语“大约”明确修饰。
[0044] 术语“包括有”和“包含有”以及“具有着”和“涉及着”等可互换地使用并且具有相同含义。类似地,“包括”、“包含”、“具有”和“涉及”等可互换地使用并且具有相同含义。具体地,每一个术语被定义为与一般美国专利法对“包括”的定义一致并且因此解释成意指“至少以下”的开放性术语,并且还不解释成排除附加的特征、限制、方法等。因此,例如,“具有组件a,b和c的设备”意指设备至少包括组件a,b和c。类似地,短语:“涉及步骤a,b和c的方法”意指该方法至少包括步骤a,b和c。
[0045] 无论术语“一”或“一个”被使用在哪里,都理解成“一个或多个”,除非以其它方式明确陈述或者这样的解释在上下文中不合理。
[0046] 术语“对准”和“配准”及其全部形式(例如,“对准有”和“配准有”)被可替换地使用且当结合术语“图像”使用时意指相同事物。例如,短语“经对准的图像”和“经配准的图像”被可替换地使用以描述已经经历图像配准过程(例如粗配准和/或细配准过程)的数字图像。
[0047] 本公开涉及数字病理学并提供了用于数字组织图像分析的计算机实现的设备、系统和方法。在一些实施例中,该设备、系统和方法被实现在独立工作站(其可以包括用于访问互联网的调制解调器)上。在一些实施例中,该设备、系统和方法可以被实现在计算机网络之上。
[0048] 无论被实现在独立工作站上还是网络之上,根据本公开的系统都可以包括以下硬件组件中的至少一些:计算机,包括用于显示图像和/或结果的输出设备(诸如监视器)和用于与软件程序交互的一个或多个输入设备(诸如键盘鼠标轨迹球);以及用于执行软件程序的处理器。该系统还可以包括用于存储数字图像文件集合的存储设备,其中每一个集合包括单个患者的相同组织的邻近组织切片的一个或多个完整载片图像。相比于集合中的另一数字图像文件,集合中的每一个数字图像文件可以从使用不同的成像模式(例如明场显微术和荧光显微术)的玻璃载片或其中使用不同的染色剂(例如HE、IHC染色剂)制备了组织切片的玻璃载片或这二者生成。存储设备可以是计算机自身的一部分,或者其可以是诸如网络可访问存储设备之类的单独设备。该系统还可以包括用于从玻璃载片产生数字图像文件的扫描仪。在本公开的范围内的某些实施例中,将生物试样(其可以是或者可以不是组织试样)放置在衬底上,该衬底可以是或者可以不是玻璃或显微镜载片。在本公开的范围内的某些实施例中,被成像和比较的生物试样(例如组织试样)可以不源自患者的相同切片或区块。在本公开的范围内的某些实施例中,被配准且可用于依照本公开的范围内的方法使用的数字图像可以是来自单个患者的非邻近组织切片的图像。在本公开的范围内的某些实施例中,被配准且可用于依照本公开的范围内的方法使用的数字图像可以是来自不同患者的生物试样的图像。
[0049] 无论被实现在独立工作站上还是网络之上,该系统都还可以包括以下软件组件:包括配准模块(其可以包括粗配准模块和/或细配准模块)、注释模块或这二者的图像分析程序。配准模块当由处理器执行时导致对准邻近组织切片的数字图像集合中的至少两个数字图像,从而创建经对准的数字图像的集合。注释模块当由处理器执行时导致将邻近组织切片的数字图像集合中的至少一个数字图像上的注释映射到集合中的至少另一个数字图
像。在一些实施例中,注释模块当由处理器执行时导致注释至少一个数字图像和/或将至少一个数字图像上的注释映射到至少另一个数字图像。在一些实施例中,配准模块与注释模块基本上同时执行。例如,将注释从一个载片映射到另一载片的请求使处理器既对准又将注释从至少一个图像映射到至少另一个图像。在一些实施例中,注释可以预存在于源图像上。在一些实施例中,注释是通过例如将图像选择为源图像并且使用图像分析程序注释该图像而在图像分析程序中由用户生成。在一些实施例中,配准模块在注释模块之前执行。
例如,注释模块当由处理器执行时导致将注释从作为经对准的图像的集合的一部分的至少一个数字图像映射到作为经对准的图像的集合的一部分的至少一个其它数字图像。该系统还包括图像查看模块,其可以是图像分析程序的一部分,并使得用户能够访问一个或多个数字图像文件,在(一个或多个)监视器上查看文件,并在一些实施例中使用客户端用户接口操纵数字载片。在本发明的示例性实施例中,用户可以经由计算机接口或计算机输入设备手动编辑和/或调整由注释模块生成的注释(例如注释的位置、尺寸和形状)。
[0050] 根据本公开的计算机实现的方法包括:用于基于组织结构对准来自单个患者的相同组织区块、切片或样品的至少两个数字图像从而导致经对准的数字图像的集合的计算机实现的配准过程,其中集合中的每一个数字图像可以从使用相比于集合中的其它数字图像而言不同的染色剂、不同的成像模式或这二者获得的图像导出;以及用于将经对准的数字图像的集合中的至少一个数字图像上的注释映射到经对准的数字图像的集合中的至少另一个数字图像的计算机实现的映射过程。在一些实施例中,图像配准过程和注释过程基本上同延地(coextensively)发生。例如,将注释从一个数字载片映射到另一个的指令导致既对准载片又注释载片,例如注释指令导致首先对准图像且然后将注释从一个图像转移到另一图像。在一些实施例中,图像配准过程首先发生,并且注释过程通过首先选择至少一对经配准的图像且接着注释该至少一对经配准的图像中的至少一个图像而发起。在一些实施例中,配准过程包括粗配准过程。在一些实施例中,配准过程包括粗配准过程和细配准过程。
在另外的实施例中,源图像的注释在使用细配准模块之前和/或在使用粗配准过程之前完成。因此,例如,在其中用户期望同时查看源和目标图像二者的一些实施例中,粗配准过程可以被调用以执行这两个图像的全局配准,而不需要任何特定注释。在其中用户期望将源图像的用户标记的注释返回到目标图像的一些实施例中,可以调用细配准过程,例如在接近用户注释的区域中,以便相比于仅仅依靠粗配准,改进源和目标图像的对准。
[0051] 在一些实施例中,粗配准过程可以涉及选择用于对准的数字图像,从每一个所选数字图像生成灰度级图像,以及在结果得到的灰度级图像之间匹配组织结构。在另外的实施例中,生成灰度级图像涉及从染色的组织切片的完整载片图像生成软加权前景图像。在其它实施例中,匹配组织结构涉及从每一个结果得到的灰度级图像提取组织边缘二值图并且计算用于对准组织边缘二值图的全局变换参数。在一些实施例中,使用基于矩的映射方法来计算全局变换参数以生成第一二值组织边缘图和第二二值组织边缘图之间的仿射映射。在又一些实施例中,粗配准过程包括基于全局变换参数将所选数字图像映射到公共网格,该网格可以涵盖所选数字图像。在一些实施例中,细配准过程可以涉及:识别经对准的数字图像的集合中的第一数字图像的第一子区,例如包括注释的子区;识别经对准的数字图像的集合中的第二数字图像上的第二子区,其中第二子区大于第一子区并且第一子区基本上位于公共网格上的第二子区内;以及计算用于第二子区中的第一子区的优化位置。
[0052] 在一些实施例中,映射过程可以涉及在粗配准过程之后注释经对准的图像的集合中的第一数字图像并且将注释映射到经对准的数字图像的集合中的第二数字图像。在另外的实施例中,注释的位置基于细配准过程的结果而细化。
[0053] 现在参照附图,其中相似的附图标记自始至终是指相似的部分,图1是其中可实现根据本公开的设备、系统和方法的医学成像工作站系统10的实施例的远景图示。如所示,医学成像工作站系统10包括:具有用于诸如处理器(“CPU”)(未示出)、存储设备(未示出)、图形处理单元(“GPU”)(未示出)和可选地调制解调器(未示出)之类的硬件组件30的外壳的计算机20;第一输出设备,其在所图示的示例中为监视器40;第一用户输入设备,其在所图示的示例中为键盘50;以及第二用户输入设备,其在所图示的示例中为诸如轨迹球或鼠标60之类的用于与显示器交互的定点设备。如本领域中已知的,尽管计算机20、硬件组件30、监视器40和用户输入设备50、60被图示为分离的组件,但是它们可以集成在较少部分中,诸如它们可以全部集成在膝上型计算机的形式中。医学成像工作站系统10还可以包括附加外围设备,诸如:第三输入设备,其在所图示的示例中为载片扫描仪70;第二输出设备,其在所图示的示例中为打印机80;备用电力供给90;和外部存储设备(未示出);除了被已知为与计算机实现的医学成像系统相关联的其它设备之外。在一些实施例中,医学成像工作站系统10可以包括多于一个监视器40以便于多个数字组织图像在多个屏幕上的同
时查看。如本领域技术人员所领会的,具体组件可以随技术改变而改变。例如,外围定点设备可能不是必需的,如果屏幕响应于用户的手指或语音命令的话。
[0054] 医学成像工作站系统10还包括诸如包括配准模块、注释模块或这二者以及可作为图像分析程序的一部分的图像查看模块的图像分析程序之类的软件组件。软件组件可以是一个或多个文件,其存储在存储设备上(例如,软件组件可以存储在内部硬驱动器上)和/或软件组件可以存储在诸如DVD、CD或存储器卡之类的存储器盘上,该存储器盘可以当存储器盘通过存储器盘接收端口25而被插入到外壳30中时由处理器访问。
[0055] CPU在操作上连接到各种外围设备和硬件组件,包括存储设备和GPU。存储设备可以暂时地或永久地存储数字图像的集合,其可以被导入到系统中,例如通过扫描设备。数字图像的集合包括单个患者的邻近组织切片的一个或多个数字图像,其中每一个图像可以使用相比于另一图像而言不同的染色剂/标签物/标记物、不同的成像模式或这二者而获得。GPU处理来自图像显示程序和图像分析程序(其可以被组合在单个程序中)的指令。当例如由GPU执行时,图像显示程序可以给监视器40上的窗口化图形用户接口(“GUI”)提供多个窗口,使得用户可以与GUI交互以提供导致诸如例如CPU之类的处理器执行图像分析程序
的一个或多个方面的指令,和/或可以导致以其原生(原始扫描的)格式或如图像分析程序所修改的那样在一个或多个监视器40上显示一个或多个所存储的数字图像。如之前提到
的,图像分析程序包括配准模块和注释模块。当例如由CPU执行时,配准模块导致基于组织结构在公共网格上对准至少两个所存储的数字图像,甚至是使用不同染色剂、不同成像模式或这二者获得的所存储的数字图像,从而创建经对准的图像的集合。当例如由CPU执行时,注释模块导致将注释从经对准的图像的集合中的一个数字图像映射到经对准的图像的集合中的至少另一个数字图像。
[0056] 图2是图示了其中可实现根据本公开的设备、系统和方法的联网系统的实施例的网络图。如所示,系统200包括数据库服务器210和网络可访问存储设备215,其中的每一个连接到网络220。存储设备215存储数字图像集合,其中每一个集合包括单个患者的邻近组织切片的一个或多个数字图像。集合中的每一个图像可以通过使用相比于集合中的另一个图像而言不同的染色剂、不同的成像模式或这二者而获得。一个或多个客户端计算机230(其可以具有相关联的输入和输出设备,诸如键盘232、鼠标(未示出)和打印机(未示出))也通过本领域中已知的任何手段(例如专用连接、DSL或线缆调制解调器、无线互联网连接、拨号调制解调器等)连接到网络220。客户端计算机230包括用于访问所存储的设备215中的数字图像的网页浏览器。在本发明的示例性实施例中,存储可以用于存储数字图像。
[0057] 客户端计算机230包括被配置成执行涉及图像分析程序的指令的至少一个处理器。图像分析程序可以被从服务器210下载到客户端计算机230。图像分析程序可以包括
图像查看器模块,其提供客户端用户接口,使得当被执行时,图像查看器模块可以提供具有多个窗口的窗口化GUI,其使得用户能够提供导致处理器执行图像分析程序的一个或多个方面的指令,和/或可以导致以其原始扫描的格式或如图像分析程序所修改的那样显示一个或多个所存储的数字图像。图像分析程序使得用户能够在从单个患者的组织切片获得的图像集合中选择用于对准(配准)的图像,但是其中集合中的每一个图像可能已经使用相比于集合中的其它图像而言不同的染色剂或不同的模式或这二者做出。图像分析程序还使得用户能够注释数字图像集合中的一个或多个所选数字图像并使那些注释映射到数字图像
集合中的一个或多个其它数字图像。在一些实施例中,系统200还包括用于扫描完整载片
250且产生存储在存储设备215中的数字图像的扫描仪240。
[0058] 如本领域技术人员理解的,在计算机化网络的情境中实现图像分析程序实现了否则可能受独立工作站限制的某些活动。例如,未协同定位且实际上可能彼此远离的病理学家可以在分析图像时协作,或者,在正确的时间可以联系上正确的病理学家而与位置无关。
[0059] 图1和2图示了可存在于一个或多个计算机系统或网络拓扑中的某些元件。本领域技术人员理解到,其中可实现根据本公开的设备和系统的计算机系统和网络可以涵盖其它计算机系统和网络拓扑,并可以在那些其它计算机系统和网络拓扑中包括更多或更少的元件。换言之,图1和2的实施例不是限制性的。例如,在一些实施例中,云存储可以用于存储数字图像。
[0060] 图3-5一起图示了用于与处理器交互以管理、对准和/或注释图像的客户端用户接口的实施例。在所图示的实施例中,客户端用户接口通过两个基本工具实现:
“WorkBench”是载片项目管理工具,而“VersoViewer”(或“Verso”)是载片查看器和注释工具。Verso还可以用作分析平台,因为图像分析算法可以从Verso调用。WorkBench和
Verso作为基于其呈现配准框架的接口和工作流工具的示例而呈现。然而,配准工作流足够通用以使得其可以与和/或被适配用于与其它注释/查看器GUI工具和其它图像分析/管
理工具一起使用。
[0061] 图3和4图示了用于WorkBench GUI接口的主屏幕的实施例,其在图像分析程序被启动时打开,例如以创建针对配准问题的分析项目。在所图示的实施例中,主屏幕由多个不同窗口(如所示,“配准”窗口300、“导航器”窗口302和“项目浏览器”窗口304)组成。在该窗口化环境内,用户可以从中选择各种选项以最终调用和实现图像配准、图像注释以及图像和结果显示。项目浏览器窗口304帮助用户定位已经创建的项目,例如如果用户未开始新的项目的话,而导航器窗口302帮助用户访问例如可定位在远程服务器上的图像。配准窗口300包括各种按钮,以下更加详细地描述其功能。
[0062] 在启动程序之后,一旦创建了项目,用户就可以选择图像配准模块(例如配准窗口300)的“图像图库”区段306,如图3中所示,以预览被考虑用于配准的图像。在所图示的示例中,图像图库306包含两个图像,HE图像308和IHC图像310,其被显示为完整载片图像
缩略图图片,其中完整载片图像的名称出现在缩略图下方。然而,图像图库306可以包含任何数目的图像(例如受系统的存储容量限制),其包括从邻近组织切片取得的整个图像集合。根据本领域中已知的手段将图像添加到图像图库306,例如,当点击图像图库标签306时,可以通过从用户接口或数据库的区域将图像拖放到图像图库306中来添加图像。
[0063] 如图4中所示,选择配准窗口300的“分析作业”文件夹312带来在图像图库306中可用的图像的列表和相关联的信息,例如已经可用于图像图库306中的图像的不同注释。在本示例中,没有注释可用于图像图库306中的任何图像。
[0064] 如图5中所示,在图像配准标签314之下,用户可以将项目中的图像标识为源图像(具有用户注释或者将利用用户注释加以注释)并且用户还可以将项目中的图像标识为目标图像(配准模块将检索用于该图像的注释)。在所图示的示例中,HE图像308已经被拖放到将HE图像308标识为源图像的“源WSI”(完整载片图像)面板316中,并且IHC图像
310已经被拖放到将IHC图像标识为目标图像的“目标WSI”面板318中。在每一个WSI面
板318内,通过选择“标记物类型”320中的适当标记符选项来输入用于每一个图像的染色剂类型。
[0065] 如果源图像已经包含用户注释,可以通过点击图像配准标签314之下的“分析”按钮322来调用配准例程。同样在图像配准标签314之下的并排FOV查看按钮324提供来自源和目标图像的匹配视场(“FOV”)的并排查看,使得用户能够比较目标图像中的用户标记的FOV与算法检索的FOV。在示例化的实施例中,一旦点击分析按钮322并且完成配准,Verso查看器自动启动且并排显示源308和目标310图像,如图9中所示。
[0066] 当用户注释不存在时,用户可以在查看器中打开源图像并标记感兴趣的区域(创建注释)。更具体地,如图6中所示,在源图像上双击启动与注释模块相关联的查看器接口(Verso查看器),其中显示源图像(在所图示的实施例中为HE图像)并且其中可以操纵和/或注释源图像。如所图示的,Verso查看器GUI包括具有菜单条和许多图标以促进用户与所显示的图像、注释模块以及总体配准和注释程序的交互的“查看器”窗口326。例如,导入按钮328使得用户能够导入注释,播放按钮330使得用户能够从一个注释去往下一个,
缩放按钮340和滑块350使得用户能够以各种分辨率查看整个载片图像。此外可以例如使
用注释工具300做出注释,注释工具300可以用于分别使用矩形362、椭圆形364或徒手绘
画366按钮来制作基于矩形、椭圆形或折线(像徒手绘画)的区域。一旦源图像使至少一个FOV被标记,并且在已经保存了所标记的注释之后,用户可以继续进行配准(例如,通过点击WorkBench环境中的图像配准标签314之下的“分析”按钮322)。
[0067] 在一些实施例中,Verso查看器可以被独立地打开。然而,为了便于可用性,在WorkBench中的源图像上双击导致在Verso查看器标签中打开图像。作为示例,如果查看器首先被打开,源图像可以被拖放到查看器窗口中;可替换地,文件->打开(File->Open)菜单可以用于打开图像。
[0068] 图7图示了同样被显示在注释屏幕中的相同的HE源图像308,但是在其已经使用在注释模块(例如Verso)中提供且在图中图示的工具368加以注释之后。具体地,在HE图像308中标记了三个感兴趣的区域(被描绘为矩形且被加标签有FOV1、FOV2和FOV3)。对于HE图像308中的这三个区域中的每一个,配准模块应当返回目标图像(在本示例中,IHC图像310)中的对应注释。
[0069] 图5连同作为图像配准模块(例如WorkBench)GUI的另一屏幕截图的图8图示了注释模块(例如Verso)中的改变如何被更新到且被反映在图像配准模块中。具体地,如图
5中所示,在图像配准标签314之下,在注释模块中的注释之后,FOV标签309的#被更新以指示三个不同FOV图像(“FOV”)可用于HE源图像308。图8图示了在用户指令程序对准源图像(在该示例中为HE图像308)和目标图像(在该示例中为IHC图像310)之后对图像配准模块的更新。具体地,在图像配准标签314之下,在图像配准之后,三个不同FOV现在也可用于IHC目标图像310。
[0070] 图9是注释模块(例如Verso)GUI的另一屏幕截图。如所示,在所图示的实施例中,一旦通过WorkBench框架完成图像配准,注释屏幕自动在注释模块中打开,其中HE源图像308和IHC目标图像310被一起显示在具有匹配FOV的相同的屏幕上,例如如所示的那样并排(即,用户标记的注释311a-c被显示在HE源图像308上并且对应的检索注释311d-f被显示在IHC目标图像310上)。在所图示的实施例中,完整载片图像以1x分辨率示出,使得针对这两个完整载片图像可以并排看到所有3个FOV。
[0071] 如图10中所示,在所图示的实施例中,VersoViewer还包括逐个查看经注释的区域的模式。点击前进按钮330准许用户从一个注释向前行进到下一个,而上一个按钮332准许用户从当前查看的注释移动到之前查看的注释。同样在所图示的实施例中,随着用户从一个FOV(例如第一FOV)行进到用于图像1的另一FOV(例如第二FOV),右侧窗格中的显示类似地行进通过用于图像2的对应FOV(在此从第一FOV到第二FOV)。
[0072] 图11是图示了在WorkBench的图像配准标签314之下可用的用于查看各个FOV的可替换的图像显示的屏幕截图。点击并排的图像FOV查看按钮324(图5)打开图11的屏
幕。类似于VersoViewer实现,WorkBench视图同样是分屏,其中经注释的HE源图像308的至少一部分被显示在屏幕的一个部分上并且经注释的IHC目标图像310的对应部分被显示
在屏幕的第二部分上。图10和11分别描绘了注释模块和图像配准模块中的第一注释FOV,并图示了相比于WorkBench而言可以如何使用Verso查看器比较经匹配的注释。如从图中
显而易见的,在注释模块(VersoViewer)中,除载片图像的其它部分之外,注释被显示在每一个分屏的中间。相比之下,在图像配准模块(WorkBench)中,仅可以看到数字图像的注释部分。在图像配准模块中,类似于注释模块,存在浏览(run through)所有可用图像对的选项。在该示例中,存在三个图像对,其可以被选择以供用户独立查看。因此,第二和第三注释的类似分屏视图也可以在注释模块和/或配准模块中启动,在配准模块的情况中其例如通过使用向上/向下箭头滚动图像对加以访问。同样如所图示的,注释模块为用户提供了在如何查看结果方面的灵活性。例如,用户可以使用缩放按钮340和/或缩放滑块350来
选择查看图像所用的分辨率(4X被图示在屏幕截图中)。
[0073] 图12是图示了依照本公开的由图像分析软件程序的实施例实施的方法的实现的流程图。图像分析软件程序使得用户能够指令处理器对准所选数字图像(例如组织切片
的扫描载片的数字图像,包括完整载片图像、部分载片图像或者完整或部分载片图像的部分)、注释一个或多个图像、将注释从一个或多个图像映射到其它图像、或者其组合。如图12中所示,方法600开始于开始块602处。在块604处,获取(例如扫描或者从数据库选择)数字图像集合以用于操纵。数字图像的每一个集合包括对应于例如来自单个患者的邻近组织切片的集合的组织切片的一个或多个数字图像。数字图像的每一个集合包括对应于来自单个患者的邻近组织切片的集合的组织切片的一个或多个数字图像。每一个图像可以从相比于另一图像而言不同地染色或使用不同的成像模式而数字化或这二者的组织切片导出。在一些实施例中,数字图像是通过扫描从邻近组织切片制备的载片(例如显微镜玻璃载片)来产生的。
[0074] 在块606处,如果仅选择单个图像对,过程直接行进到块610。如果选择多于单个图像对,则在行进到块610之前在块608处将所选图像的集合分组成对。在一些实施例中,将图像对选择为邻近对。因此,例如,如果所选图像的集合包括10个并行的邻近切片(L1…L10),则L1和L2被分组为对,L3和L4被分组为对,等等。另一方面,如果关于图像的哪些对最类似于彼此的信息不可用,则在一些实施例中,图像根据其分开的距离而分组(例如,与各种图像的H图之间的倒角距离相对应的边缘间或图像间距离),从而将最接近彼此的图像配对在一起。在本发明的示例性实施例中,边缘间/图像间距离被用于图像的配对。在一些实施例中,基于边缘的倒角距离可以用于计算图像间/边缘间距离。如果图像对先前已经经历粗配准过程,使得图像已经被粗对准并且结果已经被保存,则该过程前进到块614。否则,在块612处,在所选图像对上执行粗配准过程。以下更加详细地描述粗配准过程。
[0075] 传递到块614,将所选择且现在配准(对准)的图像显示在公共网格上,其中在单个监视器上图像被叠加在单个图像中、被显示为分离的图像或者二者兼有,或者图像跨若干监视器延展。在块616处,客户端用户可以从图像对选择一个图像作为源图像。如果源图像已经如所期望的那样被注释,过程行进到块622。否则,客户端用户在块620处如所期望的那样注释源图像。在一些实施例中,注释在该所选图像上被再现,例如与用户输入注释基本上同时。在一些实施例中,用户首先识别源和目标图像,并且如果源图像已经被注释,则用户继续指令程序配准图像(例如经历粗配准过程)。如果源图像尚未被注释,用户可以在配准图像对之前注释源图像。在可以(或可以不)与块620基本上同时发生的块622处,将注释映射到该对中的另一图像(目标图像)并在目标图像上以图形方式再现。在其中注释在粗配准之前发生的实施例中,注释可以与配准(对准)图像对基本上同时地从源图像映射到目标图像。移动到块624,可以执行细配准过程以优化所映射的注释的位置和/或图像的对准。以下更加详细地讨论细配准过程。在块626处,与细配准过程的结果一起显示经注释的图像对(或者如果不使用细配准,则经注释的图像对可以仅与粗配准过程的结果一起显示)。该方法然后在最终块628处结束。
[0076] 图13图示了关于块612粗配准过程的进一步细节。在发起粗配准过程之前,选择两个图像以用于对准(块604,图12)。如图13中所示,在一些实施例中,被应用于这两个图像的粗配准过程可以涉及:1)从每一个所选图像获得软加权(连续赋值)前景图像(在本文中也称为“灰度级”图像)(块612a,图13);2)从每一个结果得到的前景图像提取边缘图像(块612b,图13);以及3)使用从软加权前景图像获得的矩信息和基于边缘图的匹配来计算全局变换参数(例如旋转、扩缩、移位)(块612c,图13)。最后,如图13中所示,这两个图像使用全局变换参数而对准且可以被显示在监视器(或多个监视器)上的公共网格上。
[0077] 图14-18图示了块612a的进一步细节,其中获得软加权前景(即,对应于被应用到染色图像的软加权的图像,其中较高/较低值表示某个染色剂颜色较多/较少地存在)。软加权方法是用于从离散赋值的无符号字符图像获得连续域赋值图像的方法(例如,其中像素值的范围是0-255)。在一些实施例中,获得软加权前景图像的目的是在数字图像中将组织与非组织分离并提供用于从完整载片进行矩计算的基础,用于扩缩和平移估计。在一些实施例中,灰度级前景图像是通过将颜色去卷积过程应用于所选数字图像来获得的,所选数字图像可以是从已经染色的组织切片制备的玻璃载片的扫描。具体的颜色去卷积过程取决于具体染色剂,并将通过三个示例的方式在本文中加以描述:HE染色剂、IHC染色剂和荧光图像。
[0078] 图14-16图示了针对HE图像的软加权前景图像提取过程。如图14-16中所示,图像提取过程本质上是颜色去卷积过程,其中从原始HE图像(图15a)去除颜色染色剂以导致软加权前景图像(图15b)。HE颜色去卷积可以通过本领域中已知的任何方法执行,例如如在以下文献中描述:Ruifrok AC, Johnston DA, Quantification of histological staining by color deconvolution, Anal Quant Cytol Histol 23: 291-299, 2001,其以其全部内容通过引用并入本文。
[0079] 图14和16一起图示了用于获得图15b的图像的过程的实施例。如图14中所示,通过去除已经被混合/添加的两个图像成分(具体地,H(苏木精:蓝色着色的)和E(曙红:
红色着色的))来获得H通道图像和E通道图像以形成图15a的复合图像HE图像。在一些
实施例中,在获得这两个(H和E)通道之后(例如在颜色去卷积过程之后),在H通道图像和E通道图像中的每一个上执行OTSU和软加权方法。OTSU方法是用于自动执行基于柱状图
形状的限阈(thresholding)的限阈方法,且被例如描述在Otsu, Nobuyuki, "A Threshold Selection Method From Gray-Level Histograms" Automatica 11.285-296 (1975):
23-27中,其以其全部内容通过引用并入本文。在H通道图像上的基于OTSU的限阈和软加
权之后获得加权H图像(例如,反映H通道的染色贡献的图像,其中当H通道的染色贡献较高/较低时,加权H图像具有较高/较低值)。类似地,在E通道图像上的基于OTSU的限阈
和软加权之后获得加权E图像。最后,加权HE图像被如下获得:加权HE图像中的每一个像素=(H通道图像像素,E通道图像像素)的最大值,即,其为H和E通道图像中的对应像素值的最大值。
[0080] 图16图示了针对H通道图像的软加权过程的实施例。在执行基于OTSU的限阈之后,将阈值(用于将前景从背景H通道分离)取作levelH。因此,levelH是在H通道上计算的基于OTSU的阈值,lowH是分数*levelH的值,并且maxH是max(H通道图像),即,H通道图像中的所有像素的最大值。如可以从该描述中理解,在H和E通道中,较低(或较高)强度值对应于图像中的较暗(或较亮)区域;例如在H通道中,较暗区域表示其中更强烈地表现出苏木精(蓝色成分)的区域。在最终的加权H图像中,预期到针对这些较暗区域(更蓝的区域)的高值。类似地,在加权H图像中,预期到针对较亮区域的低值,其中苏木精的贡献为低。
[0081] 在一些实施例中,目的是获得当蓝色苏木精通道的贡献为高时值较高且当蓝色通道贡献为低时值较低的加权H图像。在图16中,分数项控制如何将软权重分配给加权H图像;例如,当分数=1时,则lowH=levelH,其中蓝色通道贡献(H通道的值)小于lowH的图像像素得以分配有值1。当分数为1时,加权H图像在范围[levelH, maxH]中具有非零像素
强度值(其中levelH表示在H通道上计算的基于OTSU的阈值,并且maxH表示H通道图像
的最大值)。在一些这样的实施例中,对于低于levelH的H通道中的像素/像素强度值,向加权H图像分配值1。对于处于范围[lowH, maxH]中的H通道中的值,加权H值处于范围
[1, 0]中。H通道中的[lowH, maxH]范围被映射到加权H图像中的[1, 0]范围。在一些
实施例中,分数是凭经验选择的值0.8。因此,加权H图像将具有较宽范围的像素值中的值;
通常,在较模糊的图像区域中,OTSU返回的阈值可能不准确,并且因而,向用于具有略微高于OTSU阈值的值的图像像素的加权图像分配较低值。
[0082] 图17和18一起图示了针对IHC图像的软加权前景图像提取过程。如图17c中所示,图像提取过程本质上是颜色去卷积过程,其中从图像提取主要的颜色成分。例如,在所图示的实施例中,苏木精(蓝色)和DAB(棕色)是主要的染色剂成分,并且颜色去卷积用于将IHC图像分离成这两个颜色通道。
[0083] 与用于HE图像的方法相同的软加权方法现在被用于IHC图像。在DAB通道图像上的基于OTSU的限阈和软加权之后获得加权DAB图像。类似地,在苏木精图像上的基于OTSU的限阈和软加权之后获得加权苏木精图像。最后,加权IHC图像为每像素的max(加权DAB图像,加权苏木精图像);即,加权IHC图像中的每一个像素是DAB和苏木精通道图像中的两个对应像素中的最大值。
[0084] 图18图示了针对DAB通道图像的软加权过程的实施例。在执行基于OTSU的限阈之后,将阈值(用于在DAB(棕色)通道中将前景与背景分离)取作levelBr。因此,levelBr是在棕色通道上计算的基于OTSU的阈值,lowBr是分数*levelBr(在此,分数为0.8),并且maxBr是max(棕色通道图像);即,maxBr是棕色通道图像中的所有像素值的最大值。对于低于lowBr的棕色通道中的值,向加权DAB图像分配值1。棕色通道中的[lowBr, maxBr]
范围被映射到加权DAB图像中的[1, 0]范围。如可以从该描述中理解的,在棕色和蓝色通道中,较低(或较高)强度值对应于图像中的较暗(或较亮)区域。总体过程导致从如图17a中所示的原始IHC图像生成如图17c中所示的软加权前景图像。
[0085] 还可以从荧光图像提取软加权前景图像,例如通过制备灰度级图像并应用OTSU以将灰度级图像变换成二值图像。在一些实施例中,作为用于提取软加权前景图像的起始点,从荧光图像读出灰度级缩略图图像。然后,OTSU被用于将灰度级缩略图图像变换成二值图像。并且然后,在二值图像上执行连通分量,例如如在Samet, Hanan, "An Improved Approach to Connected Component Labeling of Images", Proceedings, IEEE Computer Society Press, 1986中描述的那样,其以其全部内容通过引用并入本文。在一些实施例中,连通分量分析用于使用标准算法返回二值图像中的邻接区域。从在连通分量之后返回的邻接区域之中,基于诸如较小单元尺寸之类的预定准则来丢弃一些离群区域。该过程的结果是具有缩略图图像中的前景区域,其中每一个区域超过某个最小尺寸。在一些实施例中,如果N是前景图像中的接通像素的总数,从连通分量获得的从单个团斑预期的最小尺寸应当为至少N/20——最小区域的选择,其中N/20是凭经验选择的。对于这些区域,为其中缩略图图像较暗的软加权前景图像分配较高值(其中,较暗(或较低)强度值区域更可能是组织区域,并且较亮(或较高)强度值区域更可能是非组织玻璃区域)。
[0086] 在提取软加权前景图像之后,估计全局变换参数(块612c,图13)。在一些实施例中,比较第一图像(例如,其中用户/病理学家已经标记了某些区域的源图像)和第二图像(例如,用户/病理学家已经选择以用于检索所标记的区域的目标图像)以计算全局变换。如图19中所示,在一些实施例中,该比较是通过边缘图检测(块612b,图13)来完成的。图
19a图示了针对HE图像的边缘图提取,其中图的上半部图示了加权前景图像并且下半部图示了针对HE图像的边缘图。图19b图示了针对IHC图像的边缘图提取,其中图的上半部图
示了针对IHC图像的加权前景图像并且图的下半部图示了针对IHC图像的边缘图。
[0087] 在一些实施例中,使用Canny边缘检测模式来提取边缘图,例如如在Canny, John, "A Computational Approach to Edge Detection," Pattern Analysis and MachineIntelligence, IEEE Transactions at 6 (1986); 679-698中描述的那样,其以其全部内容通过引用并入本文。作为第一步骤,针对软加权前景图像计算梯度图像,其然后被用于边缘检测。边缘图然后被用于确定这两个图像之间的全局变换。在一些实施例中,帮助将图像
1映射到图像2的全局变换的参数为:1)沿x和y轴的平移;2)针对x和y轴的扩缩;3)旋转角度;以及4)反射,其可以沿x轴、y轴或这二者。基于软加权前景图像,计算针对每一个图像的矩心图像;它们的差异给出沿x和y轴的平移,其用于将第一图像与第二图像对准。
将矩(例如如在Hu, Ming-Kuei, "Visual Pattern Recognition by Moment Invariants," Information Theory, IRE Transactions, vol IT-8, pp. 179-187, 1962处描述的那
样,其以其全部内容通过引用并入本文)用于软加权前景图像,计算用于x和y轴的扩缩
因子,其可以将第一图像与第二图像对准。一旦计算了软加权前景图像,就执行基于OTSU的限阈以从染色图像获得掩蔽图像(二值图像)。基于第一和第二图像中的掩蔽图像,使用Hu矩计算这两个域中的主角;之间的角度差异提供了旋转,例如如在Hu, Ming-Kuei, "Visual Pattern Recognition by Moment Invariants," Information Theory, IRE
Transactions, vol IT-8, pp. 179-187, 1962中所描述的那样,其以其全部内容通过引用并入本文。图像1和2之间的角度差被视为可将图像1映射到图像2的变换角的可能值
(角度φ=(来自图像2的主角)-(来自图像1的主角)),其中使用如以上提到的出版物中描述的矩的方法来计算主角。
[0088] 此外,在一些实施例中,考虑了八种可能的变换情况(每一种变换情况对应于被应用在源图像(图像1)上的某个仿射全局变换),并且对于每一种情况:a)计算针对图像1的经变换的边缘图;以及b)其与图像2的边缘图的距离。在一些实施例中,经变换的边缘图(a)基于最佳变换情况,其在一些实施例中是产生针对图像1的经变换的边缘图与针对图像2的边缘图之间的最小距离的情况。八种可能的变换情况可以是:1)旋转φ;2)旋转(180-φ);3)沿x轴反射;4)沿y轴反射;5)沿x和y轴二者反射;6)旋转0;7)旋转90;以及8)旋转-90(对于所有情况,包括了扩缩和平移)。图20图示了在已经根据以上八种条件中的每一种变换之后的HE边缘图。
[0089] 在一些实施例中,为了获得将图像1粗映射到图像2的全局变换,使用所使用的倒角距离方法(例如,如Borgefors, Gunilla, "Distance Transformations In Digital Images, Computer Vision, Graphics, and Image Processing, 34.3 (1986): 344-371中描述的那样,其以其全部内容通过引用并入本文)计算边缘图之间的距离。倒角距离(边缘图A,边缘图B)(对应于每一个图像;边缘图A从源图像(图像1)获得,而边缘图B从目标图像(图像2)获得)是A中的每个接通边缘像素到B中的最接近的接通边缘像素之间的平均距离。在一些实施例中,倒角距离可以被计算如下:
·令EA表示边缘图A,二值图像,并且DA为在距离变换之后获得的矩阵。DA中的每一
个像素表示EA中的该像素到EA中的最接近接通像素的距离。
·例如,如果
并且
·例如,在EA中,考虑第4行第3列中的像素。取值为1且最接近它的两个像素在第3
行第4列中以及在第5行第2列中。如果将像素的位置表示为(i, j),则其指示像素驻留在矩阵EA的第i行第j列中。因此,如果存在具有由(i1, j1)和(i2, j2)给出的位置的2
2 2
个像素,则这2个像素之间的距离L2由sqrt((i1-i2)+(j1-j2))给出。因而,最接近它的两个像素的距离分别为sqrt(2)和sqrt(2)并且DA中的第4行第3列的值为min(sqrt(2),
sqrt(2))=sqrt(2)。
·倒角距离(A的边缘图,B的边缘图)=(EA.*DB)/(EA中1的数目),其中DB为边缘
图B的距离变换。
·(EA.*DB)=(EA中的每一个元素乘以DB中的每个对应元素)并且(然后对数目加和)。
[0090] 如本领域技术人员应当理解的,倒角距离不是由于其非交换性质所致的距离度量。更具体地,倒角距离是可以用于解释两个边缘图之间的相似性/不相似性的距离函数。
距离函数可以用于比较形状,如果形状由边缘图表示的话。在被应用于根据本公开的一些实施例时,倒角距离主要比较图像之间的组织区域;这两个组织区域在其边缘图类似时类似,其可以由倒角距离良好地捕捉。可以存在图像之间在颜色和染色强度方面的差异,但是边缘图在其捕捉组织结构时是相对更一致的特征。当比较相同/平行的组织切片时,结构或多或少地保持相同。为了使距离函数成为度量,当我们获得从边缘图A到边缘图B的距
离时,距离应当相同,即使是从边缘图B到边缘图A获得的。对于倒角距离,该交换属性不适用并且因此其不是度量。因此,在一些实施例中,2个距离值——从A到B的倒角距离和从B到A的倒角距离——中的最大值用于获得这2个边缘图之间的最终有效距离。简而言
之,倒角距离(边缘图A,边缘图B)不需要等于倒角距离(边缘图B,边缘图A)。因此,在一些实施例中,在边缘图A和B之间使用的最终距离量度为:max(倒角距离(边缘图A,边缘图B),倒角距离(边缘图B,边缘图A))。并且,在一些实施例中,一旦针对所有八种条件计算了这些距离值,就选择导致最小距离值的条件。
[0091] 图21是八个所计算的距离值的示例(在第一图像和第二图像的经变换版本之间使用的距离函数是基于倒角距离的其边缘图的函数)。依照该示例,发现最佳变换是:使用
7.41的旋转角——选择第一种变换条件,因为其导致最小倒角距离。
[0092] 图22图示了图12的块612的实施例,其中在计算了全局变换参数(块612c,图13)之后在公共网格上显示经配准的图像。更具体地,在实施例中,图22图示了在公共大图像网格上映射的HE和IHC图像,其中在图22a中,网格的中心与软加权前景HE图像公共网格的基于矩的中心重合,并且其中在图22b中,网格的中心与软加权前景IHC图像的基于矩的中心重合。包含第一(例如源)和第二(例如目标)图像的经变换版本二者的公共网格可以有益于基于第一图像中的标记区域恢复第二图像中的任何区域。
[0093] 交叉图像注释(块620, 622,图12)可以发生在获得包含这两个图像的该大公共网格时。例如,在一些实施例中,如图23中所示,用户标记点(在第一图像中)可以被首先映射到大网格中的匹配区域,并且然后大网格中的点被映射到第二图像中的对应位置。因此,在所描述的实施例中,第一图像是其中病理学家已经标记一些区域的图像。交叉图像注释是通过使用从八种条件中获得最佳变换(在该示例中,旋转角7.41)以到达大公共图像网格来实行的,大公共图像网格在该示例中包含处于其中心的软加权前景图像。到达大公共网格的过程可以被更具体地例如描述如下:令源图像1为具有M1行和N1列的图像,并且令其矩心的位置为(x1,y1)。则矩心与
图像1的最左点和最右点的距离为(x1-0)和(N1-1-x1)。类似地,矩心与图像1中的最上点和最下点的距离为(y1-0)和(M1-1-y1)。对于目标图像(图像2),令其尺寸为M2行和N2列。令其矩心的位置为(x2,y2)。则矩心与图像2的最左点和最右点的距离为(x2-0)和(N2-1-x2)。类似地,矩心与图像2的最上点和最下点的距离为(y2-0)和(M2-1-y2)。图像
1和2被放置在公共大网格上,使得大公共网格的中心与图像1和图像2二者的中心重合。
因此,大公共图像网格中的矩心到任何其边界点(最左、最右、最上或最下)的最大距离为这
8个项{(x1-0),(N1-1-x1),(y1-0),(M1-1-y1),(x2-0),(N2-1-x2),(y2-0),(M2-1-y2)}中的最大者。令该最大距离项由d表示。则大公共图像网格的尺寸=2*d+1每侧。该网格
是正方形网格并且因而其具有2*d+1行和2*d+1列。
[0094] 如图23中可以看到,在第一图像中标记的用户标记点与第二图像中恢复的点之间可能存在略微失配。在这样的情况中,可以实现细配准模块(块624,图12)以进一步细化注释位置。一般而言,在一些实施例中,细配准过程涉及:定义第一图像中的用户标记区域周围的第一窗口;定义第二图像中的第二窗口,其中第二窗口大于第一窗口但与第一窗口基本上协同定位在公共网格上;以及计算针对第二窗口中的第一窗口的优化位置。在一些实施例中,第二窗口中的第一窗口的位置是通过迭代地移位在尺寸上等于或基本上等于第二窗口内的第一窗口的窗口以识别最佳匹配来优化的。以下通过示例的方式并且参照图
24和25来提供所描述的细配准过程的实施例。
[0095] 如图24和25中所示:·当点Q在图像1中被标记时,其被示出为对应于与图像1相对应的大网格中的点P
(针对点P和Q的定义,参见图24);
·如果粗变换是准确的,则对于所检索的点而言的最佳选择将接近于大网格中的P;
·考虑大网格中的点P周围的WxW(像素x像素)(令W=300)窗口以找到最佳匹配点的
可能候选;在每一种情况中,考虑对图像1进行考虑的大网格中的点P周围的LxL(像素x
像素)(令L=375)区域以及对图像2进行考虑的大网格中的每一个新移位点周围的LxL区域(W=300和L=375被使用在图25中);
·基于这些LxL区域中的本地边缘图完成本地倒角,并且选择最小成本窗口来最优地
移位粗匹配的结果;
·作为示例:如果L-W=75并且利用5个像素的增量搜索最佳可能移位,则搜索点的总
数=(75/5)²=225(5的选择是用于计算复杂性降低;1个像素的移位将导致75x5=5625个
数据点)。从计算的观点来看,针对225个搜索点中的每一个计算边缘图和边缘图的距离变换可能是计算密集的。因此,在一些实施例中,可能的计算问题是通过计算和存储整个边缘图的距离变换来解决的;然后,在一些实施例中,从边缘图像和距离变换图像剪裁出合适的窗口以加速计算。在一些实施例中,合适的窗口足够大以使得当在两个图像中比较两个区域时,在这些窗口化区域中存在足够的基于边缘的内容以清楚地决定何时在第二图像中已经找到针对第一图像中的给定模板窗口的正确窗口;如果窗口尺寸非常小,则“模板窗口到搜索窗口”之间的距离可以足够小以使得识别搜索图像中的最佳窗口可能是困难的;另一方面,较高窗口尺寸将增加计算复杂性。换言之,边缘图计算和用于每个边缘图的距离变换(基于本地区域)可能是计算密集的。因此,在一些实施例中,在图像1和图像2二者均被映射到大图像网格之后针对图像1和图像2计算一次边缘图,并且然后,保存它们的距离变换矩阵。在一些实施例中,当考虑本地区域(窗口)时,使用边缘图和距离变换图的经剪裁版本。因此,可以避免重新计算针对本地区域的边缘图和距离变换图。
·二值图像(边缘图图像)的距离变换可以是使用在Borgefors, Gunilla, "Distance
Transformations In Digital Images, Computer Vision, Graphics, and Image
Processing, 34.3 (1986): 344-371中描述的公式来计算的,其以其全部内容通过引用并入本文。如[0089]中描述的,不存在与距离变换相关联的单位。这暗示所提到的距离是像素数目方面的。给定图像像素处的距离变换值是从该像素到最接近接通图像像素的距离
(接通像素是边缘图中的具有值1的像素,即,其为边缘点)。
·窗口的尺寸取决于由用户标记或者已经存在于图像1中的输入注释的尺寸。例如,如
果用户已经标记了完成分析所用的尺度(例如,2x分辨率)中的尺寸60x70的注释,则用于比较源图像(图像1)中的窗口与目标图像中的其周围区域的窗口尺寸也为60x70。一旦完成粗配准,就将这两个图像与彼此大致对准并且将这两个匹配图像叠加在相同网格上,如图23、24和25中所示。这帮助搜索附近区域以找到最佳匹配窗口,如图25中所演示。
[0096] 计算机典型地包括已知组件,诸如处理器、操作系统、系统存储器、存储器存储设备、输入-输出控制器、输入-输出设备和显示设备。相关领域普通技术人员还将理解到,存在计算机的许多可能配置和组件并且还可以包括高速缓冲存储器、数据备份单元和许多其它设备。输入设备的示例包括键盘、光标控制设备(例如鼠标)、麦克、扫描仪等。输出设备的示例包括显示设备(例如监视器或投影仪)、扬声器、打印机、网络卡等。显示设备可以包括提供视觉信息的显示设备,该信息典型地可以在逻辑上和/或在物理上被组织为像素的阵列。还可以包括接口控制器,其可以包括用于提供输入和输入接口的多种已知的或将来的软件程序中的任一种。例如,接口可以包括一般称为“图形用户接口”(通常称为GUI)的设备,其向用户提供一个或多个图形表示。典型地使得接口能够通过使用相关领域普通技术人员已知的选择或输入构件来接受用户输入。接口还可以是触摸屏设备。在相同或可替换的实施例中,计算机上的应用可以采用包括称为“命令行接口”(通常称为CLI)的设备的接口。CLI典型地提供应用与用户之间的基于文本的交互。典型地,命令行接口通过显示设备呈现作为文本行的输出并且接收输入。例如,一些实现可以包括称为“壳”的实现,诸如相关领域普通技术人员已知的Unix Shell或采用诸如Microsoft.NET框架之类的面向对象类型的编程架构的Microsoft Windows Powershell。相关领域普通技术人员将领会
到,接口可以包括一个或多个GUI、CLI或其组合。处理器可以包括商业上可得到的处理器,诸如由Intel公司制造的Celeron、Core或Pentium处理器、由Sun Microsystems制造的
SPARC处理器、由AMD公司制造的Athlon、Sempron、Phenom或Opteron处理器,或者其可以是现在或即将变得可得到的其它处理器中的一个。处理器的一些实施例可以包括称为多核处理器的处理器和/或可以被使得能够采用单个或多个配置中的并行处理技术。例如,多核架构典型地包括两个或更多处理器“执行核”。在本示例中,每一个执行核可以作为使得能够实现多个线程的并行执行的独立处理器而施行。此外,相关领域普通技术人员将领会到,处理器可以配置在一般称为32或64位架构的架构或现在已知或将来可以开发的其它
架构配置中。处理器典型地执行操作系统,其可以例如是:来自Microsoft公司的Windows类型操作系统;来自Apple Computer Corp.的Mac OS X操作系统;从许多厂商可得到或
被称为开源的Unix或Linux类型操作系统;另一或将来的操作系统;或者其某种组合。操作系统以公知的方式与固件和硬件对接,并且促进处理器协调和执行可以以各种编程语言编写的各种计算机程序的功能。典型地与处理器协作的操作系统协调和执行计算机的其
它组件的功能。操作系统还提供调度、输入-输出控制、文件和数据管理、存储器管理和通信控制以及相关服务,这全部都依照已知技术。系统存储器可以包括任何各种已知或将来的存储器存储设备,其可以用于存储所期望的信息并且可以由计算机访问。计算机可读存储介质可以包括被实现在用于存储诸如计算机可读指令、数据结构、程序模块或其它数据之类的信息的任何方法或技术中的易失性和非易失性、可移除和不可移除介质。示例包括任何常见可得到的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、数字多功能盘(DVD)、磁性介质,诸如驻留硬盘或磁带、光学介质,诸如读写压缩盘或其它存储器存储设备。存储器存储设备可以包括任何各种已知的或将来的设备,包括压缩盘驱动器、磁带驱动器、可移除硬盘驱动器、USB或闪速驱动器或磁盘驱动器。这样的类型的存储器存储设备典型地从分别诸如压缩盘、磁带、可移除硬盘、USB或闪速驱动器或软盘之类的程序存储介质读取和/或向其写入。现在在使用中的或者可以稍后开发的这些程序存储介质或其它设备中的任一个可以被视为计算机程序产品。如将领会到的,这些程序存储介质典型地存储计算机软件程序和/或数据。还称为计算机控制逻辑的计算机软件程序典型地存储在系统存储器和/或与存储器存储设备结合使用的程序存储设备中。在一些实施例中,将计算机程序产品描述为包括具有存储在其中的控制逻辑(计算机软件程序,包括程序代码)的计算机可用介质。控制逻辑在由处理器执行时使处理器执行本文所描述的功能。在其它实施例中,一些功能主要是使用例如硬件状态机以硬件实现的。以便于执行本文所描述的功能的硬件状态机的实现对相关领域技术人员是显而易见的。输入-输出控制器可以包括用于接受和处理来自用户(无论是人类还是机器,无论是本地还是远程的)的信息的任何各种已知设备。这样的设备包括例如调制解调器卡、无线卡、网络接口卡、声卡或用于任何各种已知输入设备的其它类型的控制器。输出控制器可以包括针对用于向用户(无论是人类还是机器,无论是本地还是远程的)呈现信息的任何各种已知显示设备的控制器。在本文描述的实施例中,计算机的功能元件经由系统总线与彼此通信。计算机的一些实施例可以使用网格或其它类型的远程通信与一些功能元件通信。如对相关领域技术人员显然的,仪器控制和/或数据处理应用如果被实现在元件中则可以加载到系统存储器和/或
存储器存储设备中并且从其执行。仪器控制和/或数据处理应用中的全部或部分还可以驻留在只读存储器或存储器存储设备的类似设备中,这样的设备不要求仪器控制和/或数据处理应用首先通过输入-输出控制器加载。相关领域技术人员将理解到,仪器控制和/或
数据处理应用或其部分可以通过处理器以已知的方式加载到系统存储器或高速缓冲存储
器或这二者中,因为这有利于执行。同样地,计算机可以包括一个或多个库文件、实验数据文件和存储在系统存储器中的互联网客户端。例如,实验数据可以包括涉及一个或多个实验或化验的数据,诸如所检测到的信号值,或与一个或多个合成测序(SBS)实验或过程相关联的其它值。此外,互联网客户端可以包括被使得能够使用网络访问另一计算机上的远程服务的应用并且可以例如包括一般称为“网页浏览器”的应用。在本示例中,一些常用的网页浏览器包括从Microsoft公司可得到的Microsoft Internet Explorer、来自Mozilla公司的Mozilla Firefox、来自Apple Computer Corp.的Safari、来自Google公司的Google Chrome或本领域中当前已知的或将来开发的其它类型的网页浏览器。同样地,在相同或其它的实施例中,互联网客户端可以包括被使得能够经由网络访问远程信息的专用软件应用(诸如用于生物学应用的数据处理应用)或者可以是其的元件。网络可以包括对本领域普通技术人员而言公知的许多各种类型的网络中的一个或多个。例如,网络可以包括局域网或广域网,其可以采用通常称为TCP/IP协议套件的协议来进行通信。网络可以包括包含通常称为互联网的互连计算机网络的全球系统的网络,或者还可以包括各种内联网架构。相关领域普通技术人员还将领会到,联网环境中的一些用户可能偏好采用一般称为“防火墙”(有时还称为分组过滤器或边境保护设备)来控制去往和来自硬件和/或软件系统的信息业务。例如,防火墙可以包括硬件或软件元件或其某种组合并且典型地被设计成强制用户落实就位安全策略,诸如例如网络管理员等。已经描述了许多实施例,但是技术人员理解到,本公开仍旧涵盖其它实施例。本领域技术人员将领会到,可以对以上描述的实施例做出改变而不脱离于其宽泛的发明概念。因此,要理解的是,本公开和发明概念不限于所公开的特定实施例,而是意图覆盖如在随附权利要求中限定的所包括的发明概念的精神和范围内的修改。因此,各种实施例的以上描述不一定暗示排他。例如,“一些”实施例或“其它”实施例可以包括本发明的范围内的“一些”、“其它”、“另外”和“某些”实施例中的全部或部分。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈