[0001] 本
发明涉及根据
权利要求1或
专利权利要求16的前序部分所述的用于创建医学图像数据库的方法和系统。
[0002] 本发明涉及技术领域，尤其是医学的
图像处理，例如医学图像数据的图像处理的技术领域，该图像数据由诊断成像方法产生。在此例如是二维或三维CT或MRT录像、超声录像或显微录像。同样，本发明的优选方面涉及用于处理医学文本例如期刊以及书面诊断文本、患者报告的方法。
[0003] 该领域的关键挑战在于确定诊断相关的特征，利用所述特征可为相关医生提供可靠的支持。
[0004] 尤其是在医学领域，当仅提供视觉信息作为搜索的
基础，搜索图像数据例如
X射线录像或计算机
断层的录像是非常困难和耗时的。由于一种
疾病往往只会引起人体内小规模的变化，这些录像代表相似的解剖结构、变化或疾病症状，因此可以配属于相似的医疗病例。
[0005] 然而，尤其是在临床领域中，需要精确地、甚至在广泛的医学数据库中快速可实施地搜索相似图像数据，以便尽可能迅速地为当前病例获取相似的病例并基于此对当前病例进行诊断。
[0006] 因此，本发明的目的在于提供一种有效创建医学图像数据库的方法，以便可以精确和快速地搜索它们。尤其是，本发明的目的是基于内容标准进行图像搜索。在这种关联下，大概为此可以使用诸如卷积神经网络(CNN)或
递归神经网络(RNN)的现代
深度学习方法是有利的。
[0007] 本发明通过一种带有权利要求1的标志性特征的、用于创建医学图像数据库的方法来实现该目的，其中a)预先给定数据记录，所述数据记录包括人体的各部分的二维或多维初始图像的子图像，并且其中优选地
[0008] -对于初始图像的每个子图像，在所述初始图像中的相应
位置是已知的，和/或[0009] -单个的所述初始图像或子图像在必要时设有附加信息，
[0010] -子图像也可以对应于整个初始图像。
[0011] 根据本发明地在此设置了，
[0012] b)创建为了从所述子图像中获得
特征向量的投影，
[0013] -尤其是在视觉上或语义上相似的所述子图像以较小的间隔被映射至特征向量上，并且
[0014] -其中为了准备执行所述投影，在预先给定的学习子图像的基础上创建神经网络、尤其是卷积神经网络，其中所述数据记录或所述数据记录的一部分在神经网络的度量学习方法的
框架中用于从学习子图像或者学习子图像组中、以及从学习子图像之间的待实现的预先给定的相似性中掌握所述特征向量的投影和创建，其中相关的所述度量学习方法[schroff2015]基于以下一个或者多个预先给定内容：
[0015] -学习子图像的n元组或学习子图像组预先给定成相似的，所述学习子图像是相互轻微移位、旋转、扭曲或拉伸的并且源于相同的初始图像进行创建，和/或
[0016] -学习子图像的n元组或学习子图像组预先给定成相似的，所述学习子图像源于所述初始图像的相同子区域进行创建，其中相对于所述初始图像的所述子区域如此
修改所述学习子图像中的至少一个，使得所述学习子图像具有不同的噪声和/或具有不同的图像强度和/或不同的
对比度，和/或
[0017] -源于相同初始图像或初始图像组的子区域的n元组预先给定成学习子图像，其中各个所述学习子图像和n元组的图像之间待实现的相似性取决于初始图像中相关子区域的空间间距，其中初始图像中的相关子区域越靠近，学习子图像尤其是被看作是更相似的，和/或
[0018] -创建子图像中所包含的信息的压缩表示，
[0019] -预先给定来自相同的初始图像4a、4b、4c或不同的初始图像4a、4b、4c的学习子图像或学习子图像组，所述初始图像基于利用相应的所述初始图像4a、4b、4c存储的外部特征例如文本、数字或语义信息可以被看作是相似的，
[0020] c)其中投影被应用于所述数据记录的所述子图像和/或其他数据记录的一些其他子图像，并且相应地对于这些子图像分别得到至少一个特征向量，并且
[0021] d)其中如此创建的特征向量，尤其是与初始图像和/或数据记录或其他数据记录相关联的特征向量，被存储在索引数据结构中。
[0022] 本发明是特别有利的，这是因为例如对于放射科医师而言，利用如此创建的图像数据库可以找到与预先给定的医学图像或子图像相似的、存储在所创建的数据库中的子图像，其可选地提供有附加信息。同样也可以从数据库中获取子图像的相似案例，所述案例例如对于放射科医师包括改进的信息。
[0023] 为了例如将来自患者的病例的信息有效地存储在数据库中，可以设置，在所述数据记录中存储附加信息，其中所述附加信息被预先给定为文本信息和/或语义信息和/或数字信息，并且
[0024] -可选地，当存在文本信息或数字信息时，将所述文本信息或所述数字信息作为标签和/或语义表示存储在所述数据库中。
[0025] 为了能够从子图像获得可特别精确且可快速搜索到的特征向量，可以设置，神经网络的所述附加信息用于创建所述投影，其中如此创建所述投影，即源于初始图像或者对应于分配有相同的附加信息的子图像的学习子图像被设置为相似的。
[0026] 可以实现特别快速且高效在数据库中搜索涉及特定身体部位的疾病案例的图像数据，即当获取初始图像的所述子图像相对于所述人体的相应位置，
[0027] 并且尤其是使用关于神经网络的所述子图像的所述位置的信息以掌握用于估计子图像的位置的投影，
[0028] -其中利用目标函数学习投影，通过映射子图像对或组，所述投影之前和之后的对/组的空间
星座图是相似的，和/或
[0029] -其中基于子图像的已知插图来学习(例如来自注册方法)位置上的所述投影，[0030] -其中除了所述特征向量之外，已学习的或已知的位置信息存储在所述数据库中，[0031] -其中，当存在搜索查询时，获取身体中所搜索的位置，并且在所述数据库中搜索子图像的特征向量，对于所述特征向量，相同的位置存储在其数据记录中，或者所述特征向量的位置不超过由用户预先给定的、关于所搜索的位置的距离
阈值。
[0032] 为了在数据库中实施精确的、计算上有效的搜索，例如搜索关于特定病例的图像数据，可以设置由用户说明文本信息、数字信息和/或语义信息，以创建搜索查询，[0033] -可选地，将所述文本信息或数字信息转换成标签和/或语义表示，
[0034] -当存在搜索查询时，在所述数据库中搜索拥有相似的标签和/或语义表示的特征向量，
[0035] -从至少一个二维或多维检查图像中或者在检查
图像序列中选择至少一个查询图像、尤其是选择感兴趣区域的查询图像，为了创建搜索查询，
[0036] -对于按照权利要求1的步骤c的查询图像，根据所掌握的投影确定特征向量，[0037] -在所述数据库中搜索具有特征向量的数据记录，所述特征向量基于预先给定的度量处于所述查询图像的所述特征向量的附近，并且作为所述搜索查询的结果输出数据记录，所述数据记录的子图像具有与选择区域相似的外观或者在语义上是相关的。
[0038] 为了从例如三维的数据图像出发也能在包括二维数据图像的数据库中实施搜索，可以设置，为了通过创建截面来搜索用于检查图像或检查图像序列的相似图像，创建维度减小的并且必要时其尺寸减小的查询子图像，并且该查询子图像用于搜索查询。
[0039] 为了保持搜索结果的数量尽可能低，从而仅获取和输出对于用户最相关的搜索结果，可以设置，当在所述数据库中搜索相似的特征向量时，基于在所述数据库中的相关的所述数据记录中存储的标签和/或语义表示来排除搜索结果，尤其是在由用户预先给定的针对标签和/或语义表示的标准下排除搜索结果，和/或，作为所述搜索查询的结果，创建和输出分别获取的所述数据记录的优先顺序，所述优先顺序按照所述数据记录与搜索查询的所述标签和/或语义表示的相似性或一致性和/或按照所述数据记录的和/或通过相关的所述特征向量的间距确定的、与所述搜索查询的至少一个查询图像的相似性进行排列。
[0040] 为了不仅向用户提供作为搜索查询的结果的图像数据而且还提供附加信息或统计数据，可以设置，作为搜索查询的结果，输出在各个数据记录中被存储为标签的文本信息、数字信息和/或被存储为语义表示的所述语义信息，和/或
[0041] -对与所述选择区域相似的所述子图像的所述标签进行统计学上地评估并且输出所述统计结果。
[0042] 为了确保患者数据的保护，例如如果用户通过因特网向数据库传输搜索查询，则可以设置，在通过所述用户将所述搜索查询传输到所述数据库之前，将所述搜索查询所基于的所述检查图像和/或检查图像序列和/或文本信息和/或数字信息和/或语义信息匿名化。。
[0043] 为了以结构化的方式为用户准备针对搜索查询所获取的结果，可以设置，在没有搜索查询的情况下，直接基于在所述数据库中存在的数据，在所述数据库中创建并输出带有相似的特征向量的、子图像和/或文本信息和/或数字信息和/或语义数据的组，并且必要时，输出关于这些组的附加信息，和/或
[0044] -鉴于用户在所述数据库中的所述搜索查询，创建并输出带有相似的特征向量的、子图像和/或文本信息和/或数字信息和/或语义数据的相邻组，并且必要时，输出关于这些组的附加信息。
[0045] 为了能够在多个数据库中连续进行级联搜索，其中每个进一步的搜索查询分别基于已经获取的搜索结果，可以设置，作为针对所述数据库的第一搜索查询的结果所获取的所述搜索结果，尤其是子图像、组信息、文本信息，数字信息和/或语义信息被至少用于创建另一个搜索查询，并且
[0046] -将所述另一个搜索查询输送到至少另一个数据库，和/或
[0047] -为了创建针对所述至少另一个数据库的所述至少另一个搜索查询，使用作为针对所述数据库的所述第一搜索查询的结果的其他信息，
[0048] -尤其是使用被输出的统计结果和/或初始图像和/或相似的子图像，其中，针对在所述至少另一个数据库的所述另一个搜索查询，必要时减少所输出的所述初始图像和/或所输出的所述子图像的维度。
[0049] 为了特别精确地创建考虑用户无法直接
访问的数据库的搜索结果的搜索查询，可以设置，所述数据库的单个数据记录可考虑仅仅用于形成投影功能，但是不能作为查询结果提供给用户以进行观看。
[0050] 为了能够使用其
像素尺寸或
体素尺寸未知的初始图像或子图像用于创建数据库或创建向数据库的搜索查询，可以设置，在所述数据记录中存储关于所述初始图像或子图像的像素尺寸或体素尺寸的尺寸说明，或
[0051] 通过以下方式预先给定用于初始图像或子图像的像素尺寸或体素尺寸，即搜索尤其是源于相同身体部位的、带有已知像素尺寸或体素尺寸的相似的参考初始图像或参考子图像，
[0052] -随后通过图像对比搜索缩放，利用所述缩放能够将所述原始图像或子图像与所述参考初始图像与参考子图像实现最佳匹配，
[0053] -并且基于该缩放和所述参考初始图像或参考子图像的已知的所述像素尺寸或体素尺寸，获取所述初始图像或子图像的像素尺寸或体素尺寸并将其保存在所述数据库中。
[0054] 在本发明的一种优选的实施方式中，可以找到与预先给定的搜索图像相似的图像。
[0055] 在本发明的另一种有利的实施方式中，可以基于通过训练掌握的目标相似性来掌握对于查询相关的图像，可以通过基于已知图像的训练来掌握该目标相似性。尤其是，还可以通过训练来掌握说明两个图像之间的间距的间距函数。
[0056] 本发明的另一种有利的实施方式使得能够基于改进的数据基础来更优地确定两个图像之间的间距函数，所述数据基础包括关于相关患者的信息、曲线、诊断、关于疾病
进程的数据、预测和图像数据。在此，可以在训练之后基于部分数据、仅基于
生物医学图像数据例如获取近似目标相似度。该目标相似性可用于稍后对疾病过程进行诊断或预测。本发明的该实施方式能够创建间距函数，所述间距函数还仅基于部分可用数据、如尤其是仅基于图像数据确定目标相似性的基本特征。
[0057] 在本发明的一种优选的实施方式中，还可以基于相似性函数或间距函数来创建训练，仅基于用于图像处理的CNN和用于文字处理的RNN创建和得到索引。
[0058] 本发明优选的实施方式的另一个优点是基于初始案例或查询案例的可用图像信息找到相关案例、患者和患者信息，其中在查询时仅为用户仅提供一个图像作为搜索基础。由于数据中的语义差异，相似案例之间的直接分配通常难以建模。
[0059] 在本发明的一种优选的实施方式中，可以获得用于基于图像内的用户预先给定的搜索区域对搜索结果进行排列的间距函数，必要时结合其他地患者信息例如年龄或性别。
[0060] 在本发明的另一种实施方式中，可以呈现对于用户的最相关或最高排列的结果。用户可以根据他的经验确认这些结果。
[0061] 特别有利的是，本发明的单个实施方式可以学习大量关联、创建索引、获得间距函数，并且在没有手动注释的情况下，基于在医院的日常操作中积累的数据来掌握统计学的评估和建模。
[0062] 此外特别有利的是，在本发明的单个实施方式中，可以将附加数据源例如专业文章、录像、图像和描绘、教学材料和相似的附加信息一同纳入到搜索中，并且由此可以明显地促进诊断和评估。这尤其是可以通过简单地使用在大型的在医院的日常操作中积累的数据池上获得的数据模型来实现。同样，基于查询图像的搜索或评估也可以基于广泛的数据池来实施，但是不需要显示数据库所基于的单个数据记录，这是因为尤其是仅仅可以访问其他数据记录。
[0063] 本发明的另一种优选的实施方式使用2D、3D或更高维度的录像，例如放射录像、CT录像或MR录像，以便为用户提供医院内部数据库的视觉上相似的医学相关案例。
[0064] 本发明的另一种实施方式用于训练使用配属于各个诊断报告的可用的语义信息。同样，可以使用医学文献中的自动全文搜索。
[0065] 本发明的另一种优选的实施方式涉及一种用于基于由图像和感兴趣区域组成的用户的搜索查询来尤其是同时地搜索医学图像数据、医学文本信息和语义信息的系统。感兴趣区域还可以包括整个图像。系统获取相关数据记录的优先顺序作为搜索查询结果。更相关或与图片更相似的数据记录的排列高于不太相关或不太相似的数据记录。数据记录通常包括：
[0066] -医学图像数据，例如但不限于
计算机断层扫描的或核
磁共振成像的图像数据，[0067] -医学文本信息，例如但不限于放射学报告、医学
网站、出版物、文学、教育信息源或其他材料，
[0068] -语义信息，例如但不限于检查图像的被标记的部分报告和来自临床文本的语义信息，以及
[0069] 为了实施单个操作，系统具有索引单元、学习单元和搜索单元。
[0070] 优选地，索引单元和学习单元利用来自各种区域的数据进行训练，例如(1)医学图像数据，例如但不限于计算机断层扫描的或
核磁共振成像的图像数据，和同时(2)来自文档的图像数据，例如但不限于网页、出版物、文献、教学信息源或其他材料，并且和(3)语义信息。
[0071] 优选地，索引单元和学习单元将额外利用患者特定数据训练，例如放射学报告和来自放射学报告的语义信息。
[0072] 学习单元和索引单元使用来自域的语义标记或文本信息作为训练和索引其他域的数据的附加成本项，则是特别有利的。
[0073] 此外有利的是，学习单元隐含地关注具有语义意义的图像数据的子区域、例如基于来自其他域的数据的子图像，例如计算机断层扫描的或核磁共振成像的体积。
[0074] 此外这也是有利的，即，学习单元额外地可以基于另一个域中的已知标度确定一个域中的图像数据的标度，即使第一域中的物理尺寸或
分辨率是未知的。索引单元还将所获取的标度与图像数据一起索引。
[0075] 最后，有利的是，学习单元可以训练将
块部映射至公共空间参考
帧的CNN，其中所得到的模型可以用于将各个块部映射至参考帧中，但也可以用于将整个体积映射至该参考帧中并且以这种方式登记图像数据。
[0076] 此外，可以有利地设置，学习单元可以借助于CNN估计尤其是待获取的某些图像部段的位置，其中额外地，索引单元将所估计的位置与图像数据一起索引，或者其中，索引单元自动确定查询图像的位置和查询图像中解剖学参考系中的位置，由此能够例如为了搜索查询的丰富度进一步使用参考坐标或解剖结构的名称，或解剖结构的图示作为搜索查询的结果。
[0077] 此外有利的是，在预先给定的一个或多个单词的情况下，学习单元可以对出现在诸如RadLex、MESH、Snomed或其他的术语或本体中的一系列语义项或标识符之一的可能性进行预测。
[0078] 此外有利的是，学习单元在预先给定一个或多个单词的情况下训练RNN，所述一个/多个单词的可能性表示医学专业术语的一系列语义标识符之一。额外地，可以训练和预测得分，所述得分例如关于这些标识符说明“丢失的”、“更可能存在的”或“存在的”。训练可以有利地额外地将预测成本函数与附加成本函数组合，以对单词序列或字符序列进行建模。
[0079] 子图像不一定必须是截面或块部，并且可以不具有立方体或非矩形形状，例如具有圆形或球形。
[0080] 除了元数据或附加信息之外例如患者年龄、阻滞位置、语义信息，索引单元优选地将每个图像的子图像、截面或块部的紧凑表示存储在为快速搜索而优化的数据结构中。
[0081] 有利地，搜索单元使用用于找到最相似结果的索引，并且如果希望，则可以将元数据用作搜索时的限制。
[0082] 本发明的另一个有利的改进方案设置了，索引单元中的数据结构用于按照结构搜索被索引的数据，例如在数据或元数据中查找集群。
[0083] 此外，可以有利地设置，索引单元以段落向量或单词向量的形式存储项或文本信息的索引。
[0084] 索引单元有利地掌握低维可分离的
过滤器并处理它们以提高搜索速度。
[0085] 特别有利地可以设置，索引单元连接图像数据和文本数据以及语义数据的索引。
[0086] 特别有利的是，可以设置，搜索单元获取被排列的相关数据记录或案例的结果，从而使得更相关或更相似的数据记录的排列高于不太相关或不太相似的数据记录，
[0087] 其中，由考虑到相关语义相似性的投影(表示函数)确定优先顺序，即使它仅接收图像和ROI作为输入信息，
[0088] 其中所述投影(表示函数)基于CNN和RNN，所述CNN和RNN由下列内容训练，[0089] -以相对位置为导向的成本函数，和/或
[0090] -半监督成本函数，
[0091] -弱监控成本函数。
[0092] 此外，还可以有利地级联根据本发明的方法，以便在级联的框架中获得信息。
[0093] 可以有利地设置，搜索单元利用来自不同域的不同索引中的搜索查询的结果、例如利用图像或文本信息或语义上来丰富用户的搜索查询，以便执行后续的搜索查询。该搜索可以提供相关或更相关的信息，尤其是在将其用于创建进一步查询的情况下。
[0094] 最后可以设置，在传输数据之前，由用户或其他系统提供的搜索数据在浏览器中匿名化。
[0095] 从
说明书和
附图中得出本发明的其他优点和设计方案。
[0096] 下面参考附图示意性地示出了本发明的特别有利但理解成非限制性的
实施例，并且参考附图对实施例进行了示例性的描述：
[0097] 图1示意性地示出了在数据库中创建数据记录。
[0098] 图2示意性地示出了向图1的数据库进行搜索查询。
[0099] 图3示意性地示出了多数据库搜索方法的流程。
[0100] 创建具有医学图像数据的数据库
[0101] 图1示出了具有医学图像数据的数据库2的示意图，所述医学图像数据例如在医院中在对患者进行检查时被采集。数据库2可在医院的
服务器上或通过因特网上访问，并且在图1中包括多个数据记录1a、1b、1c，其中每个数据记录包括人体的各部分的二维或多维初始图像4a、4b、4c的子图像3a、3b、3c(参见图2)。
[0102] 为了创建数据库2，首先将医学图像数据(例如通过放射学方法或磁核磁共振方法获得的图像数据)预先给定为初始图像4a、4b、4c。在此例如是二维的X光录像、超声图像数据或来自成像
显微镜方法的数据，而也可以是三维的X光或核磁共振成像的录像或四维的
造影剂图像序列。在初始图像4a、4b、4c中，例如通过沿着相应的初始图像4a、4b、4c移位具有一个或不同网格尺寸的像素网格来系统地选择大量子区域，其中所选择的子区域作为子图像3a、3b、3c存储在数据库2的数据记录1a、1b、1c中。通过选择子图像3a、3b、3c，例如通过沿相应的初始图像4a、4b、4c系统地移动像素网格，使得它们在初始图像4a、4b、4c中的位置也是已知的并且从初始图像4a、4b、4c中分别选择例如100，000个子图像3a、3b、3c。然而，[0103] 3a、3b、3c也可以对应于整个初始图像4a、4b、4c。
[0104] 图1中所示出的、数据记录1a的初始图像4a是患者
肺部的三维计算机断层扫描摄像。在此，在数据记录1a的初始图像4a中可以看出，患者右侧肺翼的部分区域具有变化。在图2中示出了同样存储在图1中示意性示出的数据库2中的初始图像4b、4c和从中选择的数据记录1b、1c的子图像3b、3c。当创建数据库2时，为了实现节省空间的结构或者说为了实现数据库2的、对于内容相关的子图像的可快速彻底搜索性，创建为了从所述子图像3a、3b、3c中获得特征向量6a、6b、6c的投影。在此，投影将尤其是在视觉上或语义上相似的子图像3a、3b、3c映射至相似的特征向量6a、6b、6c，并且当应用于子图像3a、3b、3c时，提供特征向量
6a、6b、6c，其中，尤其是相应的特征向量6a、6b、6c的条目数量小于子图像3a、3b、3c的像素数。
[0105] 与子图像3a、3b、3c的像素数量相比下特征向量6a、6b、6c的条目的减少有利地导致数据库2的更快的可彻底搜索性。替代耗费时间和计算能
力的数据库2中的彻底搜索以寻找相似的初始图像4a、4b、4c或者初始图像4a、4b、4c的子图像3a、3b、3c，寻找表示子图像3a、3b、3c或初始图像4a、4b、4c的、相似特征向量6a、6b、6c的彻底搜索便已经足够了。此外，该投影允许子图像3a、3b、3c具有不同的外观，利用所述子图像3a、3b、3c，存储相似的语义信息例如相同的疾病，以映射至相似的特征向量，这将在下面更详细地讨论。子图像3a、3b、
3c则也被映射至相似的特征向量6a、6b、6c，在所述特征向量上，例如成像的组织具有带有不同视觉外观图像的变化，但是所述变化可以配属于相同的疾病。
[0106] 为了准备实施所述投影，在预先给定的学习数据记录的基础上创建神经网络、尤其是卷积神经网络。所述数据记录1a、1b、1c或所述数据记录的一部分1a、1b、1c在神经网络的度量学习方法的框架中用于从学习子图像中以及从学习子图像之间的、待实现的预先给定的相似性中掌握所述投影和所述创建特征向量6a、6b、6c。
[0107] 为了有效地掌握投影或者说创建特征向量6a、6b、6c，在此将一个或多个以下类型的学习子图像的n元组或学习子图像组对于相关的度量学习方法[例如参见Yang2006，schroff2015]预先给定成相似的：
[0108] -源于相同的初始图像4a、4b、4c创建相互轻微移位、旋转、扭曲或拉伸的学习子图像，和/或
[0109] -学习子图像，所述学习子图像源于初始图像4a、4b、4c的相同子区域进行创建，其中相对于初始图像4a、4b、4c的子区域如此修改至少一个学习子图像，使得所述学习子图像具有不同的噪声和/或具有不同的图像强度和/或不同的对比度，和/或
[0110] -源于相同初始图像4a、4b、4c的子区域的子图像，其中各个学习子图像和n元组的图像之间待实现的相似性取决于初始图像4a、4b、4c中相关子区域的空间间距，其中初始图像4a、4b、4c中的各个子区域越靠近，学习子图像尤其是被认为更相似的，和/或[0111] -创建子图像3a、3b、3c中所包含的信息的压缩表示(例如在下列文献中呈现：Bengio、Yoshua、Aaron Courville和Pascal Vincent在《IEEE transactions on pattem analysis and machine intelligence》2013年第35卷第8期第1798-1828页发表的“Representation learning：A review and new perspectives(表示学习：综述与新观点)”以及Goodfellow、lan等人在《Advances in neural Information Processing Systems》2014年发表的“Generative adversarial nets(生成对抗网络)”)；
[0112] -相同的初始图像4a、4b、4c或不同的初始图像4a、4b、4c的学习子图像，所述初始图像基于利用相应的初始图像4a、4b、4c存储的外部特征例如文本、数字或语义信息可以被看作是相似的。
[0113] 在该学习阶段之后，索引单元的投影被应用于数据记录1a、1b、1c的子图像3a、3b、3c和/或应用于其他数据记录的多个子图像，并且相应地为这些子图像创建至少一个特征向量。如此创建的特征向量6a、6b、6c尤其是与初始图像关联地存储在数据记录中。
[0114] 在图1中示例性示出的、用于数据库2的数据记录1a的特征向量6a包含18个条目，并且包括比相应的子图像3a的三维图像截图所示出的显著少得多的条目。
[0115] 用于创建数据库2所预先给定的单个初始图像4a、4b、4c或子图像3a、3b、3c可以必要时设有附加信息5，其中所述附加信息5被预先给定为文本信息和/或语义信息和/或数字信息。附加信息5可以例如是医疗信息。例如可以说明，所映射的身体部位的一区段具有变化，在此是什么类型的变化，或者是由什么样的疾病引起这些变化。然而，附加信息5也可以是个人信息，例如患者的年龄和性别。该附加信息5同样可以可选地存储在数据库2中的数据记录1a、1b、1c中。为了将这类附加信息5紧凑地存储在数据库2中并且映射语义相关的关系，文本信息或数字信息用作标签和/或语义表示7a、7b、7c和/或语义信息作为语义表示7a、7b、7c存储在索引数据结构中。
[0116] 在图1所示出的示例中，患者病历中的条目可用作数据库2中的数据记录1a的附加信息5。在此，代替病历的文本内容，在患者病例中的用于年龄和性别以及病象的条目的语义表示7a存储在数据库2中的数据记录1a中。在示例中涉及被诊断患有肺癌的93岁男性患者。在这种情况下，数字组合被存储为语义表示7a：“82”表示患者的性别，“93”表示年龄，“16”表示被诊断的疾病。更复杂的信息如临床研究结果中更广泛的描述可以通过经过专
门训练的神经网络(如递归神经网络(RNN))(例如在下列文献中呈现：Sundermeyer、Martin、Ralf Schlüter和Hermann Ney在《Thirteenth Annual Conference of the International Speech Communication Association》2012年发表的“LSTM neural networks for language modeling(用于
语言建模的LSTM神经网络)”)或者具有注意力基质的卷积神经网络(CNN)(例如在下列文献中呈现：Vaswani、Ashish等人在《arXiv preprint arXiv》2017年1706.03762发表的“Attention Is All You Need(你只需要注意力)”)““。可选地与加权(例如“不存在”/“轻微显示出”/“可能存在”/“一定存在”)一起转换为语义代码并且一起被存储。替代地，可以由神经网络例如段落向量(例如在下列文献中呈现Dai、Andrew M.、Christopher Olah和Quoc V.Le.在《arXiv preprint arXiv》2015年第
1507.07998发表的“”Document embedding with paragraph vectors(嵌入段落向量的文档)”)映射并存储整个段落和报告。
[0117] 可选地，神经网络的这类附加信息5可以用于创建将子图像3a、3b、3c映射至特征矢量6a、6b、6c的投影。在此，如此创建所述投影，即源于初始图像4a、4b、4c或者对应于分配有相同的附加信息5的子图像3a、3b、3c的学习子图像被设置为相似的。
[0118] 在图1所示出的示例中，例如为了掌握投影或者说创建特征向量6a、6b、6c设置学习子图像，在所述学习子图像上，所映射的肺组织显示出相似的变化并且所述学习子图像例如作为附加信息5被分配有相同的疾病名称。由此，在其上映射有具有相似变化的肺组织并且相应患者患有潜在相似疾病的子图像3a、3b、3c被映射至相似的特征向量6a、6b、6c。
[0119] 此外可选地，可以将初始图像4a、4b、4c的子图像3a、3b、3c相对于人体的相应位置存储在数据库2中的数据记录1a、1b、1c中。关于子图像3a、3b、3c的位置的信息可以由神经网络尤其是用于借助子图像3a、3b、3c的特征向量6a、6b、6c来掌握用于找寻身体部位的投影。
[0120] 向数据库的搜索查询
[0121] 为了创建向数据库2的搜索查询，首先由用户从至少一个二维或多维检查图像4′中或者在检查图像序列中选择至少一个查询图像3′。然而，必要时还可以将可用的附加信息5额外地用于创建搜索单元的搜索查询(只要它们存在的话)。
[0122] 替代地或额外地，为了创建搜索查询，也可以由用户说明例如诊断文本的文本信息、例如患者的年龄或年龄组的数字信息和/或例如疾病的语义信息。在此，文本信息或数字信息可以由搜索单元转换成标签和/或语义表示7a、7b、7c。随后，搜索映射相似标签和/或语义表示7a、7b、7c的特征向量6a、6b、6c。
[0123] 因此，例如可以创建寻找数据记录的搜索查询，所述数据记录例如被分配给特定的患者姓名或特定的疾病。如果用户例如创建具有“
手腕骨折”作为文本信息的搜索查询，则将预先给定的文本信息、在示例中即数字组合53转换为语义表示，并且将其传输到数据库2。在图2中的示例中，在这种情况下，输出数据记录1b作为搜索结果，在所述数据记录中存储相应的语义表示7b。
[0124] 为了基于至数据库2的图像信息创建搜索查询，在学习投影之后，首先如上所述为查询图像3′获取查询图像3′的第一或多个特征向量6′。随后，在数据库2中搜索带有特征向量6a、6b、6c的数据记录1a、1b、1c，所述特征向量基于预先给定的度量处于查询图像3′的特征向量6′的附近。作为搜索查询的结果，输出可选地被分类的子图像3a、3b、3c，所述子图像具有与选择区域相似的外观，可选地与数据记录1a、1b、1c一起被输出，或者被数据记录1a、1b、1c替换。
[0125] 由对应的特征向量与查询图像的一个或者多个特征向量的相似性对结果的子图像进行分类。数据记录1a、1b、1c与查询图像的距离以及因此可选的分类例如可以通过以下方式来获取，即通过分析存储在数据库中的结果向量的附加信息，通过分析对应于结果数据集内的结果向量的子图像的空间配置，而通过在所选择的相似性阈值内用于每个数据记录的结果向量的数量来累积每个数据记录的结果向量的距离。
[0126] 因此，可以在数据库2中基于配属于子图像3a、3b、3c的特征向量6a、6b、6c找到例如映射相似的疾病图像的子图像3a、3b、3c，而不需要执行耗费时间和计算能力的直接搜索子图像3a、3b、3c。对寻找与图像3′的特征向量6′相似的特征向量6a、6b、6c的相对快速搜索足以找到相似的子图像3a、3b、3c和与之相关的初始图像4a、4b、4c。此外，该过程方式使得能够找到特征向量6a、6b、6c和相应的子图像3a、3b、3c，所述子图像虽然在视觉上不同，但是在训练单元创建的投影之后在语义上是相关的，这是因为它们例如配属于相同的病像。
[0127] 此外，可以可选地由用户预先给定标准，以便例如在数据库2中搜索时减少潜在命中的数量。例如，在数据库2中搜索相似特征向量6a、6b、6c时，可以基于存储在数据库2中的相关数据记录1a、1b、1c中的标签和/或语义表示7a、7b、7c来排除搜索结果，其中尤其是在由用户为标签和/或语义表示7a、7b、7c预先给定的标准的情况下可以排除搜索结果。则只能搜索同性别的和相同年龄组的患者的结果。
[0128] 可选地，作为搜索查询的结果，可以输出分别获取的数据记录1a、1b、1c的优先顺序。在此，所获取的数据记录1a、1b、1c由搜索单元按照其与搜索查询的标签和/或语义表示7a、7b、7c的相似性或一致性和/或按照其尤其是通过相关特征向量6a、6b、6c的间距确定的、与搜索查询的至少一个查询图像3′的相似性进行排列，并且由此创建的优先顺序被显示给用户。
[0129] 可选地，作为搜索查询的结果，可以输出在各个数据记录1a、1b、1c中被存储为文本信息、数字信息和/或被存储为语义表示7a、7b、7c的语义信息，和/或对与选择区域的子图像3a、3b、3c相似的标签进行统计学上地评估。随后可以输出如此获得的统计结果。该统计数据例如可以在
鉴别诊断中有助于对与视觉上相似的现象或用户的变化相关联的各种病象进行分组，并且为用户进行展示。此外，例如可以由用户创建基于搜索结果简单地创建关于例如男性或女性患者患有特定疾病的
频率或特定年龄组受特定疾病影响的频率的统计数据。
[0130] 图2示出了医院的、带有在其中存储有三个数据记录1a、1b、1c的数据库2，所述数据记录包括关于患者或病例的信息。每个数据记录1a、1b、1c分别包括特征向量6a、6b、6c，所述6a、6b、6c分别源于初始图像4a、4b、4c被系统地、例如借助移位像素网格而选择的子图像3a、3b、3c创建。初始图像4a、4b、4c在图2中是三维计算机断层扫描的录像，其中初始图像4a、4c示出了肺的图像，并且初始图像4b示出了手的录像。初始图像4a、4c中所示出的肺翼分别具有肺组织的变化。在初始图像4b中所示出的手具有手腕骨折。
[0131] 图2中的数据库中的每个数据记录1a、1b、1c还分别包括语义表示7a、7b、7c。在该示例中，数字组合表示性别和诊断出的疾病，所述性别和诊断出的疾病分别在与各个初始图像4a、4b、4c相关联的患者的病例中注明。在该示例中，82代表“男性”，89代表“女性”，16代表“肺癌”诊断和53代表“手腕骨折”。
[0132] 在图2所示出的示例中，由用户向数据库2进行第一搜索查询。预先给定肺的三维计算机断层扫描的图像作为检查图像4′。在检查图像4′中，由用户选择左肺翼的截取图作为查询图像3′，因为肺翼的这个区域有变化。为了验证对他的“肺癌”的初步诊断，用户希望获得数据记录作为他向数据库2的搜索查询是结果，所述数据记录包含具有相似变化的肺组织的子图像并将相关诊断与他临时创建的诊断进行比较。
[0133] 查询图像3′首先仅用于创建第一搜索查询，其中应在数据库2中获取数据记录，在数据库2中的所述数据记录中存储查询图像3′相似的子图像。为了创建搜索查询，如上所述，首先根据所掌握的投影，从查询图像3′出发创建查询图像3′的特征向量6′，并将其作为搜索查询传送到数据库2，这在图2中作为数据库2的方向上的实线箭头被示意性地表示。随后，现在在数据库2中获取其特征向量与查询图像3′的特征向量6′相似的那些数据记录。
[0134] 在图2所示出的示例中，数据记录1a和1c作为第一搜索查询的结果输出；这种情况由来自数据库2的连续箭头表示。数据记录1a、1c的特征向量6a、6c分别出于初始图像4a、4c的子图像3a、3c创建，所述初始图像分别显示肺翼的三维计算机断层扫描的图像，其具有与查询图像3′中相似的变化。存储在数据记录1b中的特征向量6b与查询图像3′的特征向量6′没有足够的相似性，这是因为特征向量6b是基于示出了患者手部的三维计算机断层扫描的图像的截取图的初始图像4b的子图像3b创建的并且因此不被输出。
[0135] 额外地，输出存储在数据记录1a、1c中的语义表示7a、7c，所述语义表示分别包含用于诊断“肺癌”的数字组合16。因此，作为他的查询的结果，具有与其当前患者和相应诊断具有相似变化的肺组织图像的数据记录1a、1c现在供用户在“肺癌”示例中使用，以便验证他所提出的初步诊断。
[0136] 在图2所示出的示例中，患者医疗数据中的条目的语义表示7′也可用于创建搜索查询，查询基于所述患者的检查图像4′。语义表示7′在此包括“男性”的数字组合82和初步诊断“肺癌”的数字组合16。
[0137] 现在，用户将专门搜索被诊断患有肺癌的男性患者的数据记录，所述患者的肺组织显示出与当前患者相似的变化。因此，由用户向数据库2提出第二查询，其中除了查询图像3′，由用户还设定了“男性”和“肺癌”作为搜索标准。因此，为了创建第二搜索查询，查询图像3′和包括82表示“男性”和16表示“肺癌”的语义表示7′被传输到数据库2，这在图2中以沿数据库2方向的虚线箭头示意性地示出。
[0138] 在第二搜索查询中，现在在数据库2中搜索具有基于预先给定的度量位于查询图像3′的特征向量6′附近的特征向量的数据记录，其中排除其语义表示7′不包括用于“男性”的数字组合82和用于“肺癌”的数字组合82的数据记录。
[0139] 在图2所示出的示例中，作为第二搜索查询的结果输出数据记录1a，这被表示为来自数据库2的虚线箭头。数据记录1a包括与查询图像3′的特征向量6′相似的特征向量6a，并且额外地，语义表示7a包括用于“男性”的数字组合82和用于“肺癌”的数字组合16。
[0140] 尽管特征向量6c与查询图像3′的特征向量6′是相似的，数据记录1c不作为第二查询的结果被输出，这是因为语义表示7c包括用于“女性”的数字组合89，并且因此与第二查询的所有标准不一致。因此，包含男性肺癌患者的肺部录像数据记录1a供用户使用以验证他的初步诊断。
[0141] 替代地，第一搜索查询的结果例如“肺癌”用于例如在参考数据库、网站、具有科学文章的数据库或医院信息系统中搜索相关内容。此外，通过关于人体内位置的数据记录的可选附加信息，可输出与相应解剖位置(“左下肺”)或相应器官(“左下肺叶”)相关的信息。
[0142] 替代地，通过创建维度减小并且必要时减小其尺寸的查询子图像的切片可以创建检查图像4′或与检查图像序列相似的图像的搜索查询，并且该查询子图像可用于搜索查询。因此，例如可以使用更高维度的检查图像4′来创建对较低维度数据库2的搜索查询。因此，例如来自三维计算机断层扫描的图像的二维切片可以以这种方式用作用于数据库2中的搜索查询的查询子图像，所述数据库包括具有来自科学文章的插图的数据记录。
[0143] 替代地，为了创建向数据库2的搜索查询，可以由用户例如预先给定来自科学文章或来自网站的二维查询图像3′或其截取图。在此，待查询的数据库2可以包含具有二维或三维初始图像和/或子图像的数据记录1a、1b、1c。
[0144] 如果训练单元在创建为了从子图像3a、3b、3c获得特征向量6a、6b、6c的投影时被训练，即尤其是在视觉上或语义上相似的子图像3a、3b、3c不依赖于它们的子图像格式如子图像尺寸均映射至相似的特征向量6a、6b、6c，则可以源自低维的查询图像3′对高维数据库2实施这种搜索查询。
[0145] 由此，将由源于带有第一维度的学习子图像掌握的第一投射映射至相似的特征向量6a、6b、6c的子图像3a、3b、3c也由源于带有第二维度的学习子图像掌握的第二投射映射至相似的特征向量6a、6b、6c。因此，例如在三维空间中相似的结构在截面中也被识别为相似的。
[0146] 此外，可以由用户可选地预先给定具有人体中未知位置的查询图像3′，并将其作为搜索查询传输到数据库2。在这种情况下，首先获取人体中的搜索位置并在数据库中搜索子图像3a、3b、3c的特征向量6a、6b、6c，对于所述子图像，关于人体的相同位置被存储在数据记录1a、1b、1c中，或者其位置不超过由用户预先给定的、到搜索位置的距离阈值。作为搜索查询的结果，获取子图像3a、3b、3c，所述子图像显示人体的、与查询图像3′空间相似的截取图。
[0147] 可选地，在通过所述用户将所述搜索查询传输到所述数据库(2)之前，将所述搜索查询基于的所述检查图像4′和/或检查图像序列和/或文本信息和/或数字信息和/或语义信息匿名化。以这种方式，用户可以确保在进行搜索查询时不将患者的个人数据传输到数据库2。这可以根据DICOM PS3.15 2013匿名化
细则来进行。
[0148] 此外，可选地可以应用户在数据库中的搜索查询创建并且输出子图像3a、3b、3c组和/或具有相似特征向量6a、6b、6c的文本信息和/或数字信息和/或语义信息，并且必要时，获取并输出针对这些组的附加信息5和/或子图像3a、3b、3c的相邻组和/或具有相似特征向量6a、6b、6c的文本信息和/或数字信息和/或语义信息，并且必要时输出针对这些组的附加信息5。
[0149] 多数据库方法(级联搜索)
[0150] 本发明的一个实施方式提供了在若干数据库中连续执行多级搜索方法的可能性。首先，如上所述，将第一搜索查询传输到数据库2。作为向数据库2的该第一搜索查询的结果所获取的所述搜索结果，尤其是子图像3a、3b、3c、组信息、文本信息、数字信息和/或语义信息随后被用于创建至少一个另一搜索查询，并且将该另一搜索查询传输到至少另一个数据库2a。
[0151] 为了产生对至少一个另一数据库2a的至少一个另一搜索查询，作为第一搜索查询的结果，可选地或额外地输出到数据库2的其他信息，尤其是输出统计结果和/或初始图像4a、4b、4c和/或相似的子图像3a、3b、3c，其中用于至少一个另一数据库2a、例如文献数据库中的搜索查询的所输出的初始图像4a、4b、4c的和/或所输出子图像3a、3b、3c的维度必要时被减少。
[0152] 因此，例如可以基于三维子图像3a、3b、3c创建另一搜索查询，并且传输到包含二维图像的文献数据库，其中作为结果例如输出科学出版物中的二维插图的数据记录。
[0153] 图3示意性地示出了用于在图1和图2中所示出的数据库2中和在另一个数据库2a中搜索的这种搜索方法的流程，所述数据库2包括带有在患者检查框架中所获得的信息的数据记录1a、1b、1c，所述另一个数据库2a包括带有来自专业文献的信息的其他数据记录1a′、1b′。
[0154] 首先，由用户、医院中雇用的医生预先给定检查图像4′，以向数据库2创建第一搜索查询，并在其中选择查询图像3′。额外地，在所示出的示例中，为了创建到数据库2的第一搜索查询，用户说明附加信息5作为搜索标准，但这绝不是绝对必要的。基于查询图像3′，根据如上所述创建的投影创建查询图像3′的特征向量6′，将附加信息5转换为语义表示7′，并且两者均作为第一搜索查询被传输到数据库2，这作为连续箭头被示出。
[0155] 作为第一搜索查询的结果，从数据库2输出包括位于查询图像3的特征向量6′附近的特征向量6a、6b的数据记录1a、1b和与用户预先给定的语义表示7′相似的语义表示7a、7b。
[0156] 在图3中的示例中，在第一搜索查询中获取的数据记录1a、1b随后用于创建另一搜索查询。为此，创建通过三维子图像3a、3b的截面并用于创建被传输到另一数据库2a的另一搜索查询。作为第二搜索查询的结果，从另一数据库2a输出另外的数据记录1a′、1b′，所述另外的数据记录包含来自科学出版物的二维插图，所述二维插图的特征向量位于作为第一搜索查询的结果所获得的数据记录1a、1b的特征向量6a、图6b的附近。
[0157] 因此，在图3中的示例中，总共具有与他选择的查询图像3′相似的四个数据记录供用户使用，其中在该示例中，数据库2的数据记录1a、1b包含医院患者的三维子图像3a、3b或者初始图像4a、4b，并且另一数据库2a的其他数据记录1a′、1b′包含来自科学期刊的二维插图。
[0158] 此外，例如在第一搜索查询中获取的数据记录1a、1b中存储的语义表示7a、7b可用于创建第二搜索查询。在这种情况下，在另一数据库2a中获取包含与语义表示7a、7b相似的语义表示的数据记录。
[0159] 可选地，对于此类多级搜索方法，数据库2的单个数据记录1a、1b、1c可考虑仅仅用于形成投影功能，但是不能作为查询结果提供给用户以进行观看。
[0160] 这种情况在图3中由数据库2的点划线轮廓表示。尽管用户、例如具有自己的诊所的医生不能直接访问数据库2中的数据记录1a、1b、1c中，他可以使用数据库2来创建多级搜索查询。在这种情况下，为了从检查图像4′开始创建第一搜索查询，用户选择查询图像3′。对于查询图像3′，获取查询图像3′的特征向量6′并将其传输到数据库2。
[0161] 如上所述，作为结果获取其子图像3a、3b具有与所选择的查询图像3′相似的外观的数据记录1a、1b。然而，数据记录1a、1b不向用户显示，而是仅仅用于创建被传输到另一数据库2a的另一搜索查询。作为其搜索查询的结果，用户最终接收另一数据库2a的其他数据记录1a′、1b′，所述数据记录的子图像与所选择的查询图像3′和数据记录1a、1b的子图像3a、3b相似。
[0162] 用户直接将搜索查询传输到另一数据库2a的情况在图3中用虚线箭头表示。在这种情况下，用户将搜索查询直接传输到另一数据库2a，并且作为搜索查询的结果，在另一数据库2a中获取五个数据记录并显示给用户。在这种情况下，显示的搜索结果还包含较少相关的数据记录，这是因为与多级搜索相比，省略了与数据库2的数据记录1a′、1b′的相似性标准。这表明多级搜索方法提供了更精确的搜索结果。
[0163] 可选地，当创建数据库2时，在数据记录1a、1b、1c中还可以存储关于初始图像4a、4b、4c或子图像3a、3b、3c的像素尺寸或体素尺寸的尺寸说明，和/或预先给定用于初始图像
4a、4b、4c或子图像3a、3b、3c的像素尺寸或体素尺寸。
[0164] 为了预先给定像素尺寸或体素尺寸，搜索尤其是源于相同身体部位的、带有已知像素尺寸或体素尺寸的相似的参考初始图像或参考子图像，并且随后搜索缩放，利用所述缩放能够将原始图像或子图像与参考初始图像与参考子图像实现最佳匹配，并且基于该缩放和参考初始图像或参考子图像的已知像素尺寸或体素尺寸，获取初始图像4a、4b、4c或子图像3a、3b、3c的像素尺寸或体素尺寸并将其保存在数据库2中。
[0165] 以相似的方式，对于针对对此没有像素尺寸/体素尺寸与物理测量单位例如mm之间的已知的对应关系的查询图像3′的需求可以通过以下方式评估这种对应关系，即通过创建向数据库2的查询并使用作为搜索结果而获取的参考初始图像或参考子图像的像素尺寸/体素尺寸和物理单位之间的对应关系来估计查询图像3′中的对应关系。
