技术领域
[0001] 本
发明涉及用于检测对医学成像系统的滥用的设备。本发明还涉及对应的方法和
计算机程序。本文中描述的设备、方法和计算机程序尤其旨在用于在禁止性别检测的国家中防止对医学成像系统用于性别检测的滥用。
背景技术
[0002] 目前的医学成像系统(例如超声成像系统)允许临床医生对患者进行扫描、捕获图像、进行测量并且使用内置
算法。超声成像正在成为产前和产科实践的主要依靠，因为它是用于
胎儿的无创检查的成熟技术。
[0003] 然而，许多国家具有现行法律来限制超声被专家仅用于医学诊断的目的。在一些国家中，仅持照人员可以执行胎儿扫描。印度是这种国家的范例。
[0004] 在过去的四十年里，超声设备的增加可用性已经帮助了印度对儿子的文化偏见并且扭曲了全国各地的性别比。根据2011年的人口普查，一些印度州中的男女比高达113％。因此，在印度，产前性别确定通过在所谓的妊娠前和产前诊断技术(PC-PNDT)法案下的法律而被禁止。在印度，所有超声系统现在都在PC-PNDT法案的范围内。在该法案下，具有超声成像设备的设施被要求维持利用该设备执行的产前筛查的详细记录，并且由此，能够提供对它未被用于胎儿性别确定的相关授权的证明。
[0005] 即使当设施正在执行非产科扫描(像用于心脏病学、
肿瘤学等的超声扫描)时，它们仍然需要维持详细记录，增加了所有者的复杂性和成本。由于超移动超声系统的可用性和超声技术的进步，存在超声对产科用途以外的非传统用户的使用的巨大范围，像定点照护、紧急情况、重症护理等。然而，对于这些新的使用情况，诸如PC-PNDT的法律正在限制新技术的采用。
[0006] 目前，在印度，超声成像由临床医生进行，临床医生包括放射医师、超声医师、产科医师、妇产科医生、心脏病医生、眼科医生等。这样的临床医生被允许进行胎儿扫描，并且按照法律，他们公开胎儿的性别是违法的。
[0007] 然而，没有足够的现行安全措施来检查谁使用超声系统和什么程序被进行。此外，经训练的人员能够在相当短的时间内进行性别确定测试。这进而意味着印度政府以及具有类似法律的其他国家的政府没有足够的措施和数据来强制实施该法律。
[0008] 基于视频和GPS的解决方案在市场上是可获得的，能够记录正在进行的扫描的程序和/或
位置。这些解决方案能够出于审核目的而流传输并且存储图像。然而，它们遭受篡改，并且需要使它们不可缩放的手动干预。
[0009] CN102783972A公开了一种用于监测胎儿的性别的识别而无医学需要的系统。监测器用于监测超声装置的工作状态，并且超声图像被分析。该系统提供胎儿的性别的识别的图像证明，使得官方当局具有对于超声系统已经用于什么目的的证明。然而，该系统也可以遭受篡改，并且似乎在该方面是不利的。
[0010] CN1915177A公开了一种用于通过B型超声来
鉴别并记录胎儿的性别的方法，包括以下步骤：使用B型超声的
探头来获得并显示胎儿的图像，识别用于判断它是否具有性别器官的图像，以及在包含性别器官的胎儿图像的显示
频率高于预定的正常频率的情况下记录胎儿的性别。
[0011] 除了超声之外，印度政府和各种其他政府正在开始将其他成像模态带到这些法律下，诸如MRI和CT。没有用于这些模态的已知的解决方案存在。
发明内容
[0012] 本发明的目的是提供用于监测医学成像系统以便与
现有技术的系统相比更有效地防止对该系统用于性别检测的滥用的设备、方法和计算机程序。
[0013] 在本发明的第一方面中，呈现了一种用于检测对医学成像系统的滥用的设备，包括：
[0014] 数据
接口，其用于从所述医学成像系统采集医学图像数据和审核日志数据；
[0015] 处理单元，其被配置为分析所述医学图像数据以确定胎儿的一部分是否被成像在所述医学图像数据中，在确定胎儿的一部分被成像在所述医学图像数据中的情况下将所述医学图像数据和所述审核日志数据与彼此进行比较，并且基于所述比较来确定在所述医学图像数据与所述审核日志数据之间是否存在误匹配；以及
[0016] 反馈单元，其被配置为在由所述处理单元检测到误匹配的情况下生成滥用警告
信号。
[0017] 在本发明的又一方面中，呈现一种对应的方法，其包括以下步骤：
[0018] 从所述医学成像系统采集医学图像数据和审核日志数据；
[0019] 分析所述医学图像数据以确定胎儿的一部分是否被成像在所述医学图像数据中；
[0020] 在确定胎儿的一部分被成像在所述医学图像数据中的情况下将所述医学图像数据和所述审核日志数据与彼此进行比较；
[0021] 基于所述比较来确定在所述医学图像数据与所述审核日志数据之间是否存在误匹配；以及
[0022] 在检测到误匹配的情况下生成滥用警告信号。
[0023] 在本发明的另外的其他方面中，呈现了一种包括程序代码单元的计算机程序，当所述计算机程序在计算机上被执行时，所述程序代码单元用于使计算机执行上面提到的方法的步骤。
[0024] 因此，本文呈现的系统和方法将从医学图像系统日志中提取的信息与在机器上看见的实际图像相关。将审核日志数据和医学成像数据与彼此进行匹配，以查看可以识别对医学成像系统的滥用的两个数据集之间的任何误匹配是否发生。
[0025] 在本发明的意义上，审核日志数据涉及可以是按时间顺序的并且提供在医学成像系统上并且利用医学成像系统执行的活动的序列的文件证据的记录的数据集。所述审核日志数据可以例如包括关于以下的信息：所述医学成像系统何时被使用、所述医学成像系统被使用多久、所述医学成像系统被用于什么、和/或所述医学成像系统被谁使用。
[0026] 在本发明的意义上，医学成像系统可以包括但不限于超声成像系统、CT成像系统或MRI成像系统。
[0027] 通过针对审核日志数据检查医学图像数据，可以发现指向对医学成像设备的滥用或篡改的任何不当行为。
[0028] 所述处理单元可以被配置为检测例如以下中的至少一个：
[0029] (i)被记录的所述审核日志数据中指示的医学图像中的一幅医学图像在所述医学图像数据中是否是缺失的；
[0030] (ii)在所述审核日志数据中指示的图像类型与所述医学图像数据中包含的所述医学图像的图像类型之间是否存在误匹配；
[0031] (iii)在所述审核日志数据中指示的用户标识与所述医学图像数据中指示的用户标识之间是否存在误匹配；
[0032] (iv)在所述审核日志数据中指示的活动类型与所述医学图像数据中指示的活动类型之间是否存在误匹配；
[0033] (v)在所述审核日志数据中指示的图像已经被采集的焦点与所述医学图像数据中指示的所述图像已经被采集的焦点之间是否存在误匹配；
[0034] (vi)在所述审核日志数据中指示的图像已经被采集的操作频率与所述医学图像数据中指示的所述图像已经被采集的操作频率之间是否存在误匹配；
[0035] (vii)在所述审核日志数据中指示的记录时间与所述医学图像数据中指示的记录时间之间是否存在误匹配；以及
[0036] (viii)在所述审核日志数据中指示的图像的文件大小与所述医学图像数据中指示的所述图像的文件大小之间是否存在误匹配。
[0037] 所述处理单元因此被配置为检测预定的滥用模式，例如上面提到的类型中的一种，以基于医学图像数据与审核日志数据之间的比较/匹配来确定在两个数据集之间是否存在任何误匹配。如果指示对医学成像设备的篡改的任何这种模式被检测到，那么它能够用作用于进一步措施的触发点。在这种情况下，滥用警告信号由反馈单元生成。该滥用警告信号可以触发若干可能的措施，因为它们将在下面被进一步详细地描述。可能的措施是被发送到相关当局的通知的生成、或被存储在安全
数据库中的报告的生成。
[0038] 本发明因此帮助防止对医学成像设备的滥用，尤其是在这样的产前性别检测被法律禁止的国家中该设备用于性别检测的滥用。
[0039] 在又一改进中，所采集的医学图像数据被加密以甚至更有效地防止任何种类的数字篡改。
[0040] 根据本发明，所述处理单元被配置为分析所述医学图像数据以确定胎儿的一部分是否被成像在所述医学图像数据中。
[0041] 这允许自动地识别医学图像数据是由产科医学扫描(包括胎儿的被成像部分)产生还是由非产科医学扫描(不包括胎儿的任何被成像部分)产生。识别正在扫描的解剖结构的类型允许对医学活动(扫描的类型)的自动记录，因此潜在地减少满足用于防止对胎儿性别确定的滥用的法规要求所需要的努
力，并且由此支持在像印度的国家中对医学成像系统用于非产科应用的渗透。
[0042] 所述处理单元还被配置为仅仅在确定胎儿的一部分被成像在医学图像数据中的情况下将医学图像数据和审核日志数据与彼此进行比较。
[0043] 这允许减少处理和计算努力，因为上面提到的医学图像数据与审核日志数据之间的匹配仅在产科扫描的情况下被执行，然而在医学图像数据被识别为仅包含不在上面提到的用于禁止胎儿性别确定的法律法案的焦点中的非产科数据的情况下，该匹配不被执行。
[0044] 根据一
实施例，所述处理单元被配置为根据基于特征的算法来确定胎儿的一部分是否被成像在所述医学图像数据中。
[0045] 该基于特征的算法可以包括
图像处理技术，诸如
边缘检测和/或分割，以便在预期的尺寸范围内识别胎儿的典型的医学和解剖特征，例如面部的部分或其他身体部分。
[0046] 该基于特征的算法优选地结合
深度学习神经网络来实施。深度学习神经网络是对学习包含多于一个
隐藏层的
人工神经网络的任务的应用。与任务特异性算法相比，深度学习是基于学习数据表示的
机器学习方法的更宽泛家族的一部分。这种深度学习神经网络通常使用许多层非线性处理单元的级联用于特征提取和变换。它们基于数据的多个
水平的特征或表示的非监督式学习，并且学习与不同水平的抽象相对应的多个水平的表示。
[0047] 根据本发明的实施例，所述深度学习神经网络是
卷积神经网络。卷积神经网络是已经被成功地应用于分析视觉影像的深度前馈人工神经网络的类别。卷积神经网络受
生物过程启发，在所述生物过程中神经元之间的连接模式受动物视觉皮质的组织启发。卷积神经网络使用被设计为需要最小预处理的多层
感知机的变体。
[0048] 在这种卷积神经网络在所呈现的设备的处理单元内的使用的情况下，提供了卷积神经网络的多个层和子层。
[0049] 根据本发明的又一实施例，所呈现的设备的数据接口被配置为经由第一数据信道采集所述医学图像数据，并且经由与所述第一数据信道不同的第二数据信道采集所述审核日志数据。
[0050] 例如，医学图像数据可以使用视频或
图像采集卡被传输到处理单元，并且审核日志数据可以使用单独的有线或无线连接被传输到处理单元。经由单独的数据信道采集两个数据集增加了对医学成像系统的操纵的防范。
[0051] 根据本发明的又一实施例，所述数据接口被配置为进一步采集所述医学成像系统的正常运行时间，并且其中，所述处理单元被配置为将所述医学图像数据和/或所述审核日志数据与所述医学成像系统的所述正常运行时间进行比较。
[0052] 该设备因此还可以检查系统正常运行时间信息，以便检查使用时间的有效性。该信息可以针对准许准则进行匹配。如果检测到违反的模式，那么生成滥用警告信号。
[0053] 如上面已经提到的，生成滥用警告信号可以包括若干措施。在一个备选方案中，生成滥用警告信号包括将
电子消息发送到经由
数据网络(例如经由互联网)被连接到所述设备的
服务器。额外地或在另一备选方案中，生成滥用警告信号可以包括生成报告，并且将所述报告保存在
存储器或
云中。它还可以包括将被发现可疑的医学图像数据发送到云的另一服务器。更进一步地，生成滥用警告信号可以包括经由显示器向用户显示作为警告的消息，和/或将电子消息、报告和/或医学图像数据保存在本地
硬盘驱动器上。相关当局因此可以容易地检查医学成像设备是否被操纵和/或滥用用于产前性别确定。
[0054] 在从属
权利要求中限定了本发明的这些和其他实施例。应当理解，要求保护的方法和要求保护的计算机程序能够具有与要求保护的设备以及与在
从属权利要求中限定的类似和/或相同的优选实施例。
附图说明
[0055] 参考下文描述的实施例，本发明的这些和其他方面将是显而易见的并且得以阐明。在以下附图中，
[0056] 图1示出了根据一实施例的本文呈现的设备的实施方式的示意性表示；
[0057] 图2示出了图示根据一实施例的本文呈现的设备的部件的方
框图；
[0058] 图3示出了图示本文呈现的方法的第一实施例的示意性方框图；
[0059] 图4示出了图示本文呈现的方法的第二实施例的示意性方框图；
[0060] 图5示出了图示根据第一范例的本文呈现的方法的一部分的示意性方框；
[0061] 图6示出了图示根据第二范例的本文呈现的方法的一部分的示意性方框；
[0062] 图7示出了图示根据第三范例的本文呈现的方法的一部分的示意性方框；以及[0063] 图8示出了图示根据第四范例的本文呈现的方法的一部分的示意性方框。
具体实施方式
[0064] 图1示意性地图示了根据本发明的设备可以如何根据实施例在实践中被使用。
[0065] 图2以方框图方式示意性地图示了本文呈现的设备的可能部件。根据本发明的设备在其中利用附图标记10来指示。
[0066] 在图1中示出的范例中，设备10被实施为移动计算设备，例如智能手机或
平板电脑PC。然而，这仅仅是一种示范性实施方式。设备10也可以被实施在PC、服务器中或任何其他计算设备中。
[0067] 设备10经由一个或多个硬接线或无线数据连接22a、22b被连接到超声成像系统20。设备10包括数据接口12、处理单元14和反馈单元16(参见图2)。设备10的这些部件12、
14、16优选地但不一定作为单独的
硬件单元被实施在设备10内。然而，应当注意，单元12、
14、16中的一些也可以被实施在同一个硬件单元中。设备10可以包括除了在图2中示意性地图示的那些之外的另外的单元/部件。
[0068] 数据接口12被配置为从超声成像系统20采集数据。在优选实施例中，数据接口12从超声成像系统20接收超声图像数据24和审核日志数据26。这两种数据类型24、26优选地经由不同的数据信道22a、22b被接收。超声图像数据24可以经由视频采集卡被示范性地传输到设备10。审核日志数据26可以示范性地借助于 USB接口、或任何其他无线或硬接线数据接口来传输。数据24、26在连续的
基础上或在周期性的基础上被发送到设备10。
[0069] 处理单元14优选地被实施为CPU。处理单元14被配置为执行超声图像数据24与审核日志数据26之间的匹配，以便基于所述匹配来确定在超声图像数据24与审核日志数据26之间是否存在误匹配。换言之，超声图像数据针对审核日志数据进行检查，以便识别可能由对超声成像系统20的操纵或篡改引起的任何不当行为。这可以尤其用来在法律禁止未授权的胎儿性别确定的国家中在检测未授权的胎儿性别确定方面支持官方当局。
[0070] 反馈单元16被配置为在由处理单元14检测到误匹配的情况下生成滥用警告信号。滥用警告信号可以触发若干可能的措施。反馈单元16可以被配置为生成关于超声图像数据
24与审核日志数据26的匹配的报告。该报告可以用来警告官方当局。报告可以例如被发送到存在于官方当局处的
打印机28。备选地，报告或警告可以经由互联网被发送到云服务器
30。根据又一备选方案，报告或警告可以被发送到远程数据服务器或被保存在设备10内的本地硬盘驱动器上。
[0071] 报告或警告可以包括指示超声成像系统20的使用的准许准则是否满足的填写监管表格。报告或警告此外可以包括超声成像系统20的准许的和未准许的使用、警告的
跟踪、超声成像系统20的使用模式的长期分析等的
可视化。
[0072] 总的来说，这意味着设备10将从超声成像系统20提取的超声图像数据24与超声成像系统20的审核日志数据26相关。两个数据集24、26之间的任何误匹配被识别，并且使用模式被创建。如果指示对超声成像系统20的篡改或滥用的模式被检测到，那么这被用作用于进一步措施的触发点，其中，所述措施的目标主要是防止对超声成像系统20用于产前性别检测的滥用。
[0073] 处理单元14可以例如被配置为检查超声图像数据24是否包括如所记录的审核日志数据26中指示的所有图像。如果一幅图像在超声成像数据24中是缺失的，那么这可以是图像已经被手动地删除的指示器。处理单元14还可以被配置为检查审核日志数据26中指示的数据类型是否对应于超声图像数据24中包含的超声图像的数据类型。可以关于数据超声成像系统20的用户的数据、使用时间、数据大小和超声采集的类型进行类似的检查。
[0074] 图3概述了本文呈现的根据第一实施例的方法。在第一步骤S100中，从超声成像系统20采集超声图像数据24和审核日志数据26。在下一个步骤S102中，将超声图像数据24和审核日志数据26与彼此进行比较/匹配/相关。然后，在步骤S104中，基于所述比较/匹配/相关来确定在超声图像数据24与审核日志数据26之间是否存在误匹配。最后，在步骤S106中，在步骤S104中检测到误匹配的情况下可以生成滥用警告信号。
[0075] 图4示出了本文呈现的方法的第二实施例。根据该实施例的方法包括额外的方法步骤S101。在该方法步骤S101中，确定胎儿的一部分是否被成像在超声图像数据24中。换言之，确定超声图像数据24是由产科超声扫描产生还是由非产科超声扫描产生。步骤S101可以用作除了步骤S102之外的额外步骤，或在备选方案中，它可以用作在执行S102之前的前提。这意味着本文呈现的方法和设备10以如下方式被实施：使得处理单元14被配置为仅仅在确定超声图像数据由产科超声扫描产生的情况下执行超声图像数据24与审核日志数据26之间的匹配。
[0076] 在步骤S101中，优选地借助于图像处理技术来识别什么种类的解剖结构正被成像在超声图像数据中。这种识别优选地基于超声图像数据24中的表示胎儿解剖结构的高水平临床特征的存在或不存在的识别。深度学习算法优选地用作用于高水平临床特征的检测器。该深度学习算法优选地被实施为包括多个层和子层并且抽象出从第一妊娠期到第三妊娠期的超声图像中的胎儿解剖结构的更高水平临床特征的卷积神经网络。
[0077] 图5-8示出了在步骤S101中使用的基于这种深度学习的检测器可以如何在实践中被实施的四个不同实施例。
[0078] 在图5中图示的第一实施例中，深度学习神经网络被实施在超声成像系统20本身中。超声图像数据因此以常规方式被生成：首先被超
声换能器32采集，然后被波束形成器34波束形成，被传输到RF解调器36，进一步到扫描转换器38。由此生成的超声图像然后被馈送到深度学习神经网络中，在那里检测超声图像是由产科扫描产生还是由非产科扫描产生。该检测的结果最后可以被示出在超声成像系统20的显示器42上。结果优选地也被存储在审核日志数据26中。
[0079] 在图6中示意性地图示的第二范例中，由超声成像系统20生成的超声图像数据24被传输到移动计算设备，所述移动计算设备具有被存储在其上的基于深度学习的检测器40。DNL协议可以用来将2D/3D超声图像数据从超声系统20连续地流传输到移动计算设备。
DNL是超声系统中提供的特征，2D/3D超声图像数据可以经由超声系统被流传输到TCP/IP连接的移动计算设备(诸如便携式电脑、PC或工作站)。2D/3D图像数据可以被显示在移动计算设备上。在移动计算设备内，2D/3D超声图像被传递到基于深度学习的检测器，所述基于深度学习的检测器最后输出超声图像数据24是由产科扫描产生还是由非产科扫描产生的检测结果。
[0080] 备选地，超声图像数据24可以经由S-视频或复合视频数据接口被传输到微
控制器(参见图7)。当然，S-视频数据接口也可以用来将超声图像数据24传输到便携式电脑、PC或工作站系统。在图7中示出的实施例中，方法步骤S101被实施为额外的硬件外周设备，其经由S-视频输出接口从超声成像系统20接收连续流传输的2D/3D图像数据。与在之前的实施例中类似，2D/3D超声图像被传递到深度学习神经网络，以便识别2D/3D图像是由产科扫描产生还是由非产科扫描产生。
[0081] 图8图示了可以用于超移动超声系统的实施例，其中超声换能器32例如经由USB被连接到移动计算设备44(诸如
移动电话或平板电脑PC)。在该实施例中，超声换能器32因此被直接连接到移动计算设备44。例如，对于基于安卓的平板电脑和智能手机，几个背景过程可以用来实施基于深度学习神经网络的检测器。安卓媒体投影的实施方式可以用来
访问缓冲队列中的最近的
帧缓冲(H/W组成)。一旦超声探头被连接，app(基于深度学习的扫描检测器)就被启动。在从具有帧数据的媒体投影类的每一个回调期间，所需的B-模式ROI被剪裁，对帧进行降
采样，转换为NV21(YUV420sp)格式，并且将
像素数据传递到深度学习神经网络。基于深度学习的检测器的输出然后可以被发送到另一移动计算设备、任何其他远程服务器系统的云服务器。
[0082] 独立于前面提到的实施例中的哪一个被使用，深度学习神经网络优选地被实现为卷积神经网络模型，其具有卷积神经网络的多个层以及相互连接的卷积神经网络的子层。卷积神经网络包含由完全连接的层跟随的三个主要层(卷积层、规范化层和牵引层)。可以存在由完全连接的层跟随的三个卷积神经网络层。
[0083] 虽然利用卷积神经网络的实施方式是用于实施方法步骤S101的一种方式，但是应当注意，其他技术也可以用于实施所述方法步骤。
[0084] 尽管已经在附图和前面的描述中详细说明和描述了本发明，但是这样的说明和描述应当被认为是说明性或示范性的，而非限制性的；本发明不限于所公开的实施例。本领域技术人员通过研究附图、
说明书以及权利要求书，在实践
请求保护的发明时能够理解并实现对所公开的实施例的其他变型。
[0085] 尽管前面提到的实施例参考超声成像系统来进行描述，但是本发明不限于超声成像的领域。在其他实施例中，图像和日志分析可以被完成，其中图像和日志数据来自除了超声之外的模态，诸如MRI、CT或能够用于性别确定的任何其他诊断系统。
[0086] 在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个元件或其他单元可以实现在权利要求中记载的若干项的功能。尽管某些措施被记载在互不相同的从属权利要求中，但是这并不指示不能有利地使用这些措施的组合。
[0087] 计算机程序可以被存储/分布在合适的介质上，例如与其他硬件一起或作为其他硬件的部分供应的光学存储介质或固态介质，但是也可以被以其他形式分布，例如经由互联网或其他有线或无线的电信系统。
[0088] 权利要求中的任何附图标记都不应被解释为对范围的限制。
