瓣膜图像处理方法、瓣膜图像处理装置及电子设备
阅读：644发布：2020-05-08
专利汇可以提供瓣膜图像处理方法、瓣膜图像处理装置及电子设备专利检索，专利查询，专利分析的服务。并且公开了一种瓣膜 图像处理 方法、瓣膜图像处理装置和 电子 设备。该瓣膜图像处理方法包括：获取先前 帧 的第一瓣膜灰度图和第一内腔图以及当前帧的第二瓣膜灰度图和第二内腔图；基于第一瓣膜灰度图获得先前帧的第一 水 平集函数图像；通过预测器从第一瓣膜灰度图、第一水平集函数图像、第一内腔图、第二瓣膜灰度图和第二内腔图获得当前帧的第二水平集函数图像和掩码图像；通过距离正则化水平集演化 算法 从第二瓣膜灰度图、第二水平集函数图像和掩码图像获得瓣膜区域轮廓图；以及，基于瓣膜区域轮廓图确定瓣膜信息。这样，能够获得瓣膜部分的准确信息。，下面是瓣膜图像处理方法、瓣膜图像处理装置及电子设备专利的具体信息内容。
1.一种瓣膜图像处理方法，其特征在于，包括：
获取先前帧的第一瓣膜灰度图和第一内腔图以及当前帧的第二瓣膜灰度图和第二内腔图；
基于所述第一瓣膜灰度图获得所述先前帧的第一水平集函数图像；
通过预测器从所述第一瓣膜灰度图、所述第一水平集函数图像、所述第一内腔图、所述第二瓣膜灰度图和所述第二内腔图获得所述当前帧的第二水平集函数图像和掩码图像；
通过距离正则化水平集演化算法从所述第二瓣膜灰度图、所述第二水平集函数图像和所述掩码图像获得瓣膜区域轮廓图；以及
基于所述瓣膜区域轮廓图确定瓣膜信息。
2.根据权利要求1所述的瓣膜图像处理方法，其特征在于，基于所述第一瓣膜灰度图获得所述先前帧的第一水平集函数图像包括：
对所述第一瓣膜灰度图进行人工标注以获得所述第一水平集函数图像。
3.根据权利要求1所述的瓣膜图像处理方法，其特征在于，通过预测器从所述第一瓣膜灰度图、所述第一水平集函数图像、所述第一内腔图、所述第二瓣膜灰度图和所述第二内腔图获得所述当前帧的第二水平集函数图像和掩码图像包括：
基于所述第一瓣膜灰度图、所述第一水平集函数图像和所述第一内腔图确定所述先前帧的第一瓣膜轮廓；
确定所述第一瓣膜轮廓的每个边缘像素点的膨胀法向量；
以所述膨胀法向量与膨胀系数之积对于所述第一瓣膜轮廓进行向外膨胀以获得所述当前帧的第二瓣膜轮廓和掩码图像；
基于所述第二瓣膜轮廓和所述第二瓣膜灰度图获得所述第二水平集函数图像；以及基于所述第二瓣膜轮廓和所述第二内腔图获得所述掩码图像。
4.根据权利要求3所述的瓣膜图像处理方法，其特征在于，确定所述第一瓣膜轮廓的每个边缘像素点的膨胀法向量包括：
计算所述第一瓣膜轮廓的每个边缘像素点在x方向和y方向的第一梯度值和第二梯度值；以及
将所述第一梯度值与所述第二梯度值之积除以所述第一梯度值和所述第二梯度值的平方和与预定常数之和的平方根以获得所述膨胀法向量。
5.根据权利要求4所述的瓣膜图像处理方法，其特征在于，以所述膨胀法向量与膨胀系数之积对于所述第一瓣膜轮廓进行向外膨胀以获得所述当前帧的第二瓣膜轮廓和掩码图像进一步包括：
响应于所述先前帧的第一瓣膜轮廓边缘点在所述当前帧的内腔区域内，沿着所述第一瓣膜轮廓边缘点的法向量搜索；
响应于搜索到周围白色组织区域，确定搜索路径距离；以及
确定所述搜索路径距离和膨胀极限阈值的最小值为所述第一瓣膜轮廓边缘点对应的膨胀系数。
6.根据权利要求4所述的瓣膜图像处理方法，其特征在于，以所述膨胀法向量与膨胀系数之积对于所述第一瓣膜轮廓进行向外膨胀以获得所述当前帧的第二瓣膜轮廓和掩码图像进一步包括：
响应于所述先前帧的第二瓣膜轮廓边缘点在所述当前帧的瓣膜轮廓周围白色组织区域内，沿着所述第二瓣膜轮廓边缘点的法向量搜索；
响应于搜索到周围白色组织区域，确定白色组织区域的宽度；
确定小于预定阈值的预定膨胀系数；以及
确定所述预定膨胀系数、所述白色组织区域的宽度和所述膨胀极限阈值的最小值为所述第二瓣膜轮廓边缘点对应的膨胀系数。
7.根据权利要求1所述的瓣膜图像处理方法，其特征在于，基于所述瓣膜区域轮廓图确定瓣膜信息包括：
基于所述瓣膜区域轮廓图计算瓣膜轮廓边缘的向内法向量；
沿着所述向内法向量构造矩形框；
去除所述矩形框内白色组织的部分以获得优化的瓣膜区域轮廓图；以及
基于所述优化的瓣膜区域轮廓图确定瓣膜信息。
8.根据权利要求7所述的瓣膜图像处理方法，其特征在于，基于所述瓣膜区域轮廓图计算瓣膜轮廓边缘的向内法向量包括：
计算所述第一瓣膜轮廓的每个边缘像素点在x方向和y方向的第一梯度值和第二梯度值；
将所述第一梯度值与所述第二梯度值之积除以所述第一梯度值和所述第二梯度值的平方和与预定常数之和的平方根以获得膨胀法向量；以及
计算所述膨胀法向量的负值为所述向内法向量。
9.根据权利要求8所述的瓣膜图像处理方法，其特征在于，沿着所述向内法向量构造矩形框包括：
以所述每个边缘像素点作为所述矩形框的一边的中心点；以及
沿着所述向内法向量构造预定高度和预定宽度的矩形框。
10.一种瓣膜图像处理装置，其特征在于，包括：
瓣膜和内腔图像获取单元，用于获取先前帧的第一瓣膜灰度图和第一内腔图以及当前帧的第二瓣膜灰度图和第二内腔图；
水平集函数图像获取单元，用于基于所述第一瓣膜灰度图获得所述先前帧的第一水平集函数图像；
图像预测单元，用于通过预测器从所述第一瓣膜灰度图、所述第一水平集函数图像、所述第一内腔图、所述第二瓣膜灰度图和所述第二内腔图获得所述当前帧的第二水平集函数图像和掩码图像；
区域轮廓获得单元，用于通过距离正则化水平集演化算法从所述第二瓣膜灰度图、所述第二水平集函数图像和所述掩码图像获得瓣膜区域轮廓图；以及
瓣膜信息确定单元，用于基于所述瓣膜区域轮廓图确定瓣膜信息。
11.一种电子设备，包括：
处理器；以及，
存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1到9中任意一项所述的瓣膜图像处理方法。
瓣膜图像处理方法、瓣膜图像处理装置及电子设备
技术领域
[0001] 本申请涉及图像处理技术领域，且更为具体地，涉及一种瓣膜图像处理方法、瓣膜图像处理装置和电子设备。
背景技术
[0002] 瓣膜主要出现在动脉内腔区域，它和周围的白色组织区域相连，更多时候和白色组织区域具有相近的纹理和灰度，而且每个时刻瓣膜的形态和位置都会发生变化，因此给瓣膜部分的分割和跟踪带来很大的困难，如图1所示。图1图示了瓣膜连续演化过程的示意图。
[0003] 具体地，图1示出了心脏瓣膜图像的连续的多帧灰度图，即编号为737的帧到编号为741的帧。并且，通过连续两帧之间的差分计算，即连续两帧灰度图相减，可以得到用于表示两帧灰度图之间的差异和变化的图像。
[0004] 但是，无论是图1中的灰度图还是差分图像，都无法准确的获得瓣膜部分信息。
[0005] 因此，期望提供改进的瓣膜图像处理方案，以获得瓣膜部分的准确信息。发明内容
[0006] 为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种瓣膜图像处理方法、瓣膜图像处理装置和电子设备，其通过预测器从先前帧的瓣膜轮廓预测当前帧的瓣膜轮廓，并通过距离正则化水平集演化算法获得当前帧的瓣膜区域轮廓图，从而获得瓣膜部分的准确信息。
[0007] 根据本申请的一方面，提供了一种瓣膜图像处理方法，包括：获取先前帧的第一瓣膜灰度图和第一内腔图以及当前帧的第二瓣膜灰度图和第二内腔图；基于所述第一瓣膜灰度图获得所述先前帧的第一水平集函数图像；通过预测器从所述第一瓣膜灰度图、所述第一水平集函数图像、所述第一内腔图、所述第二瓣膜灰度图和所述第二内腔图获得所述当前帧的第二水平集函数图像和掩码图像；通过距离正则化水平集演化算法从所述第二瓣膜灰度图、所述第二水平集函数图像和所述掩码图像获得瓣膜区域轮廓图；以及，基于所述瓣膜区域轮廓图确定瓣膜信息。
[0008] 在上述瓣膜图像处理方法中，基于所述第一瓣膜灰度图获得所述先前帧的第一水平集函数图像包括：对所述第一瓣膜灰度图进行人工标注以获得所述第一水平集函数图像。
[0009] 在上述瓣膜图像处理方法中，通过预测器从所述第一瓣膜灰度图、所述第一水平集函数图像、所述第一内腔图、所述第二瓣膜灰度图和所述第二内腔图获得所述当前帧的第二水平集函数图像和掩码图像包括：基于所述第一瓣膜灰度图、所述第一水平集函数图像和所述第一内腔图确定所述先前帧的第一瓣膜轮廓；确定所述第一瓣膜轮廓的每个边缘像素点的膨胀法向量；以所述膨胀法向量与膨胀系数之积对于所述第一瓣膜轮廓进行向外膨胀以获得所述当前帧的第二瓣膜轮廓和掩码图像；基于所述第二瓣膜轮廓和所述第二瓣膜灰度图获得所述第二水平集函数图像；以及，基于所述第二瓣膜轮廓和所述第二内腔图获得所述掩码图像。
[0010] 在上述瓣膜图像处理方法中，确定所述第一瓣膜轮廓的每个边缘像素点的膨胀法向量包括：计算所述第一瓣膜轮廓的每个边缘像素点在x方向和y方向的第一梯度值和第二梯度值；以及，将所述第一梯度值与所述第二梯度值之积除以所述第一梯度值和所述第二梯度值的平方和与预定常数之和的平方根以获得所述膨胀法向量。
[0011] 在上述瓣膜图像处理方法中，以所述膨胀法向量与膨胀系数之积对于所述第一瓣膜轮廓进行向外膨胀以获得所述当前帧的第二瓣膜轮廓和掩码图像进一步包括：响应于所述先前帧的第一瓣膜轮廓边缘点在所述当前帧的内腔区域内，沿着所述第一瓣膜轮廓边缘点的法向量搜索；响应于搜索到周围白色组织区域，确定搜索路径距离；以及，确定所述搜索路径距离和膨胀极限阈值的最小值为所述第一瓣膜轮廓边缘点对应的膨胀系数。
[0012] 在上述瓣膜图像处理方法中，以所述膨胀法向量与膨胀系数之积对于所述第一瓣膜轮廓进行向外膨胀以获得所述当前帧的第二瓣膜轮廓和掩码图像进一步包括：响应于所述先前帧的第二瓣膜轮廓边缘点在所述当前帧的瓣膜轮廓周围白色组织区域内，沿着所述第二瓣膜轮廓边缘点的法向量搜索；响应于搜索到周围白色组织区域，确定白色组织区域的宽度；确定小于预定阈值的预定膨胀系数；以及，确定所述预定膨胀系数、所述白色组织区域的宽度和所述膨胀极限阈值的最小值为所述第二瓣膜轮廓边缘点对应的膨胀系数。
[0013] 在上述瓣膜图像处理方法中，基于所述瓣膜区域轮廓图确定瓣膜信息包括：基于所述瓣膜区域轮廓图计算瓣膜轮廓边缘的向内法向量；沿着所述向内法向量构造矩形框；去除所述矩形框内白色组织的部分以获得优化的瓣膜区域轮廓图；以及，基于所述优化的瓣膜区域轮廓图确定瓣膜信息。
[0014] 在上述瓣膜图像处理方法中，基于所述瓣膜区域轮廓图计算瓣膜轮廓边缘的向内法向量包括：计算所述第一瓣膜轮廓的每个边缘像素点在x方向和y方向的第一梯度值和第二梯度值；将所述第一梯度值与所述第二梯度值之积除以所述第一梯度值和所述第二梯度值的平方和与预定常数之和的平方根以获得膨胀法向量；以及，计算所述膨胀法向量的负值为所述向内法向量。
[0015] 在上述瓣膜图像处理方法中，沿着所述向内法向量构造矩形框包括：以所述每个边缘像素点作为所述矩形框的一边的中心点；以及，沿着所述向内法向量构造预定高度和预定宽度的矩形框。
[0016] 根据本申请的另一方面，提供了一种瓣膜图像处理装置，包括：瓣膜和内腔图像获取单元，用于获取先前帧的第一瓣膜灰度图和第一内腔图以及当前帧的第二瓣膜灰度图和第二内腔图；水平集函数图像获取单元，用于基于所述第一瓣膜灰度图获得所述先前帧的第一水平集函数图像；图像预测单元，用于通过预测器从所述第一瓣膜灰度图、所述第一水平集函数图像、所述第一内腔图、所述第二瓣膜灰度图和所述第二内腔图获得所述当前帧的第二水平集函数图像和掩码图像；区域轮廓获得单元，用于通过距离正则化水平集演化算法从所述第二瓣膜灰度图、所述第二水平集函数图像和所述掩码图像获得瓣膜区域轮廓图；以及，瓣膜信息确定单元，用于基于所述瓣膜区域轮廓图确定瓣膜信息。
[0017] 在上述瓣膜图像处理装置中，所述水平集函数图像获取单元用于：对所述第一瓣膜灰度图进行人工标注以获得所述第一水平集函数图像。
[0018] 在上述瓣膜图像处理装置中，所述图像预测单元用于：基于所述第一瓣膜灰度图、所述第一水平集函数图像和所述第一内腔图确定所述先前帧的第一瓣膜轮廓；确定所述第一瓣膜轮廓的每个边缘像素点的膨胀法向量；以所述膨胀法向量与膨胀系数之积对于所述第一瓣膜轮廓进行向外膨胀以获得所述当前帧的第二瓣膜轮廓和掩码图像；基于所述第二瓣膜轮廓和所述第二瓣膜灰度图获得所述第二水平集函数图像；以及，基于所述第二瓣膜轮廓和所述第二内腔图获得所述掩码图像。
[0019] 在上述瓣膜图像处理装置中，所述图像预测单元确定所述第一瓣膜轮廓的每个边缘像素点的膨胀法向量包括：计算所述第一瓣膜轮廓的每个边缘像素点在x方向和y方向的第一梯度值和第二梯度值；以及，将所述第一梯度值与所述第二梯度值之积除以所述第一梯度值和所述第二梯度值的平方和与预定常数之和的平方根以获得所述膨胀法向量。
[0020] 在上述瓣膜图像处理装置中，所述图像预测单元以所述膨胀法向量与膨胀系数之积对于所述第一瓣膜轮廓进行向外膨胀以获得所述当前帧的第二瓣膜轮廓和掩码图像进一步包括：响应于所述先前帧的第一瓣膜轮廓边缘点在所述当前帧的内腔区域内，沿着所述第一瓣膜轮廓边缘点的法向量搜索；响应于搜索到周围白色组织区域，确定搜索路径距离；以及，确定所述搜索路径距离和膨胀极限阈值的最小值为所述第一瓣膜轮廓边缘点对应的膨胀系数。
[0021] 在上述瓣膜图像处理装置中，所述图像预测单元以所述膨胀法向量与膨胀系数之积对于所述第一瓣膜轮廓进行向外膨胀以获得所述当前帧的第二瓣膜轮廓和掩码图像进一步包括：响应于所述先前帧的第二瓣膜轮廓边缘点在所述当前帧的瓣膜轮廓周围白色组织区域内，沿着所述第二瓣膜轮廓边缘点的法向量搜索；响应于搜索到周围白色组织区域，确定白色组织区域的宽度；确定小于预定阈值的预定膨胀系数；以及，确定所述预定膨胀系数、所述白色组织区域的宽度和所述膨胀极限阈值的最小值为所述第二瓣膜轮廓边缘点对应的膨胀系数。
[0022] 在上述瓣膜图像处理装置中，所述瓣膜信息确定单元用于：基于所述瓣膜区域轮廓图计算瓣膜轮廓边缘的向内法向量；沿着所述向内法向量构造矩形框；去除所述矩形框内白色组织的部分以获得优化的瓣膜区域轮廓图；以及，基于所述优化的瓣膜区域轮廓图确定瓣膜信息。
[0023] 在上述瓣膜图像处理装置中，所述瓣膜信息确定单元基于所述瓣膜区域轮廓图计算瓣膜轮廓边缘的向内法向量包括：计算所述第一瓣膜轮廓的每个边缘像素点在x方向和y方向的第一梯度值和第二梯度值；将所述第一梯度值与所述第二梯度值之积除以所述第一梯度值和所述第二梯度值的平方和与预定常数之和的平方根以获得膨胀法向量；以及，计算所述膨胀法向量的负值为所述向内法向量。
[0024] 在上述瓣膜图像处理装置中，所述瓣膜信息确定单元沿着所述向内法向量构造矩形框包括：以所述每个边缘像素点作为所述矩形框的一边的中心点；以及，沿着所述向内法向量构造预定高度和预定宽度的矩形框。
[0025] 根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的瓣膜图像处理方法。
[0026] 根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的瓣膜图像处理方法。
[0027] 本申请的实施例提供的瓣膜图像处理方法、瓣膜图像处理装置和电子设备，能够通过预测器从先前帧的瓣膜轮廓预测当前帧的瓣膜轮廓，并通过距离正则化水平集演化算法获得当前帧的瓣膜区域轮廓图，从而获得瓣膜部分的准确信息。附图说明
[0028] 通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0029] 图1图示了瓣膜连续演化过程的示意图。
[0030] 图2图示了根据本申请实施例的瓣膜图像处理方法的示意性流程图。
[0031] 图3图示了根据本申请实施例的瓣膜图像处理方法中的预测器的原理的示意图。
[0032] 图4图示了根据本申请实施例的瓣膜图像处理方法中的边缘优化的原理的示意图。
[0033] 图5图示了根据本申请实施例的瓣膜图像处理装置的示意性框图。
[0034] 图6图示了根据本申请实施例的电子设备的框图。
具体实施方式
[0035] 下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
[0036] 示例性方法
[0037] 图2图示了根据本申请实施例的瓣膜图像处理方法的示意性流程图。
[0038] 如图2所示，根据本申请实施例的瓣膜图像处理方法包括如下步骤。
[0039] 步骤S110，获取先前帧的第一瓣膜灰度图和第一内腔图以及当前帧的第二瓣膜灰度图和第二内腔图。这里，所述第一瓣膜灰度图和所述第二瓣膜灰度图是瓣膜图像的原始灰度图，并且，所述第一内腔图和所述第二内腔图将显示动脉内腔。
[0040] 在本申请实施例中，所述先前帧和所述当前帧可以是连续的两帧，例如所述先前帧是第N帧，所述当前帧是第N+1帧。当然，本领域技术人员可以理解，如果瓣膜的形态和位置之间的变化较小，所述先前帧和所述当前帧之间也可以间隔几帧。
[0041] 步骤S120，基于所述第一瓣膜灰度图获得所述先前帧的第一水平集函数图像。这里，所述第一水平集函数(Level Set Function：LSF)图像用于确定瓣膜部分的轮廓。在本申请实施例中，所述第一水平集函数图像可以通过针对所述第一瓣膜灰度图确定瓣膜轮廓而获得。
[0042] 在一个示例中，所述第一水平集函数图像可以通过针对所述第一瓣膜灰度图人工标注瓣膜轮廓而获得。当然，本领域技术人员可以理解，也可以通过其它图像处理方法，例如轮廓识别算法等来从所述第一瓣膜灰度图获得所述第一水平集函数图像。
[0043] 因此，在根据本申请实施例的瓣膜图像处理方法中，基于所述第一瓣膜灰度图获得所述先前帧的第一水平集函数图像包括：对所述第一瓣膜灰度图进行人工标注以获得所述第一水平集函数图像。
[0044] 步骤S130，通过预测器从所述第一瓣膜灰度图、所述第一水平集函数图像、所述第一内腔图、所述第二瓣膜灰度图和所述第二内腔图获得所述当前帧的第二水平集函数图像和掩码图像。在本申请实施例中，为了能够快速精确地得到瓣膜部分的轮廓，需要预先确定合理有效的轮廓所在区域。但是，如上所述，由于每个时刻瓣膜的形态和位置都会发生变化，因此需要通过预测机制来从先前帧的瓣膜轮廓预测出当前帧的瓣膜轮廓。
[0045] 根据本申请实施例的预测器的具体情况将在下文中进一步详细说明。
[0046] 步骤S140，通过距离正则化水平集演化算法从所述第二瓣膜灰度图、所述第二水平集函数图像和所述掩码图像获得瓣膜区域轮廓图。在本申请实施例中，所述距离正则化水平集演化(Distance Regularized Level Set Evolution：DRLSE)算法通过多次迭代获得整个瓣膜轮廓(包含瓣膜部分和动脉内腔)，但是DRLSE算法需要指定轮廓所在区域。
[0047] 因此，在本申请实施例中，通过预测器从先前帧预测出当前帧的瓣膜的轮廓所在区域后，就可以使用DRLSE算法从瓣膜灰度图、LSF图像和掩码图像获得瓣膜区域轮廓图。这里，所述掩码图像是通过将对应帧的内腔图标注动脉内腔为掩码而获得的。
[0048] 根据本申请实施例的DRLSE算法的具体情况将在下文中进一步详细说明。
[0049] 步骤S150，基于所述瓣膜区域轮廓图确定瓣膜信息。也就是，通过所获得的瓣膜区域轮廓图(包含瓣膜部分和动脉内腔)，以及结合内腔图中的黑色部分，就可以确定瓣膜信息，例如瓣膜的形态和位置，以及动脉内腔的轮廓等。
[0050] 下面，将详细说明根据本申请实施例的预测器的具体机制。
[0051] 在本申请实施例中，预测器是根据先前帧的瓣膜轮廓以及当前帧的灰度图和内腔图来预测当前帧的瓣膜轮廓，从而得到相应的LSF图像和掩码图像。
[0052] 因为先前帧和当前帧的瓣膜轮廓存在差异，所以瓣膜边缘的每个像素点都存在着向内坍缩或向外膨胀，但是这种坍缩或膨胀不会出现巨变。因此，为了预测当前帧的瓣膜区域，需要将先前帧得到的瓣膜轮廓沿着边缘法向量向外进行一定程度的膨胀，如图3所示。
[0053] 图3图示了根据本申请实施例的瓣膜图像处理方法中的预测器的原理的示意图。如图3所示，p1和p2表示两种不同情况的边缘点，其中p1表示下一帧中瓣膜轮廓向外膨胀明显，导致先前帧得到的瓣膜轮廓边缘点位于当前帧瓣膜轮廓的内腔区域内，而p2表示当前帧中瓣膜轮廓向外膨胀很小或者向内坍缩，导致先前帧得到的瓣膜轮廓边缘点仍位于当前帧瓣膜轮廓周围白色组织区域内。
[0054] 为了使当前帧在DRLSE算法中获得更精确的瓣膜轮廓，预测的瓣膜轮廓要大于实际的瓣膜轮廓，且边缘点都位于周围白色组织区域内。因此需要对当前帧得到的瓣膜轮廓沿着边缘法向量进行一定的向外膨胀，如下式所示：
[0055]
[0056] 其中 是表示瓣膜轮廓边缘像素点的法向量，α是膨胀系数。
[0057] 这样，通过将先前帧得到的瓣膜轮廓沿着边缘法向量向外进行一定程度的膨胀得到当前帧瓣膜轮廓，然后例如计算这个轮廓的外接矩阵，并进行边缘拓展，得到预测的瓣膜区域。并且，瓣膜区域中属于瓣膜轮廓内部的像素值全部设置为负数，瓣膜轮廓外部的像素值全部设置为正数，从而得到当前帧的相应LSF图像。并且，瓣膜区域相对于内腔图，属于内腔部分的设置为0，属于白色组织区域的设置为1，从而得到标注好的掩码图像。
[0058] 因此，在根据本申请实施例的瓣膜图像处理方法中，通过预测器从所述第一瓣膜灰度图、所述第一水平集函数图像、所述第一内腔图、所述第二瓣膜灰度图和所述第二内腔图获得所述当前帧的第二水平集函数图像和掩码图像包括：基于所述第一瓣膜灰度图、所述第一水平集函数图像和所述第一内腔图确定所述先前帧的第一瓣膜轮廓；确定所述第一瓣膜轮廓的每个边缘像素点的膨胀法向量；以所述膨胀法向量与膨胀系数之积对于所述第一瓣膜轮廓进行向外膨胀以获得所述当前帧的第二瓣膜轮廓和掩码图像；基于所述第二瓣膜轮廓和所述第二瓣膜灰度图获得所述第二水平集函数图像；以及，基于所述第二瓣膜轮廓和所述第二内腔图获得所述掩码图像。
[0059] 具体地，在本申请实施例中，所述瓣膜轮廓边缘像素点的法向量通过下式获得：
[0060]
[0061] 其中，Iin表示内腔图，p表示瓣膜边缘像素点，px表示瓣膜边缘像素点x轴坐标，py表示瓣膜边缘像素点x轴坐标， 表示瓣膜边缘像素点p在x轴的梯度值， 表示瓣膜边缘像素点p在y轴的梯度值，ε是一个很小的常数，为了防止分母为0。
[0062] 也就是，在根据本申请实施例的瓣膜图像处理方法中，确定所述第一瓣膜轮廓的每个边缘像素点的膨胀法向量包括：计算所述第一瓣膜轮廓的每个边缘像素点在x方向和y方向的第一梯度值和第二梯度值；以及，将所述第一梯度值与所述第二梯度值之积除以所述第一梯度值和所述第二梯度值的平方和与预定常数之和的平方根以获得所述膨胀法向量。
[0063] 另外，考虑到坍缩或膨胀不会出现巨变，所以设置一个膨胀极限，用αT表示。如果先前帧得到的瓣膜轮廓边缘点位于当前帧的瓣膜轮廓的内腔区域内，如图3中p1点所示，则沿着该边缘点p1的法向量v1搜索，直到搜索到周围白色组织区域。假设搜索路径距离为d1，那么最终该边缘点p1的膨胀系数为：
[0064] αp1＝min(d1,αT)
[0065] 另一方面，如果先前帧得到的瓣膜轮廓边缘点仍位于当前帧瓣膜轮廓周围白色组织区域内，如图3中p2点。此时设置一个很小的膨胀系数，用αs表示，例如膨胀系数αs的取值范围≥1像素，通常取值为1，这表示每次向外膨胀1个像素点。同时，沿着该边缘点p2的法向量v2搜索，得到白色组织区域的宽度，用d2表示，那么最终该边缘点p2的膨胀系数为：
[0066] αp2＝min(αs,αT,d1)
[0067] 也就是，在根据本申请实施例的瓣膜图像处理方法中，以所述膨胀法向量与膨胀系数之积对于所述第一瓣膜轮廓进行向外膨胀以获得所述当前帧的第二瓣膜轮廓和掩码图像进一步包括：响应于所述先前帧的第一瓣膜轮廓边缘点在所述当前帧的内腔区域内，沿着所述第一瓣膜轮廓边缘点的法向量搜索；响应于搜索到周围白色组织区域，确定搜索路径距离；以及，确定所述搜索路径距离和膨胀极限阈值的最小值为所述第一瓣膜轮廓边缘点对应的膨胀系数。
[0068] 并且，在根据本申请实施例的瓣膜图像处理方法中，以所述膨胀法向量与膨胀系数之积对于所述第一瓣膜轮廓进行向外膨胀以获得所述当前帧的第二瓣膜轮廓和掩码图像进一步包括：响应于所述先前帧的第二瓣膜轮廓边缘点在所述当前帧的瓣膜轮廓周围白色组织区域内，沿着所述第二瓣膜轮廓边缘点的法向量搜索；响应于搜索到周围白色组织区域，确定白色组织区域的宽度；确定小于预定阈值的预定膨胀系数；以及，确定所述预定膨胀系数、所述白色组织区域的宽度和所述膨胀极限阈值的最小值为所述第二瓣膜轮廓边缘点对应的膨胀系数。
[0069] 下面，将对根据本申请实施例的DRLSE算法的具体情况进行进一步详细说明。
[0070] 在本申请实施例中，所述DRLSE算法可以迭代进行，从而得到比较精确的瓣膜轮廓区域。
[0071] DRLSE算法是基于距离正则化项和外部能量构建的一种新的变分的水平集公式，其公式为：
[0072]
[0073] 其中μ，λ和α为常数，表示各部分所占比例，div(·)表示散度算子，δ表示狄拉克函数，g为图像边缘表示函数，dp(·)是一个计算水平集扩散方向的函数。
[0074] 为了避免DRLSE算法在迭代过程中，水平集轮廓侵蚀到内腔轮廓，导致瓣膜轮廓演化错误，在上述公式的右边乘上标注掩码，即：
[0075]
[0076] 通过多次迭代求解上述公式，就可以获得精确的瓣膜轮廓：
[0077]
[0078] 由于DRLSE算法会在边缘处减少扩散，得到的瓣膜轮廓边缘并不精细，可能存在细小的白色组织区域，因此在本申请实施例中，进一步对瓣膜轮廓边缘进行一定修正。
[0079] 具体地，首先计算瓣膜轮廓边缘的向内法向量，然后沿着向内法向量构造一个矩形框，并去除矩形框内所有属于白色组织的部分(内腔图中对应标记为0)。图4图示了根据本申请实施例的瓣膜图像处理方法中的边缘优化的原理的示意图。如图4所示，其中左边为瓣膜区域灰度图，右边为对应的内腔图，边缘点M1和M2周边存在细小的白色区域。
[0080] 也就是，在根据本申请实施例的瓣膜图像处理方法中，基于所述瓣膜区域轮廓图确定瓣膜信息包括：基于所述瓣膜区域轮廓图计算瓣膜轮廓边缘的向内法向量；沿着所述向内法向量构造矩形框；去除所述矩形框内白色组织的部分以获得优化的瓣膜区域轮廓图；以及，基于所述优化的瓣膜区域轮廓图确定瓣膜信息。
[0081] 为了更好地去除边缘点周边细小的白色区域，首先根据上述公式计算边缘点向外法向量 取其相反方向即为边缘点向内法向量，记作
[0082]
[0083] 也就是，在根据本申请实施例的瓣膜图像处理方法中，基于所述瓣膜区域轮廓图计算瓣膜轮廓边缘的向内法向量包括：计算所述第一瓣膜轮廓的每个边缘像素点在x方向和y方向的第一梯度值和第二梯度值；将所述第一梯度值与所述第二梯度值之积除以所述第一梯度值和所述第二梯度值的平方和与预定常数之和的平方根以获得膨胀法向量；以及，计算所述膨胀法向量的负值为所述向内法向量。
[0084] 然后，以该像素点为矩形一边的中心点，沿着向内法向量，构造宽为w，高为h的矩形框。最后，遍历矩形框内所有像素点，去掉所有属于白色组织的，从而得到新的精细瓣膜轮廓边缘。
[0085] 也就是，在根据本申请实施例的瓣膜图像处理方法中，沿着所述向内法向量构造矩形框包括：以所述每个边缘像素点作为所述矩形框的一边的中心点；以及，沿着所述向内法向量构造预定高度和预定宽度的矩形框。
[0086] 示例性装置
[0087] 图5图示了根据本申请实施例的瓣膜图像处理装置的示意性框图。
[0088] 如图5所示，根据本申请实施例的瓣膜图像处理装置200，包括：瓣膜和内腔图像获取单元210，用于获取先前帧的第一瓣膜灰度图和第一内腔图以及当前帧的第二瓣膜灰度图和第二内腔图；水平集函数图像获取单元220，用于基于所述第一瓣膜灰度图获得所述先前帧的第一水平集函数图像；图像预测单元230，用于通过预测器从所述第一瓣膜灰度图、所述第一水平集函数图像、所述第一内腔图、所述第二瓣膜灰度图和所述第二内腔图获得所述当前帧的第二水平集函数图像和掩码图像；区域轮廓获得单元240，用于通过距离正则化水平集演化算法从所述第二瓣膜灰度图、所述第二水平集函数图像和所述掩码图像获得瓣膜区域轮廓图；以及，瓣膜信息确定单元250，用于基于所述瓣膜区域轮廓图确定瓣膜信息。
[0089] 在一个示例中，在上述瓣膜图像处理装置200中，所述水平集函数图像获取单元220用于：对所述第一瓣膜灰度图进行人工标注以获得所述第一水平集函数图像。
[0090] 在一个示例中，在上述瓣膜图像处理装置200中，所述图像预测单元230用于：基于所述第一瓣膜灰度图、所述第一水平集函数图像和所述第一内腔图确定所述先前帧的第一瓣膜轮廓；确定所述第一瓣膜轮廓的每个边缘像素点的膨胀法向量；以所述膨胀法向量与膨胀系数之积对于所述第一瓣膜轮廓进行向外膨胀以获得所述当前帧的第二瓣膜轮廓和掩码图像；基于所述第二瓣膜轮廓和所述第二瓣膜灰度图获得所述第二水平集函数图像；以及，基于所述第二瓣膜轮廓和所述第二内腔图获得所述掩码图像。
[0091] 在一个示例中，在上述瓣膜图像处理装置200中，所述图像预测单元230确定所述第一瓣膜轮廓的每个边缘像素点的膨胀法向量包括：计算所述第一瓣膜轮廓的每个边缘像素点在x方向和y方向的第一梯度值和第二梯度值；以及，将所述第一梯度值与所述第二梯度值之积除以所述第一梯度值和所述第二梯度值的平方和与预定常数之和的平方根以获得所述膨胀法向量。
[0092] 在一个示例中，在上述瓣膜图像处理装置200中，所述图像预测单元230以所述膨胀法向量与膨胀系数之积对于所述第一瓣膜轮廓进行向外膨胀以获得所述当前帧的第二瓣膜轮廓和掩码图像进一步包括：响应于所述先前帧的第一瓣膜轮廓边缘点在所述当前帧的内腔区域内，沿着所述第一瓣膜轮廓边缘点的法向量搜索；响应于搜索到周围白色组织区域，确定搜索路径距离；以及，确定所述搜索路径距离和膨胀极限阈值的最小值为所述第一瓣膜轮廓边缘点对应的膨胀系数。
[0093] 在一个示例中，在上述瓣膜图像处理装置200中，所述图像预测单元230以所述膨胀法向量与膨胀系数之积对于所述第一瓣膜轮廓进行向外膨胀以获得所述当前帧的第二瓣膜轮廓和掩码图像进一步包括：响应于所述先前帧的第二瓣膜轮廓边缘点在所述当前帧的瓣膜轮廓周围白色组织区域内，沿着所述第二瓣膜轮廓边缘点的法向量搜索；响应于搜索到周围白色组织区域，确定白色组织区域的宽度；确定小于预定阈值的预定膨胀系数；以及，确定所述预定膨胀系数、所述白色组织区域的宽度和所述膨胀极限阈值的最小值为所述第二瓣膜轮廓边缘点对应的膨胀系数。
[0094] 在一个示例中，在上述瓣膜图像处理装置200中，所述瓣膜信息确定单元250用于：基于所述瓣膜区域轮廓图计算瓣膜轮廓边缘的向内法向量；沿着所述向内法向量构造矩形框；去除所述矩形框内白色组织的部分以获得优化的瓣膜区域轮廓图；以及，基于所述优化的瓣膜区域轮廓图确定瓣膜信息。
[0095] 在一个示例中，在上述瓣膜图像处理装置200中，所述瓣膜信息确定单元250基于所述瓣膜区域轮廓图计算瓣膜轮廓边缘的向内法向量包括：计算所述第一瓣膜轮廓的每个边缘像素点在x方向和y方向的第一梯度值和第二梯度值；将所述第一梯度值与所述第二梯度值之积除以所述第一梯度值和所述第二梯度值的平方和与预定常数之和的平方根以获得膨胀法向量；以及，计算所述膨胀法向量的负值为所述向内法向量。
[0096] 在一个示例中，在上述瓣膜图像处理装置200中，所述瓣膜信息确定单元250沿着所述向内法向量构造矩形框包括：以所述每个边缘像素点作为所述矩形框的一边的中心点；以及，沿着所述向内法向量构造预定高度和预定宽度的矩形框。
[0097] 这里，本领域技术人员可以理解，上述瓣膜图像处理装置200中的各个单元和模块的具体功能和操作已经在上面参考图2到图4的瓣膜图像处理方法的描述中得到了详细介绍，并因此，将省略其重复描述。
[0098] 如上所述，根据本申请实施例的瓣膜图像处理装置200可以实现在各种终端设备中，例如用于处理瓣膜图像的服务器等。在一个示例中，根据本申请实施例的瓣膜图像处理装置200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该瓣膜图像处理装置200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该瓣膜图像处理装置200同样可以是该终端设备的众多硬件模块之一。
[0099] 替换地，在另一示例中，该瓣膜图像处理装置200与该终端设备也可以是分立的设备，并且该瓣膜图像处理装置200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
[0100] 示例性电子设备
[0101] 下面，参考图6来描述根据本申请实施例的电子设备。
[0102] 图6图示了根据本申请实施例的电子设备的框图。
[0103] 如图6所示，电子设备10包括一个或多个处理器11和存储器12。
[0105] 存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的瓣膜图像处理方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如原始灰度图、LSF图、内腔图等各种内容。
[0106] 在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
[0109] 当然，为了简化，图6中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
[0110] 示例性计算机程序产品和计算机可读存储介质
[0111] 除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的瓣膜图像处理方法中的步骤。
[0112] 所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在第一用户计算设备上执行、部分地在第一用户设备上执行、作为一个独立的软件包执行、部分在第一用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
[0113] 此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的瓣膜图像处理方法中的步骤。
[0114] 所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0115] 以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
[0116] 本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0117] 还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
[0118] 提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0119] 为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于水流分割的石油钻井污染气体自动监测方法 | 2020-05-08 | 55 |
| 一种柜面助手履职监控装置和方法 | 2020-05-08 | 867 |
| 一种基于无锚点机制的火焰检测方法及装置 | 2020-05-11 | 848 |
| 手语识别系统 | 2020-05-08 | 975 |
| 采样方法、模型生成方法、视频行为识别方法及装置 | 2020-05-08 | 13 |
| 一种基于手机惯性传感器的行人移动方向识别方法 | 2020-05-08 | 857 |
| 一种视频帧率预测方法、装置及设备 | 2020-05-08 | 117 |
| 视频解码器设备及视频编码器设备 | 2020-05-08 | 906 |
| 用于对视频进行编码/解码的方法和设备以及存储比特流的记录介质 | 2020-05-11 | 873 |
| 编码方法、解码方法、编码设备和解码设备 | 2020-05-08 | 984 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈