技术领域
[0001] 本
发明属综合医疗领域，特别涉及一种彩色图像融合的诊断监控综合医疗系统。
背景技术
[0002] 医学图像融合技术在整合来自不同成像方式的解剖和功能信息方面提供了卓越的性能，这些信息甚至有助于在早期进行
疾病的准确诊断。因此，多模态医学图像融合在医学领域的信息集成中起着至关重要的作用。
[0003] 由于医疗数据通常是高度敏感和私密的，如果使用或披露不当，可能会危害患者的隐私并危及他们的生命。个人健康信息的安全性、隐私性和
保密性是人们对医疗信息系统最关心的问题。因此，医疗信息系统的安全性和可靠性要求很高。
[0004] 国内外医学界的诊疗决策尤其是诊断决策方法大都是根据各种医疗仪器对病人的检查结果，由医生凭借自身的医学知识和多年积累的临床诊断经验，对病情进行分析判断，从而做出相应的决策。这种决策方法的有效性取决于医生的业务
水平，主观因素影响较大。
发明内容
[0005] 本发明要解决的技术问题是如何获取患者病灶区域更加详细的图像，对此本发明提供一种彩色图像融合的诊断监控综合医疗系统及其融合方法，
[0006] 一种彩色图像融合的诊断监控综合医疗系统，包括客户端、工作站、
云端
服务器、
图像采集装置以及生理参数
传感器，生理参数传感器通过短距离无线通信技术传输到网络协调器与客户端连接，客户端通过互联网与云端服务器连接，图像采集装置与工作站连接，将采集到的图像上传至云端服务器，患者用户通过客户端上传患者用户的基本信息至云端服务器，决策用户通过工作站上传案例概况信息、患者用户主要症状和体征、化验结果、病理信息、患者用户病情的基本判断、
治疗手段、手术后症状、护理建议和策略至云端服务器，云端服务器存储有诊疗案例库，云端服务器对上传的各类信息综合形成案例，决策用户通过工作站对诊疗案例库进行检索，在诊疗案例库中找到相似度匹配找到最相似的案例，图像采集装置包括CT机、超声仪和
核磁共振仪，生理参数传感器包括心率采集传感器、
血压计、血
氧仪和
加速度计，其为可穿戴设备，工作站使用图像融合对采集到的CT图像、超声图像和核磁共振图像进行两两图像融合，并将融合后的图像上至云端服务器，工作站与云端服务器之间使用加密
算法进行通信。
[0007] 其中，采用超声图像和核磁共振图像生成聚焦彩色图像，其融合过程如下：
[0008] 步骤1，通过HSV变换将图像A、B从RGB空间转化到HSV空间，并获得H、S、V三个分量；
[0009] 步骤2，通过邻域
叠加得到融合后的H分量；
[0010] 步骤3，通过梯度计算得到融合后的S分量和V分量；
[0011] 步骤4，根据上述步骤的H分量、S分量和V分量，通过HSV逆变换构成最终的融合图像。
[0012] 其中，步骤2具体为：
[0013] 步骤2.1，初始化，n＝1，Yi，j(0)＝0，Li，j(0)＝1，θi，j(0)＝1，[0014]
[0016]
[0017]
[0018]
[0019]
[0020]
[0021]
[0022]
[0023]
[0024] 其中，n为迭代次数； 为图像A，B在点(i，j)处第n次叠加后的线性链接输入； 为图像A，B在点(i，j)处第n次叠加后的活跃度； 为图
像A，B在点(i，j)处第n次叠加后的H分量； 为图像A，B在点(i，j)处第n次叠加后的动态
阈值； 为图像A，B在点(i，j)处第n次叠加后的二值化输出；
为图像A，B在点(i，j)处第n次叠加后的高二值次数；α为时间衰减常数；β为链接强度系数；Wi，j在点(i，j)处权重系数；VL、Vθ为放大系数；k，l为点(i，j)为纵向和横向临近链接范围。
[0025] 步骤2.3，判断，n＞N，N为迭代次数阈值；则进入步骤4，否则n＝n+1，返回步骤2；
[0026] 步骤2.4，统计，分别计算图像A和图像B的高二值总次数，
[0027]
[0028] 步骤2.5，对图像A和图像B中所有的点(i，j)均进行上述步骤14，得出TA(i，j)和TB(i，j)；
[0029] 步骤2.6，融合，
[0030]
[0031] 其中，HAB(i，j)为在点(i，j)处融合后的H分量，hA(i，j)、hB(i，j)为原始图像A、B在点(i，j)处的H分量，TA(i，j)、TB(i，j)为图像A、B在点(i，j)处高二值总次数，[0032] 其中，步骤3具体为：
[0033] 步骤3.1，梯度计算，
[0034]
[0035]
[0036] 其中，
[0037]
[0038]
[0039]
[0040]
[0041]
[0042]
[0043]
[0044]
[0045] 其中， 为原始图像A、B在点(i，j)处的梯度，Gi()、Gj()、Gij()、Gji()为点(i，j)处的横向、竖向、45°斜向、135°斜向变化函数，sA(i，j)、sB(i，j)为原始图像A、B在点(i，j)处的S分量，
[0046] 此外，未避免过长的表达式无法显示，此处的{}表示对长表达式的涵盖，即[0047] 步骤3.2，融合，
[0048]
[0049] SAB(i，j)为在点(i，j)处融合后的S分量；
[0050] 步骤3.3，通过上述步骤3.1-3.2得到图像A、B在点(i，j)处融合后的V分量VAB(i，j)。
[0051] 其中，图像A为超声图像或核磁共振图像，图像B为核磁共振图像或超声图像。
[0052] 本发明的有益效果：
[0053] (1)通过图像融合实现了患者病灶图像的细节显示，为医生诊断提供有
力的依据；
[0054] (2)通过运动状态的判断实现了患者
姿态的识别，实时监控病人的状态；
[0055] (3)通过加密通信有效保证了患者的隐私不被泄露；
[0056] (4)通过相似度匹配寻找与患者最为接近的案例，从而为医生诊断提供可靠的依据
治疗方案以及病人治疗环境的选择提供依据，
[0057] 从而极大减少了医生的劳动强度。
附图说明
[0059] 图2为本发明的聚焦彩色图像融合
流程图；
具体实施方式
[0060] 下面结合附图与
实施例对本发明作进一步的说明。
[0061] 本发明的实施例参考图1-2示。
[0062] 一种彩色图像融合的诊断监控综合医疗系统，包括客户端、工作站、云端服务器、图像采集装置以及生理参数传感器，生理参数传感器通过短距离无线通信技术传输到网络协调器与客户端连接，客户端通过互联网与云端服务器连接，图像采集装置与工作站连接，将采集到的图像上传至云端服务器，患者用户通过客户端上传患者用户的基本信息至云端服务器，决策用户通过工作站上传案例概况信息、患者用户主要症状和体征、化验结果、病理信息、患者用户病情的基本判断、治疗手段、手术后症状、护理建议和策略至云端服务器，云端服务器存储有诊疗案例库，云端服务器对上传的各类信息综合形成案例，决策用户通过工作站对诊疗案例库进行检索，在诊疗案例库中找到相似度匹配找到最相似的案例，图像采集装置包括CT机、超声仪和核磁共振仪，生理参数传感器包括心率采集传感器、血压计、血氧仪和加速度计，其为可穿戴设备，工作站使用图像融合对采集到的CT图像、超声图像和核磁共振图像进行两两图像融合，并将融合后的图像上至云端服务器，工作站与云端服务器之间使用加密算法进行通信。
[0063] 其中，采用超声图像和核磁共振图像生成聚焦彩色图像，其融合过程如下：
[0064] 步骤1，通过HSV变换将图像A、B从RGB空间转化到HSV空间，并获得H、S、V三个分量；
[0065] 步骤2，通过邻域叠加得到融合后的H分量；
[0066] 步骤3，通过梯度计算得到融合后的S分量和V分量；
[0067] 步骤4，根据上述步骤的H分量、S分量和V分量，通过HSV逆变换构成最终的融合图像。
[0068] 其中，步骤2具体为：
[0069] 步骤2.1，初始化，n＝1，Yi，j(0)＝0，Li，j(0)＝1，θi，j(0)＝1，[0070]
[0071] 步骤2.2，迭代，
[0072]
[0073]
[0074]
[0075]
[0076]
[0077]
[0078]
[0079]
[0080] 其中，n为迭代次数； 为图像A，B在点(i，j)处第n次叠加后的线性链接输入； 为图像A，B在点(i，j)处第n次叠加后的活跃度； 为图
像A，B在点(i，j)处第n次叠加后的H分量； 为图像A，B在点(i，j)处第n次叠加后的动态阈值； 为图像A，B在点(i，j)处第n次叠加后的二值化输出；
为图像A，B在点(i，j)处第n次叠加后的高二值次数；α为时间衰减常数；β为链接强度系数；Wi，j在点(i，j)处权重系数；VL、Vθ为放大系数；k，l为点(i，j)为纵向和横向临近链接范围。
[0081] 步骤2.3，判断，n＞N，N为迭代次数阈值；则进入步骤4，否则n＝n+1，返回步骤2；
[0082] 步骤2.4，统计，分别计算图像A和图像B的高二值总次数，
[0083]
[0084] 步骤2.5，对图像A和图像B中所有的点(i，j)均进行上述步骤14，得出TA(i，j)和TB(i，j)；
[0085] 步骤2.6，融合，
[0086]
[0087] 其中，HAB(i，j)为在点(i，j)处融合后的H分量，hA(i，j)、hB(i，j)为原始图像A、B在点(i，j)处的H分量，TA(i，j)、TB(i，j)为图像A、B在点(i，j)处高二值总次数，[0088] 其中，步骤3具体为：
[0089] 步骤3.1，梯度计算，
[0090]
[0091]
[0092] 其中，
[0093]
[0094]
[0095]
[0096]
[0097]
[0098]
[0099]
[0100]
[0101] 其中， 为原始图像A、B在点(i，j)处的梯度，Gi()、Gj()、Gij()、Gji()为点(i，j)处的横向、竖向、45°斜向、135°斜向变化函数，sA(i，j)、sB(i，j)为原始图像A、B在点(i，j)处的S分量，
[0102] 此外，未避免过长的表达式无法显示，此处的{}表示对长表达式的涵盖，即[0103] 步骤3.2，融合，
[0104]
[0105] SAB(i，j)为在点(i，j)处融合后的S分量；
[0106] 步骤3.3，通过上述步骤3.1-3.2得到图像A、B在点(i，j)处融合后的V分量VAB(i，j)。
[0107] 其中，图像A为超声图像或核磁共振图像，图像B为核磁共振图像或超声图像。
[0108] 其中，工作站与云端服务器之间使用加密算法进行通信，其加密解密过程如下：
[0109] 步骤1，发送方与接收方双方密钥共享，根据接收方的公钥生成共享密钥；
[0110] 步骤2，发送方使用共享密钥和其他可选择参数作为密钥求导函数的输入，求导结果构成对称加密密钥和MAC密钥对；
[0111] 步骤3，使用对称加密算法将对称加密密钥和明文作为输入，生成密文；
[0112] 步骤4，使用加密信息、MAC密钥和其他公共参数作为输入，选用MAC函数生成标识；
[0113] 步骤5，发送方使用临时公钥、标识以及密文组成加密信息发送给接收方；
[0114] 步骤6，接收方接收加密信息，并且获知发送方的临时公钥、标识以及密文，从而将加密信息分解；
[0115] 步骤7，接收方将接收的临时公钥和接收方的私钥进行乘积；
[0116] 步骤8，使用共享密钥和其他发送方也使用的公共参数，接收方进行和发送方相同的求导过程，从而得到加密密钥和MAC密钥对；
[0117] 步骤9，使用加密信息、MAC密钥和发送方使用的其他公共参数作为输入，接收方计算出新的标识，并与接收到的标识进行比较，如果新的标识和接收到的标识不同，则验证失败，拒绝接收密文；
[0118] 步骤10，如果新的标识和接收到的标识相同，则接收方继续解密流程，使用对称解密算法，以加密信息和解密密钥作为输出，输出发送方的明文。
[0119] 其中，工作站或云端服务器作为发送方，云端服务器或工作站作为接收方。
[0120] 其中，生理参数传感器为可穿戴设备，其通过加速度计的加速度数据判断患者的运动状态，具体判断过程如下：
[0121] 步骤1，从加速度计获取加速度数据；
[0122] 步骤2，数据预处理，
[0123] 将获取的加速度数据生成为加速度时间序列数据，采用滑动窗口为加速度时间序列数据的时域
加窗，对每个加窗得到的加速度时间序列数据进行处理和识别，滑动窗口使用时间轴来分段提取序列，定义窗口长度w以及重叠窗口长度o。
[0124] 对于一段加速度时间序列{x1，x2...xn…}，第一个窗口为{x1，x2...xw}，第二个窗口为{xw-o，xw-o+1...x2w-o-1}，第三个窗口为{x2w-2o-1，x2w-2o...x3w-2o-2}，第n各窗口为{xn(w-o)-n+1，xn(w-o)-n+2...xn(w-o)+w-n}，其中，w＝60，o＝10。xn为加速度时间序列数据。
[0125] 重叠的作用是减轻
频谱泄漏，减少
信号截断对信息的破坏。
[0126] 步骤3，数据特征生成，
[0127] 加速度数据特征包括时域特征和
频域特征，时域特征包括加速的在窗口长度w内的平均值、均方根、方差和绝对平均差，频域特征为窗口长度w内的
能量。
[0128] 均值 为加速度数值的平均大小，是加速的
直流分量，其计算公式为：
[0129]
[0130] 均方根D为加速度值的总体大小，其计算公式如下：
[0131]
[0132] 方差σx为加速度的分散程度，其计算公式如下：
[0133]
[0134] 方差明显的反映了数据变化的剧烈程度，其中-是加速度的均值。
[0135] 绝对平均差K的计算为：
[0136]
[0137] 能量E的计算方法是对信号做FFT之后，各个分量的幅值平方和，其公式为：
[0138]
[0139] Fi为加速度时间FFT之后第i个分量的幅度，N为分量个数。
[0140] 通过上述平均值、均方根、方差、绝对平均差、能量的计算分别得到多个窗口的平均值序列、均方根序列、方差序列、绝对平均差序列、能量序列。
[0141] 特征生成在
模式识别的任务中是至关重要的，给定了测度集合，特征生成的目标是探索获取数据的固有模式和信息的重表示。一个良好的特征生成过程会将数据的基本信息压缩，同时剔除冗余的信息，从而减少原始数据空间的维数。
[0142] 步骤4匹配识别，
[0143] 生成样本序列，样本序列包括在行走状态、奔跑状态、跳跃状态、跌倒状态、静止状态下各个平均值序列、均方根序列、方差序列、绝对平均差序列、能量序列，样本序列为预先设置或者通过用户本身通过执行相应的状态进行设置；
[0144] 将上述得到的平均值序列、均方根序列、方差序列、绝对平均差序列、能量序列分别匹配不同状态下的样本序列，将匹配度最高的样本序列的状态作为当前用户的运动状态。
[0145] 其中，使用CT图像和核磁共振图像或者使用CT图像和超声图像生成灰度图像，其融合过程如下：
[0146] 步骤1，图像A为参考图像，图像B为标准图像，取得图像A、B的灰度函数，分别为fA(i，j)，fB(i，j)；
[0147] 步骤2，两幅图像的平均灰度值μA、μB，
[0148]
[0149]
[0151] 步骤2.计算两幅图像的标准偏差σA、σB：
[0152]
[0153]
[0154] 步骤3.计算修正系数cr：
[0155]
[0156] 步骤4.计算平均灰度值校正项μc：
[0157] μc＝μA-(cr×μB)；
[0158] 步骤5.计算标准图像B的匹配图像灰度函数f′B，
[0159] f′B＝(fB(i，j)×cr)+μc；
[0160] 步骤6，计算参考图像A以及匹配灰度后的图像B的梯度，
[0161]
[0162]
[0163] 其中，
[0164]
[0165]
[0166]
[0167]
[0168]
[0169]
[0170]
[0171] 其中， 为原始图像A、B在点(i，j)处的梯度，Gi()、Gj()、Gij()、Gji()为点(i，j)处的横向、竖向、45°斜向、135°斜向变化函数，fA(i，j)、f′B(i，j)为参考图像A以及匹配灰度后的图像B在点(i，j)处的灰度分量；
[0172] 步骤7，融合，
[0173]
[0174] 其中，FAB(i，j)为在点(i，j)处融合后的灰度分量。
[0175] 由此得到融合的灰度图像。
[0176] 其中，图像A为超声图像或核磁共振图像，图像B为CT图像。
[0177] 其中，使用CT图像和核磁共振图像或者使用CT图像和超声图像生成灰度图像，其融合过程如下：
[0178] 步骤1，图像A为参考图像，图像B为标准图像，取得图像A、B的灰度函数；
[0179] 步骤2，两幅图像的平均灰度值；
[0180] 步骤3.计算两幅图像的标准偏差：
[0181] 步骤4.计算修正系数；
[0182] 步骤5.计算平均灰度值校正项；
[0183] 步骤6.计算标准图像B的匹配图像灰度函数；
[0184] 步骤7，计算参考图像A以及匹配灰度后的图像B的梯度；
[0185] 步骤8，融合，得到融合的灰度图像。
[0186] 其中，决策用户通过工作站对诊疗案例库进行检索，在诊疗案例库中找到相似度匹配找到最相似的案例，具体步骤如下：
[0187] 步骤1，根据医学临床诊疗特点，定义源决策案例的特征属性，建立诊疗案例库；
[0188] 步骤2，患者用户就诊后，通过
人机交互界面输入特征
属性信息，并提取
特征向量；
[0189] 其中，特征向量包括：
[0190] 案例概况信息向量，其包括案例编号，案例名，案例发生时间，主治医生姓名，住院医师姓名，护理人员姓名在内的特征属性；
[0191] 病人基本信息向量，其包括患者用户性别，年龄，身高，体重，家族史，健康史，药物过敏史，入院日期，出院日期在内的特征属性；
[0192] 患者用户主要症状和体征的向量，其包括患者用户主观异常感觉，患者用户体征在内的特征属性；
[0193] 化验结果向量，包括血常规，免疫组合，凝血象，尿常规，血气分析，B超检查，CT检查，心电，血压，血氧
饱和度在内的特征属性；
[0194] 病理信息向量，包括来自理报告中的
肿瘤大小、受侵淋巴结数、有无结节冒、
恶性肿瘤程度，肿
块位置、肿块所在象限，分布特征，生长特征在内的特征属性；
[0195] 患者用户病情的基本判断向量，包括决策用户的主观判断结果，即恶性、良性、易复发和不易复发在内的特征属性；
[0196] 治疗向量，包括病情描述，诊断过程，是否放疗，治疗过程，治疗效果以及中间的检查情况在内的特征属性；
[0197] 手术后症状向量，即治疗后的
乳腺癌患者用户症状描述在内的特征属性；
[0198] 患者用户具体病情以及症状特征的护理建议和策略的向量。
[0199] 步骤3，输入特征向量，模糊诊疗知识发现程序在诊疗案例库发现相关案例；
[0200] 步骤4，通过
遗传算法获取各特征向量中各特征属性的最优权重；具体为：
[0201] 步骤4.1，将特征属性进行编码；
[0202] 步骤4.2，生成各特征属性的初始权重；
[0203] 步骤4.3，计算适应度并保持优选的
染色体；
[0204] 步骤4.4，发现准确值；
[0205] 步骤4.5，用轮盘赌选择方法进行复制和选择；
[0206] 步骤4.6，交叉；
[0207] 步骤4.7，变异；
[0208] 步骤4.8，优选染色体；
[0209] 步骤4.9，替代现有染色体；
[0210] 步骤4.10，进化迭代次数是否达到上限，是则停止迭代，进入步骤11，否则返回步骤3，继续迭代；
[0211] 步骤4.11，将当前染色体逆编码，生成最优权重；
[0212] 步骤5，结合最优权重和各特征属性，通过案例检索程序在诊疗案例库中进行检索，进行相似度分析获取最相似的案例，具体为：
[0213] 步骤5.1，确定决策用户的正负理想案例，构造模糊矩阵并进行规范化；
[0214] 步骤5.2，对模糊矩阵进行加权计算；
[0215] 步骤5.3，对正负理想案例各属性指标值加权；
[0216] 步骤5.4，计算正负理想案例、目标案例与输入案例的距离，
[0217]
[0218]
[0219]
[0220] 其中，i为特征向量序数；j为特征属性序数；n为特征向量总数；l为特征属性总数；xij为第i个特征向量的第j个特征属性值； 为到正理想点的距离； 为到负理想点的距离；IDT为各案例与目标案例的距离； 为正理想点值， 为负理想点值，xT为目标点值，d(，)为模糊数之间的距离函数；
[0221] 步骤5.5，计算贴合度，确定各个案例之间的顺序，找到与目标案例最相似的案例，计算各个案例与目标案例之间的贴近度，
[0222]
[0223] 其中，TH为贴合度，TH值越高表示两个案例越相近，选择贴合度最高的案例作为最相似的案例；
[0224] 步骤6，返回最相似的案例给决策用户，如满足要求，则生成诊断案例，并进入步骤7；如不满足要求，则决策用户输入特定需求，启动案例修正程序，对获取的案例进行修正，直至满足要求的案例，并进入步骤7；
[0225] 步骤7：决策用户审查和评估检索得到的案例价值，如果认为该案例有价值，则生成相应的诊断结论，并存入诊疗案例库，如果认为该案例没有有价值，则生成相应的诊断结论，并退出。
[0226] 以上所述实施方式仅表达了本发明的一种实施方式，但并不能因此而理解为对本发明范围的限制。应当指出，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干
变形和改进，这些都属于本发明的保护范围。
