基于稀疏表示的多模医学图像融合方法研究

  4.2  多模态医学图像融合过程

  4.3  本章小结

  5.1 CSRDD-APCNN 的实验环境与参数

  5.2 CSRDD-APCNN 的实验结果与分析

  5.3 NSST-CSR 的实验环境与参数

  5.4 NSST-CSR 的实验结果与分析

  5.5  本章小结

  由于多模态医学图像成像机制的差异性，其反映的组织信息也各有不同，且单一模态的医学图像无法提供全面、准确的信息。因此，将不同模态的医学图像信息整合到一张图像中，以实现信息互补，方便医生进行医疗诊断，提高医疗诊断的精度，具有非常重要的意义。本文结合在第三章与第四章引言中提到医学图像融合所面临的问题及难点为立足点，查阅国内外文献，在各个前辈学者的基础上进行研究，基于多尺度与卷积稀疏表示做出改进创新，提出了两种多模态医学图像融合方法，其总结如下：(1)提出了双重字典学习与自适应 PCNN 相结合的医学图像融合方法。针对基于稀疏表示的医学图像融合方法存在细节保存能力有限的问题，以及单字典表达能力不足的问题，提出了基于卷积稀疏表示双重字典学习与自适应 PCNN 的多模态医学图像融合方法(CSRDD-APCNN)。该方法将源图像分为稀疏与低秩两部分，构建了基于卷积稀疏表示的双重字典。其中，稀疏成分包含大量细节纹理，低秩成分包含轮廓亮度以及微小细节等基本信息。为了增强双重字典的区分性，分别对低秩成分与稀疏成分添加低秩与稀疏约束改进字典学习模型，并通过交替迭代求解，得到双重字典。然后，将总变分(TV)正则化(regularization)纳入图像分解模型，并通过基于傅里叶域的 ADMM 算法求解，将源图像分解为卷积稀疏与卷积低秩分量。同时为了充分保留源图像的细节信息，分别将卷积稀疏分量的改进的空间频率(NMSF)与卷积低秩分量的改进的拉普拉斯能量和(NSML)作为自适应脉冲耦合神经网络的输入激励，通过输出的点火次数将各分量融合。最后通过组合卷积稀疏与卷积低秩分量来得到融合图像，进一步提高了融合图像的质量，并通过进行 CT/MR、MR/PET、MR/SPECT 融合对比实验，结果表明所提方法较其他对比方法具有较好的先进性，有良好的实用价值。(2)提出了基于非下采样剪切波变换与卷积稀疏表示的医学图像融合方法。针对传统的基于多尺度的医学图像融合方法存在的能量损失严重、融合图像对比度低的问题以及基于稀疏表示的融合方法中采用 L1 范数最大融合规则时，导致的多模态图像融合时的空间不一致性问题，提出了基于多尺度分解与卷积稀疏表示的多模态医学图像融合方法。该方法首先对源图像应用 NSST 分解，得到源图像的低频图像与一系列高频图像。为了构造多个子字典以适应图像的不同结构，分别以低频图像对以及各个尺度上的高频图像对为训练图像，构造基于卷积稀疏表示的低频子字典与各个不同尺度上对应的高频子字典，使得字典能包含更丰富的图像信息。通过组合各个尺度上的高频子字典构造高频字典，然后分别对源图像的低频子图像与一系列高频子图像进行卷积稀疏编码，并以总变分正则化改进卷积稀疏模型，通过交替方向乘子法(ADMM)求解得到低频稀疏系数与一系列的高频稀疏系数。其次在融合低频子带稀疏系数时采用了区域能量与1l 范数相结合的规则，在融合高频子带稀疏系数时采用了改进的空间频率与1l 范数结合的规则，然后分别与对应的字典进行卷积操作来得到低频子带系数与高频子带系数。最后，执行逆 NSST 来得到融合后的图像，进一步更好的保存图像的细节与轮廓信息，提高了融合图像的质量，并通过实验验证表明所提方法的有效性与先进性。

  本文针对基于稀疏表示与基于多尺度的图像融合方法所存在的问题进行研究，取得了一定的成效，但所提出的两种方法仍存在一定的问题：(1)在第三章所提出的方法中，存在字典学习模型及分解模型上需预设参数的问题，若参数设置不合适，会很大地影响学习的字典效率以及影响图像融合质量。探索如何有效的自适应确定参数的问题，是我们下一步研究的重点。(2)在第四章所提的方法中，虽然取得了较好的效果，但由于在图像融合时需要先对融合图像进行多尺度分解，再由子图像组训练多个子字典，会导致算法的时间效率低下，在实际生活中的扩展应用受到限制，如何有效的提高算法的时间效率，减少算法的计算复杂度将是我们下一步研究的重点。