基于神经网络的医学图像融合算法研究

  随着信息技术的日益发展，图像处理技术也日益精进，医学图像融合作为图像处理技术的一个分支，在临床医学的诊断、病灶位置的确定等方面的作用十分重要，成为医疗影像不可或缺的工具，近年来愈加受到众多学者的关注。本论文在查阅大量中英文文献的基础上，研究并总结了近年来图像融合领域，特别是医学图像融合领域的算法，深入分析了现有算法已有的创新和存在的不足，并有针对性的提出可行的改进策略，最后通过仿真实验，从客观评价和主观评价两个方面，可靠地验证了本论文提出算法具有有效性。作为临床医学的有利判断依据，对图像融合技术中融合图像的精准程度、信息的包含量大小、图像质量的高度等方面都提出了更高的要求。传统的医学图像融合方法，存在图像对比度不足、边缘信息保留不完整、存在伪影等问题，需要在融合图像效果上深入研究；同时，图像的预处理中先验知识一直是影像融合效果的重要因素，如何减少此方面的影响，增强融合图像的细节表现力也需要进行探索。本论文的主要研究成果如下：（1）提出基于拉普拉斯金字塔和卷积神经网络的医学图像融合算法(LLP-CNN)。首先，采用区域拉普拉斯金字塔达到更好的避免伪影的问题，将源图像分别输入区域拉普拉斯金字塔进行分解；然后，为保存更多的细节信息并使参数自适应，将卷积神经网络基于经验风险最小化的评价指标替换为基于结构风险最小化，通过步长为 2 的标准卷积层进行降维，采用改进的卷积神经网络生成最优权重图指导融合过程，最后通过逆过程生成融合图像。通过仿真实验进行验证，提出的方法在主观视觉和客观评价指标上都取得了良好的融合效果。（2）提出基于残差块和改进生成对抗网络的图像融合算法(Res-GAN)。首先，对生成器和判别器两个部分的网络结构进行改进，在设计生成器网络中采用残差块和快捷连接加深网络结构，更好的捕获深层次的图像信息，同时去掉常规网络中的下采样层，以减少图像传输过程中信息损失，并将批量归一化改为层归一化，以达到更好的保留源图像信息的目的；增加判别器网络的深度以提高网络性能。然后，连接 CT 图像和 MR 图像，将其输入到生成器网络中得到融合图像，通过损失函数不断优化网络参数，训练出最适合医学图像融合的模型，生成高质量的图像。实验结果表明：提出的算法与当前表现优良的基于离散小波变换算法、基于非下采样剪切波变换算法、基于稀疏表示算法和基于图像分类块稀疏表示算法对比，在互信息、信息熵、结构相似性上均表现良好，最终的融合图像纹理和细节丰富，同时避免了人为因素对融合效果稳定性的影响，达到了有效、可靠的实际应用。（3）构建了医学图像融合系统，使本文提出的图像融合算法落实到实际应用方面，不仅对本文涉及的不同重构方法进行了对比和展示，而且可以选择需要融合的医学图像通过本文提出的两种算法或其他算法进行融合，展示融合后的医学图像并对图像的客观评价指标进行计算和展示，为实际应用提供可靠的参考依据。本论文主要的研究内容在基于神经网络在医学图像融合算法，最后通过仿真实验验证了所提出算法的可行性与优良性，但由于时间有限，对医学影像的专业领域研究尚浅，神经网络的学习不够透彻和深入，在算法改进方面仍有不足，系统集成方面尚待完善，今后的学习研究中需要解决的问题有：（1）本论文研究的主要是 CT 和 MR 的图像融合，涉及到一些 SPECT 的融合，但针对更多模态的医学图像没有涉及，融合算法对其他模态的医学图像的适用性仍需要研究和改进；（2）图像融合的评价标准未成体系，在客观评价中选取的评价指标具有主观性，评判结果会随着选取指标的改变而产生一定程度误差，形成普遍适用的评价指标这一问题亟待解决，保证图像的评价结果更加科学；（3）医学图像融合领域大多针对灰度图像，灰度图像在病灶的判断上有先天的缺陷，随着科学技术的发展，现有的医学影像技术已逐步向彩色图像发展，医学图像融合技术今后的研究范围应该紧跟发展，将彩色图像的融合纳入研究范围；（4）本论文涉及的医学图像融合系统涵盖的融合技术少，表现的评价指标不足，对系统的完整性和可操作性还有待完善，选取更加成熟的的融合算法加强系统的实用性。