基于图像合成的非刚性多峰医学图像配准

  1.1 选题依据、研究背景及意义

本研究课题来源于山西省自然科学基金“纹理和边缘信息在癌症、脑肿瘤医学影像融合中的探索研究”（201901D111152）。 先进医学影像技术的发展为临床医师提供了高分辨率的影像资料，各种模态的图像层出不穷。医学图像可以转换为数字信息，使图像处理与计算机相结合。这些图像信息的整合就需要图像配准技术的帮助。在临床治疗过程中，不同模态的图像不仅提供了不同的解剖信息，而且为医生进行准确诊断和科学治疗提供了可靠依据。可变形图像配准的任务是通过最小化两幅图像之间基于特征和或基于强度的差异来对每个对应的局部结构点进行空间对齐。通过图像配准来将来自两个或多个模态的图像中的有用信息集成到一个单一的、信息量更大的图像中，在计算机视觉、图像诊断和图像引导手术规划等领域有着广泛的应用。 在医学诊断过程中，根据不同的成像模式和图像特性，医学图像可以分成两大类，即解剖图像和功能图像。解剖图像反映组织器官的解剖结构相关信息，有计算机断层扫描成像（Computerd  Tomography,CT）、磁共振血管造影术（Magnetic  Resonance Angiography,MRA）、核磁共振图像（Magnetic Resonance，MR）、超声成像（Ultrasound，US）、X 光照相术等。功能图像提供组织器官的代谢信息，主要有 f MRI(functionalMRI)图像、单光子发射断层图像（Single-PhotonEmissionComputedTomography，SPECT）、脑 电 图 （ Electroencephalogram,EEG ） 、 正 电 子 发 射 断 层 扫 描 （ Positron  EmissionTomography，PET）等。不同模态的图像依据不同的成像原理可以提供不同的医疗信息，例如，CT 图像能够较为清晰地反映骨骼信息，有利于病灶的定位，MR 图像能提供具有高对比度的软组织信息，可以对韧带或器官等较小病变部位进行精确检测，如图 1-1所示是人类脑部组织同一切点的 CT 和 MR 图像。 

  1.2  基于图像合成的多模态医学图像配准方法存在的问题

  目前基于图像合成的多模态医学图像配准存在的主要问题如下：（1）现有的基于图像合成的配准算法在单一方向上进行，即只有一种图像的解剖信息指导配准，容易引入偏差。（2）基于生成对抗网络的合成模型在训练过程中易出现模式崩塌、梯度消失的问题。（3）现有的方法大多只通过像素或体素强度损失的最小化来训练模型，这样会忽略图像的纹理或形状信息，导致合成图像的清晰度降低。（4）现有合成模型的可扩展性低，进行多个域间的图像合成时，需要为每对域训练一个单独的生成器，合成效率低。 针对现有基于图像合成的配准算法中合成模型鲁棒性差及合成图像特征信息表示不足导致配准精度不高的问题，提出了基于残差密集相对平均条件生成对抗网络（ residual  dense  -  relativistic  average  conditional  generative  adversarial network,RD-Ra CGAN）的多模态脑部图像配准方法，通过结合相对平均生成对抗网络（relativistic average GAN，Ra GAN）和条件生成对抗网络（conditional GAN,CGAN）来改进脑部图像的建模方法。其中，生成器的结构对生成样本的质量有较大影响，Zhang  等人认为残差密集块能充分利用深层网络中各卷积层的分层特征，并有效缓解网络退化问题。因此，本文的生成器以残差密集块作为核心组件，卷积神经网络为相对平均鉴别器，通过对抗学习训练合成模型，完成 CT 到 MR 及 MR 到 CT 的双向图像合成。然后，采用区域自适应配准算法联合估计两个形变场，并根据分层对称原则得到最终形变场。最后，将形变场作用于浮动图像完成配准。（2）针对基于图像合成的配准方法在处理两个以上的图像域时具有有限的可扩展，性和鲁棒性，提出了基于边缘感知多域对抗网络的医学图像配准方法。不同于现有的图像合成模型，该方法以 Star GAN v2（Star generative Adversarial Networks v2)为框架训练合成模型，Star GAN v2 设计了映射网络用于生成图像的风格编码，并摆脱了标签束缚，可以使用单个生成器跨多个域生成不同模态的图像，提高了模型的可扩展性。其中，将生成器改进为以残差密集块为主要结构，这样能够充分利用深层网络中各卷积层的分层特征，并有效地缓解网络退化问题。因此，本文的生成器以残差密集块作为核心组件，使用 Sobel 算子提取图像的边缘信息，联合强度相似性和边缘相似性训练合成模型，并完成 CT 到 MR 及 MR 到 CT 的双向图像合成。然后，采用区域自适应配准算法，从CT 单模态配准和 MR 单模态配准中联合估计形变场，当双路径形变场差异达到最小时，得到最终形变场，并将形变场作用于浮动图像完成配准。（3）基于两种算法的基础上使用 Py Charm 平台开发了多模态脑部图像配准系统。

  上一章详细介绍了医学图像配准的研究背景、意义、研究现状及现在存在的问题等。本章将在上一章总结概括的基础上，将详细阐述基于图像合成的多模态脑部医学图像配准的基础理论，并介绍医学图像配准所用到的评价方法，为后续章节的研究内容奠定理论基础。

  多模态图像配准是将同一场景不同时刻或不同传感器拍摄的两幅或多幅图像叠加在一起的过程。在临床图像处理中，不同时间采集的图像，通过配准有助于医生观察病理变化，而不同传感器采集的图像，通过配准则结合了不同的组织特征。这些图像的配准是检测疾病区域所必需的，通过强大的图像配准建立图像对应关系对于许多临床任务（例如图像融合，器官图谱创建和肿瘤生长监测）至关重要。在本文中，我们重点研究基于图像合成的脑部图像配准方法，以脑部图像配准的研究背景为出发点，以脑部图像配准存在的困难与问题为切入点，通过查询和阅读大量的国内外高水平文献，提出了两种新的方法。现将全文主要内容总结如下：（1）介绍了医学图像配准的研究背景，查阅资料分析国内外研究现状，对现有的医学图像配准方法进行分析和总结。重点研究基于图像合成的图像配准方法，通过对现有合成模型的分析，明确目前方法存在的问题从而展开本文研究。（2）详细介绍了本文方法中涉及到的关键技术，包括相对平均生成对抗网络、条件生成对抗网络、残差密集块、Sobel 算子、Star GAN v2 等，为后面本文所提方法奠定理论基础。（3）提出了残差密集相对平均 CGAN  的脑部图像配准方法。该方法解决了基于图像合成的配准算法中合成模型鲁棒性差导致合成图像不准确和配准效果欠佳的问题。将Ra GAN 与 CGAN 相结合，以残差密集块为核心组件构建合成模型，将待配准的多模态图像通过合成模型生成对应模态的图像，从而将复杂的多模态配准问题转化为基于双向图像合成的单模态配准，并采用区域自适应配准算法估计形变场完成配准。（4）提出了基于多域边缘感知的脑部图像配准方法。借鉴 Star GAN v2 结构采用风格编码器可以实现单生成器合成多域图像的思想，将 Star GAN  v2 中的残差块改进为提取信息更充分的残差密集块。联合图像的像素强度信息及 Sobel 算子提取的边缘结构信息训练合成模型，并结合区域自适应配准算法完成配准。实验结果不仅有很好的精度，配准效率也有一定提升。（5）在本文所提的基于图像合成的图像配准方法下，结合 Py Charm 开发了多模态医学图像配准系统。将现有的传统方法与本文所提方法进行了效果对比，充分体现了本文算法的有效性。图像配准是医学图像处理与分析中重要的预处理步骤，本文虽然在基于图像合成的多模态医学图像配准方面进行了很多研究，但图像配准领域还有更多的问题值得我们继续深入学习和解决，在本文基础上，还需从以下几个方面完善：（1）本文所提方法主要针对二维多模态图像，今后需要扩展到对三维图像的配准。（2）本文采用深度学习的方法，将合成图像作为辅助信息，以此提高多模态图像配准的精度，如何采用深度学习的方法实现端到端的配准是下一步研究的重点。（3）本文主要针对的是 CT/MR 图像对，如何提高本文算法的可扩展性，将多模态脑部图像例如 PET、SPECT 等进行精确配准也是下一步研究的重点。