硕士论文网/国内首批论文服务机构

当前位置:硕士论文网首页 > 医学论文 > 基于图像合成的非刚性多峰医学图像配准

基于图像合成的非刚性多峰医学图像配准

时间:2020-12-13 14:38 | 栏目:医学论文 | 浏览:

硕士论文网第2020-12-13期,本期硕士论文写作指导老师为大家分享一篇医学论文文章《基于图像合成的非刚性多峰医学图像配准》,供大家在写论文时进行参考。
  本篇论文是一篇医学硕士论文范文,基于残差密集相对平均条件生成对抗网络的多模态脑部图像配准方法,通过结合相对平均生成对抗网络和条件生成对抗网络来改进脑部图像的建模方法。其中,生成器的结构对生成样本的质量有较大影响,由于残差密集块能充分利用深层网络中各卷积层的分层特征,并有效缓解网络退化问题。

  第 1 章  绪论

  1.1 选题依据、研究背景及意义
本研究课题来源于山西省自然科学基金“纹理和边缘信息在癌症、脑肿瘤医学影像融合中的探索研究”(201901D111152)。 先进医学影像技术的发展为临床医师提供了高分辨率的影像资料,各种模态的图像层出不穷。医学图像可以转换为数字信息,使图像处理与计算机相结合。这些图像信息的整合就需要图像配准技术的帮助。在临床治疗过程中,不同模态的图像不仅提供了不同的解剖信息,而且为医生进行准确诊断和科学治疗提供了可靠依据。可变形图像配准的任务是通过最小化两幅图像之间基于特征和或基于强度的差异来对每个对应的局部结构点进行空间对齐。通过图像配准来将来自两个或多个模态的图像中的有用信息集成到一个单一的、信息量更大的图像中,在计算机视觉、图像诊断和图像引导手术规划等领域有着广泛的应用。 在医学诊断过程中,根据不同的成像模式和图像特性,医学图像可以分成两大类,即解剖图像和功能图像。解剖图像反映组织器官的解剖结构相关信息,有计算机断层扫描成像(Computerd  Tomography,CT)、磁共振血管造影术(Magnetic  Resonance Angiography,MRA)、核磁共振图像(Magnetic Resonance,MR)、超声成像(Ultrasound,US)、X 光照相术等。功能图像提供组织器官的代谢信息,主要有 f MRI(functionalMRI)图像、单光子发射断层图像(Single-PhotonEmissionComputedTomography,SPECT)、脑 电 图 ( Electroencephalogram,EEG ) 、 正 电 子 发 射 断 层 扫 描 ( Positron  EmissionTomography,PET)等。不同模态的图像依据不同的成像原理可以提供不同的医疗信息,例如,CT 图像能够较为清晰地反映骨骼信息,有利于病灶的定位,MR 图像能提供具有高对比度的软组织信息,可以对韧带或器官等较小病变部位进行精确检测,如图 1-1所示是人类脑部组织同一切点的 CT 和 MR 图像。 
同一切点的 CT 图像和 MR 图像
  由此可见,单一模态的图像所提供的信息具有局限性,不能全面的反映人体某一部位的全部信息。在传统的临床诊疗过程中,医生通常基于多个解剖图像进行诊断,这对医生的经验水平有更高的要求,并且具有更大的主观性。因此,采用正确的医学图像配准方法则可以将来自两个或多个图像的有用信息集成到一个单一的、信息量更大的图像中,增加了互补性,减少了冗余性。医生可以更方便准确地从各个角度观察病灶和结构,对病灶的生长情况及治疗效果进行定性分析,使得医疗诊断、放射疗法、图像引导手术更准确可靠,医学图像配准技术已成为临床医学中不可或缺的关键技术。 
  1.2  基于图像合成的多模态医学图像配准方法存在的问题
  目前基于图像合成的多模态医学图像配准存在的主要问题如下:(1)现有的基于图像合成的配准算法在单一方向上进行,即只有一种图像的解剖信息指导配准,容易引入偏差。(2)基于生成对抗网络的合成模型在训练过程中易出现模式崩塌、梯度消失的问题。(3)现有的方法大多只通过像素或体素强度损失的最小化来训练模型,这样会忽略图像的纹理或形状信息,导致合成图像的清晰度降低。(4)现有合成模型的可扩展性低,进行多个域间的图像合成时,需要为每对域训练一个单独的生成器,合成效率低。 针对现有基于图像合成的配准算法中合成模型鲁棒性差及合成图像特征信息表示不足导致配准精度不高的问题,提出了基于残差密集相对平均条件生成对抗网络( residual  dense  -  relativistic  average  conditional  generative  adversarial network,RD-Ra CGAN)的多模态脑部图像配准方法,通过结合相对平均生成对抗网络(relativistic average GAN,Ra GAN)和条件生成对抗网络(conditional GAN,CGAN)来改进脑部图像的建模方法。其中,生成器的结构对生成样本的质量有较大影响,Zhang  等人认为残差密集块能充分利用深层网络中各卷积层的分层特征,并有效缓解网络退化问题。因此,本文的生成器以残差密集块作为核心组件,卷积神经网络为相对平均鉴别器,通过对抗学习训练合成模型,完成 CT 到 MR 及 MR 到 CT 的双向图像合成。然后,采用区域自适应配准算法联合估计两个形变场,并根据分层对称原则得到最终形变场。最后,将形变场作用于浮动图像完成配准。(2)针对基于图像合成的配准方法在处理两个以上的图像域时具有有限的可扩展,性和鲁棒性,提出了基于边缘感知多域对抗网络的医学图像配准方法。不同于现有的图像合成模型,该方法以 Star GAN v2(Star generative Adversarial Networks v2)为框架训练合成模型,Star GAN v2 设计了映射网络用于生成图像的风格编码,并摆脱了标签束缚,可以使用单个生成器跨多个域生成不同模态的图像,提高了模型的可扩展性。其中,将生成器改进为以残差密集块为主要结构,这样能够充分利用深层网络中各卷积层的分层特征,并有效地缓解网络退化问题。因此,本文的生成器以残差密集块作为核心组件,使用 Sobel 算子提取图像的边缘信息,联合强度相似性和边缘相似性训练合成模型,并完成 CT 到 MR 及 MR 到 CT 的双向图像合成。然后,采用区域自适应配准算法,从CT 单模态配准和 MR 单模态配准中联合估计形变场,当双路径形变场差异达到最小时,得到最终形变场,并将形变场作用于浮动图像完成配准。(3)基于两种算法的基础上使用 Py Charm 平台开发了多模态脑部图像配准系统。

  第 2 章  医学图像配准基础理论

  上一章详细介绍了医学图像配准的研究背景、意义、研究现状及现在存在的问题等。本章将在上一章总结概括的基础上,将详细阐述基于图像合成的多模态脑部医学图像配准的基础理论,并介绍医学图像配准所用到的评价方法,为后续章节的研究内容奠定理论基础。
  2.1  医学图像配准基本概念
  图像配准是实现有效的图像融合的前提,必须先进行配准变换,才能实现精准的融合。在临床诊断中,单一模态的图像往往不能为医生提供足够的诊断信息,常需将多种模态或同一模态的多次成像通过配准融合来实现信息互补。医学图像配准包括图像的定位和转换,即通过寻找一种空间变换使得两幅或多幅图像的关键点达到空间位置和解剖结构上的完全一致。图 2-1 简单说明了二维图像配准的概念。图(a)和图(b)是同一患者同一位置对应的的两幅脑部图像,其中图(a)是参考 CT 图像,图(b)是浮动MR 图像,这两幅图像的不同之处是:第一,图(b)相对于图(a)进行了垂直方向的平移、旋转和扭曲,第二,两幅图像所反映的图像信息是不同的,图(a)表达脑部的骨骼信息,图(b)突出脑部图像的软组织信息。图(c)给出了两幅图像对应像素点之间的映射关系,即(a)中的每一个像素点在(b)中都能找到唯一对应的映射信息。如果一幅图像空间中的每一个点在另外一幅图像空间中都能够准确或近似准确的对应起来,即称之为图像配准。如图(d)给出了浮动 MR 图像相对于参考 CT 图像的配准后图像。从图(d)中可以看出,图(a)和图(d)中对应空间位置的像素点已近似一致。 
医学图像配准原理
  2.2  残差密集相对平均 CGAN 的图像配准方法的基础理论 
  为了解决 GAN 中存在的不稳定问题,相对平均生成对抗网络(Ra GAN)从鉴别器(discriminator)D 的角度对 GAN 做出了改进。在 GAN 中,D 判断输入数据是来自生成器(generator)G 生成的数据fx 还是真实数据rx 。若输入数据为rx ,则输出为 1,若输入为fx ,则fD(x) 输出为 0。  Ra GAN 通过向 D 中加入梯度惩罚因子f fEx[C(x)]) 和r rEx[C(x)]) 得到相对平均鉴别器( relative  average  discriminator )RaD ,Ra r fD(x, x) 表示rx 比平均给定的fx 更真实的概率,Ra f rD(x, x) 表示fx 比平均给定的rx 更假的概率。Ra GAN 通过限定 D 的输出值,避免 D 过早饱和,增加网络的稳定性,实验表明,Ra GAN 可以经过多次迭代训练而不造成梯度消失。  GAN 作为一种无监督方法,当数据集中的图像内容复杂时,使用 GAN 模型很难控制生成的结果。条件生成对抗网络(CGAN)通过在 G 和 D 的建模中均引入条件变量 c,将无监督 GAN 改进为有监督的生成模型。c 可以基于多种信息,例如,类别标签、图像特征或来自不同模态的数据。c 对模型增加了约束条件,用于指导数据生成过程,使得 CGAN 更关注对于阐释样本相关的特征,并忽略不相关特征,有效提高了网络收敛速度和生成数据的质量。

  第 3 章  残差密集相对平均 CGAN 的多模态脑部图像配准

  3.1  RD-RACGAN 算法网络结构
  3.2 区域自适应配准算法
  3.3  算法流程
  3.4  实验结果与分析
  3.5  本章小结

  第 4 章  基于多域边缘感知的多模态脑部图像配准

  4.1  多域边缘感知合成算法网络结构
  4.2 区域自适应配准算法
  4.3  算法流程
  4.4  实验结果与分析
  4.5  本章小结

  第 5 章  多模态脑部图像配准系统

  5.1  系统设计的目的及意义
  5.2  系统总体设计
  5.3  系统模块功能实现
  5.4  本章小结

  第 6 章  总结与展望

  多模态图像配准是将同一场景不同时刻或不同传感器拍摄的两幅或多幅图像叠加在一起的过程。在临床图像处理中,不同时间采集的图像,通过配准有助于医生观察病理变化,而不同传感器采集的图像,通过配准则结合了不同的组织特征。这些图像的配准是检测疾病区域所必需的,通过强大的图像配准建立图像对应关系对于许多临床任务(例如图像融合,器官图谱创建和肿瘤生长监测)至关重要。在本文中,我们重点研究基于图像合成的脑部图像配准方法,以脑部图像配准的研究背景为出发点,以脑部图像配准存在的困难与问题为切入点,通过查询和阅读大量的国内外高水平文献,提出了两种新的方法。现将全文主要内容总结如下:(1)介绍了医学图像配准的研究背景,查阅资料分析国内外研究现状,对现有的医学图像配准方法进行分析和总结。重点研究基于图像合成的图像配准方法,通过对现有合成模型的分析,明确目前方法存在的问题从而展开本文研究。(2)详细介绍了本文方法中涉及到的关键技术,包括相对平均生成对抗网络、条件生成对抗网络、残差密集块、Sobel 算子、Star GAN v2 等,为后面本文所提方法奠定理论基础。(3)提出了残差密集相对平均 CGAN  的脑部图像配准方法。该方法解决了基于图像合成的配准算法中合成模型鲁棒性差导致合成图像不准确和配准效果欠佳的问题。将Ra GAN 与 CGAN 相结合,以残差密集块为核心组件构建合成模型,将待配准的多模态图像通过合成模型生成对应模态的图像,从而将复杂的多模态配准问题转化为基于双向图像合成的单模态配准,并采用区域自适应配准算法估计形变场完成配准。(4)提出了基于多域边缘感知的脑部图像配准方法。借鉴 Star GAN v2 结构采用风格编码器可以实现单生成器合成多域图像的思想,将 Star GAN  v2 中的残差块改进为提取信息更充分的残差密集块。联合图像的像素强度信息及 Sobel 算子提取的边缘结构信息训练合成模型,并结合区域自适应配准算法完成配准。实验结果不仅有很好的精度,配准效率也有一定提升。(5)在本文所提的基于图像合成的图像配准方法下,结合 Py Charm 开发了多模态医学图像配准系统。将现有的传统方法与本文所提方法进行了效果对比,充分体现了本文算法的有效性。图像配准是医学图像处理与分析中重要的预处理步骤,本文虽然在基于图像合成的多模态医学图像配准方面进行了很多研究,但图像配准领域还有更多的问题值得我们继续深入学习和解决,在本文基础上,还需从以下几个方面完善:(1)本文所提方法主要针对二维多模态图像,今后需要扩展到对三维图像的配准。(2)本文采用深度学习的方法,将合成图像作为辅助信息,以此提高多模态图像配准的精度,如何采用深度学习的方法实现端到端的配准是下一步研究的重点。(3)本文主要针对的是 CT/MR 图像对,如何提高本文算法的可扩展性,将多模态脑部图像例如 PET、SPECT 等进行精确配准也是下一步研究的重点。


以上论文内容是由硕士论文网为您提供的关于《基于图像合成的非刚性多峰医学图像配准》的内容,如需查看更多硕士毕业论文范文,查找硕士论文、博士论文、研究生论文参考资料,欢迎访问硕士论文网医学论文栏目。