利用听觉周围模型研究人工耳蜗的汉语言感知

  1.1  问题的提出与研究意义

  听觉是我们人类感知世界和赖以生存的基本能力之一。许多世纪以来，人们都认为使耳聋的人重新获得听力是不可能的。据最新资料统计表明，全世界有数亿听力障碍者，聋人的康复是全球医学界关注的热点问题之一。尤其令人堪忧的是：我国现在有听力语言障碍的残疾人约 2780 万，居各类残疾人之首。而我国每年又有新增聋儿近 3 万名。图 1-1 为近些年来全球听力障碍人数（据世界卫生组织，World  Health  Organization，WHO，估计）和中国听力残障人数（两次全国人口普查数据）。我国耳聋患者已占世界耳聋患者人数的近十分之一。耳聋大体可分为三类：传导性耳聋、感音性耳聋以及这两种类型均有的混合性耳聋。目前传导性耳聋可通过手术或药物基本治愈，而如何彻底治愈感音神经性耳聋，却一直是耳科医生和听力学者的难题。无论是基因治疗还是神经细胞再生技术，真正应用于临床都尚需时日。人工电子耳蜗则是目前唯一能恢复感音神经性耳聋患者部分听力的有效解决手段。人工电子耳蜗是在深入了解人耳耳蜗生理的基础上开发出来的一种电子仿生装置，因此又被称为“仿生耳”。代替病变受损的听觉器官人工电子耳蜗可以把声音信号转换成电信号传入人体体内的耳蜗，刺激分布在那里的听神经纤维，再由神经传至大脑产生最终的听觉。电子耳蜗技术开发始于 20 世纪 60~70 年代，从只能让耳聋患者改善唇读能力来感知声音的单电极装置发展到现在，已成为一种复杂的多电极装置，到目前为止，全世界已拥有约 20 多万的使用者，其中大多数使用者可以在安静环境下进行简单的电话交谈。但是，要达到用电子耳蜗来完全自由地进行语言交流（如噪声环境下）和感知更丰富的声音信息（如音调、音乐），还需要继续地深入研究。目前在国内临床上使用的电子耳蜗产品多为从国外进口的产品，植入手术费用和设备价格昂贵（高达几十万），这对于大多数中国家庭来说难以承受。且现有电子耳蜗语音编码方案主要针对西方语言设计，有诸多局限性。此外我国是世界上人口最多的国家，全聋患者的数量也最多。因此，为造福母语为汉语的众多耳聋患者，改进其康复效果，更需要创新性的研究，以提高电子耳蜗的汉语信息的感知，进而在设计上降低成本，提高产品的性价比，这将对我国残疾人康复事业具有重大贡献，也将具有明显的社会效益和很高的经济效益。

  人工电子耳蜗技术历史最早可追溯到二百年以前的意大利科学家 Alessandro Volta，他利用电池作为研究工具，证实了电刺激可以直接激发起人的听觉、视觉、嗅觉和触觉感知。之后直到一百多年后现代电子技术的出现，才出现了关于听觉系统电刺激效果的安全而系统的研究的相关报道。1937 年，Stevens 等人运用相关设备，证实了至少三个与“电声感知”有关的机制。一个是电刺激可使耳蜗中的纤毛细胞产生振动，从而可使人在与电刺激信号相对应的声音刺激信号的频率点上感觉到一个音调信息。第二个是鼓膜可以将电信号转换成为声信号，从而可使人在二倍信号频率点上感觉到另一个音调信息。第三个机制与听觉神经纤维的直接电兴奋有关，这是因为他们在实验中发现，有一些病人称他们在正弦电刺激信号刺激时可感受到有类似于噪声的声音，且随着电流的变化有着剧烈的响度的变化。然而，却是俄罗斯科学家们最早证明了听觉神经电刺激效应，他们称观察到了一个中耳和内耳耳聋患者在电刺激时的听力感知。1957 年，法国医生 Djourno 等人运用电刺激成功使两个全聋的患者重新产生了听觉感知。他们的成功刺激了美国西岸 20 世纪 60~70 年代一系列恢复耳聋患者听力的研究。虽然相比于现在的技术，早期的研究方法很原始，但是它们指出了许多关键问题和为了能够成功实现听觉神经电刺激而必须考虑的一些限定条件。在商用方面，第一个通过 FDA（Food and Drug Administration，食品和药物管理局）认证的耳蜗装置是在 1984 年 House-3M 的单电极耳蜗，并拥有几百名使用者。此后 Utah 大学也开发了一种电子耳蜗（被称作 Ineraid 或 Symbion 装置），该装置有6 个电极，很好地适应了实验应用的需要，并且也拥有几百名使用者。比利时的Antwerp 大学也开发了一种电子耳蜗系统，称为 Laura 系统，它可以传递 8 通道双极性刺激信息或 15 通道单极性刺激信息。另外法国的 MXM 实验室也开发了一种单电极装置，该装置有 15 通道，即 Digisonic MX20。但这些产品由于效果不理想等原因后来都逐渐被淘汰。

  2.1  耳聋分类及病理依据

  听力损失的原因各不相同这是由于人耳的构造和功能非常复杂。根据听觉系统所受到的影响的性质、原因和病变位置可将耳聋大体分为传导性耳聋、感音神经性耳聋以及混合性耳聋。传导性耳聋是由耳部传音系统的病理因素，使外界的声音导入内耳的途径受到障碍所引起的耳聋。耳聋的传音系统包括外耳道、鼓膜、听骨链，蜗窗及前庭窗。任何有阻于振动向内耳传递的因素，都可能引起不同程度的听力下降，进而导致传导性耳聋。具体指外耳道闭锁或畸形、外耳道被异物堵塞、鼓膜损伤等，致使声音无法由传音系统传导至内耳所致的耳聋。感音神经性耳聋是由于耳蜗的感音系统发生某种形式的损伤，其将机械能转化为电能的能力受损，导致以机械能传入的声音无法转化为神经冲动而产生的耳聋。也就是通常说的神经性耳聋，具体是指耳膜、听小骨系统等传音系统正常，而内耳病变，一般是由于先天发育、药物或自然衰老等原因导致耳蜗内的听觉毛细胞受损，使得内部听神经退化，进而导致内耳传导神经系统无法完全准确地将声音传至大脑，在大脑皮层形成感音。感音神经性耳聋，根据致病原因又可分为遗传性聋和非遗传性聋。混合性耳聋同时包含传导性耳聋和感音性耳聋。这种情况下有病变的外耳或中耳将衰减的声音传向有病变的耳蜗。对于传导性耳聋，是可以治愈的耳科疾病，可以通过助听器对声音信号进行放大，或进行外科手术疏通堵塞声音传导的障碍物或畸变位置，进而修复听觉。而对于深重度感音性耳聋，由于内耳感音毛细胞损坏严重，已丧失正常耳蜗的毛细胞的生理功能，然而由于患者大多数的听神经还没有完全损伤或有再恢复的潜能，还能在有效的刺激下正常工作，因此可以利用在耳内植入特制的神经刺激装置绕过人耳病变部位，通过电刺激方式来逐步恢复听神经的活性，从而使耳聋患者恢复听力。

  2.2  功能性电刺激的基本原理

  人工电子耳蜗是一种可以代替病变受损听觉器官，把声音转换成编码的刺激传入人体的耳蜗，刺激分布在那里的听神经纤维，再由大脑产生听觉的装置。电刺激是使具有一定波形、幅度、持续时间、重复频率或能量的电流，按一定的方式经负电极（正电极取为无关电极）作用至可兴奋组织，使之兴奋，以达到治疗和控制的目的。用电刺激的方法来恢复听力，涉及到电刺激的原理、电刺激的特性，以及如何选择适当的刺激波形和刺激参数等。当可兴奋组织细胞处于静息状态时，其细胞膜两侧存在着内负外正的电位差，即静息电位。由于细胞膜两侧的正、负离子层构成极化状态，所以具有电容的性质。又由于细胞膜对离子的通透性具有电阻的作用，因而，可兴奋组织细胞可由电容、电阻组合的等效电路来模拟.Hodgkin 和 Huxley 在 1952 年建立的无髓神经纤维的 Hodgkin-Huxley 模型（简称 H-H 模型）。当有脉冲电流通过细胞膜时，负电极（不论其在细胞内或细胞外）附近的可兴奋组织细胞的细胞膜膜两端电位会发生变化，发生去极化，当外加电刺激引起的去极化达到一定阈值时，就会引起被刺激细胞中钠、钾等离子的通透性瞬时急剧改变而产生动作电位。该动作电位由负电极动作区开始，沿神经纤维或肌纤维向邻近的细胞扩布，产生扩布性兴奋。正常情况下，动作电位的产生是由神经递质的释放产生的。然而对于受损的听觉细胞，如毛细胞，无法产生神经递质，因而无法使得下一级神经细胞产生动作电位，因而导致信息传递通道的中断，进而引起失聪。但是，在静息状态下，如果人为地对神经纤维施加一个电刺激，神经纤维在该电流的作用下也可以产生动作电位，即细胞具有电可兴奋性，使得信息传递的通道再次连通。基于以上分析，在外加电流的作用下，细胞可以产生兴奋，进而产生动作电位，产生的动作电位还可以沿神经纤维传导。这一技术称为功能性电刺激（Functional Electrical  Stimulation，FES）。基于 FES 技术，可以设计电子耳蜗、人工视网膜等装置。

  3.1  汉语的特征

  3.2  电子耳蜗的语音信号处理方案

  3.3  空间编码和时间编码对汉语声调识别的影响

  3.4  小结

  第四章  利用听觉外周模型改进电子耳蜗处理方案

  第五章  仿真结果及讨论

 第六章  总结与展望

  电子耳蜗从研制到现在，已经经过了半个多世纪的发展，在发达国家，新的电子耳蜗语音信号处理方案不断推出，而且有不同的公司推出新产品应用于临床。目前，我国也有少量的临床应用，但大部分都是直接使用国外的产品。这存在以下两个主要问题：1）汉语属于汉藏语系是声调语言，不同于是非声调语言的欧美体系的语言，汉语的声调是汉语识别非常重要的信息，而大多国外的产品没有充分考虑到这一点。2）国外的产品价格都比较贵，一套电子耳蜗的产品价格都在二十万左右，不适合大多数中国家庭的消费。为此，本文从听觉外周系统的工作原理出发，探讨符合人耳听觉机制的电子耳蜗语音信号处理方案，希望用更加自然的刺激方式把汉语主要的信息传递给听神经，改善患者的汉语言的感知。本论文在前人研究的基础上，提出了一种采用听觉外周模型产生随机神经脉冲刺激的电子耳蜗语音信号处理方案，其具体内容和创新点是：研究分析了汉语声调特征，对现有的电子耳蜗语音信号处理方案进行声调识别率的研究。本文对 CIS 方案、ACE 方案和过零点方案进行仿真模拟，通过对仿真合成语音信号进行频域和时域的对比，以及声调识别率的比较，探讨空间编码机制和时间编码机制对汉语言声调感知的影响，发现在电极数目受限的条件下，利用时间编码机制来改进电子耳蜗处理方案要比利用空间编码机制来改进电子耳蜗处理方案有更好的汉语声调感知及识别效果。把听觉外周模型应用到电子耳蜗处理方案中，以时间编码机制为基础，利用产生的随机脉冲刺激模拟正常人耳的听神经的发放机制，从而使其更加的符合正常人耳处理声音的方式，使患者听到更加自然和丰富的语音。通过模拟实验验证，同各种处理方案（CIS、ACE、过零点方案）的结果进行对比，该方法有效地提高了汉语的声调的识别，改善了汉语言的感知，从而有助于中国电子耳蜗植入者对汉语的理解。设计了有效的电子耳蜗处理方案效果评估方法，利用听力学评估手段，通过言语识别率来评估处理后的效果，从而评价处理方案的效果。本文从声调、汉字和汉语句子识别率这三个方面的言语识别率来全面的评价电子耳蜗处理方案对汉语言声调、汉字以及日常交流情况下的汉语句子的感知，从而有效地评估各个方案对汉语言感知效果。综上所述，论文提出了有效的电子耳蜗语音处理方案，较完善的解决了电子耳蜗的汉语言的感知问题，并建立了合理的评价方法。由于研究条件和水平所限，作者仅在改进脉冲刺激方式、改进增强电子耳蜗音质和汉语言感知的处理方案、增强环境噪声下电子耳蜗感知效果等方面，以信号对比和健听耳测试，仿真验证了一些有益的探索，以此预测今后临床应用的改进前景。对于这些问题更全面的的研究需结合临床病人继续研究验证，这有待临床实验条件和设备的进一步配合和发展。虽然电子耳蜗已经进入临床应用阶段，但是由于使用效果同正常听力者和使患者自由正常地生活还有很大的差距，因此语音信号处理方案仍需要继续研究。1）人们对声音在耳蜗和听神经上的编码问题还没有一个统一值得大家信服的理论，什么是声音识别的主要因素，如何把声音的关键信息传递给电极，仍需要进行深入的探讨。2）即使是同一种处理方案，对于不同的电子耳蜗植入者来说，其识别率也存在很大的差异，如何研制适合于不同患者的电子耳蜗语音信号处理方案，也是需要研究的问题。3）继续研究耳蜗和听神经对声调的编码理论，刺激脉冲参数对音调的影响，把汉语的特征更好地传递给电极。4）如今的研究大多都集中在针对一个说话者的情况下，若能解决多个说话者的问题，将使耳聋患者更加方便的进行正常生活的交流。5）提出系统有效的测试系统，测试经过电子耳蜗方案处理后的合成语音效果，可以估计患者使用电子耳蜗术前术后的个体差异，其分析结果可以回馈来帮助研究语音信号处理算法的研究人员。随着计算机科学、微电子学及高分子材料学等高新科学的发展，电子耳蜗技术也越来越成熟，新一代的信号处理算法也层出不穷。越来越多的患者从中受益，该技术的进一步深入研究和开发将给全世界的聋人带来福音，使他们回到有声世界。