6月,来自加利福尼亚大学旧金山分校的一组科学家
发表了一项研究 ,揭示了人们如何改变演讲的音调。
这项研究的结果可能有助于创建具有声音和各种语调的自然发音的合成器。
关于这项研究-在今天的文章中。
图片Florian Koppe / CC研究如何
加利福尼亚大学的一组科学家最近进行了一系列实验。 她研究了大脑不同部位与言语器官之间的关系。 研究人员正试图找出谈话过程中大脑中发生的事情。
本文中的工作主要集中在控制喉部的区域,包括在改变音调时。
该研究的主要专家是神经外科医生爱德华·张(Edward Chang)。 他与癫痫患者合作-他进行预防抽搐的手术。 Chang借助专用设备监控了部分患者的大脑活动。
该团队从该组特定患者中招募了志愿者进行研究。 连接的传感器使您可以在实验过程中监视其神经活动。 这种被称为脑皮质
描记法的方法可以帮助科学家找到负责音高变化的大脑区域。
研究参与者被要求大声重复相同的句子,但是每次都要强调不同的单词。 由此,短语的含义发生了变化。 同时,基音的频率也发生了变化-声带的振荡频率。
研究小组发现,当患者抬起音调时,大脑某一区域的神经元就会被激活。 皮质运动区的这个区域负责喉部的肌肉。 研究人员刺激了该区域神经元的电,喉部的肌肉对此产生了紧张的反应,并且一些患者不由自主地发出了声音。
该研究的参与者还包括自己的投票记录。 这引起了神经元的反应。 据此,研究小组成员得出结论,大脑的这一区域不仅参与了基本音调频率的改变,而且还参与了语音的感知。 这可以让您了解大脑如何参与模仿他人的语音-它使您可以更改音调和其他特征来模仿对话者。
对语音合成器的开发有用
《连线》杂志的记者罗比·冈萨雷斯(Robbie Gonzalez)
认为 ,这项研究的结果可能对喉道的修复有用,并且可以使没有声音的患者更加真实地“说话”。 这是科学家自己证实的。
人类语音的合成器,例如斯蒂芬·霍金
( Stephen Hawking)
使用的合成器,仍然能够复制单词,解释神经活动。 但是,他们无法像具有健康语音设备的人那样强调。 因此,语音听起来很不自然,而且对话者是否一直在提问还是发表陈述并不总是很清楚。
科学家继续探索负责改变基本音调频率的大脑区域。 有一个假设是,将来语音合成器将能够分析该区域的神经活动,并根据获得的数据以自然的方式构建句子-以正确的音调强调正确的单词,根据个人的意愿在全国范围内形成问题和陈述。
其他语音模型研究
不久前,另
一项研究在爱德华·张(Edward Chang)的实验室中进行,该研究可以帮助开发语音形成设备。 参与者朗读了数百个句子,其中几乎使用了所有可能的美式英语语音构造。 科学家们追踪了受试者的神经活动。
摄影/ PD这次,关节发音成为一个有趣的对象-发出不同声音时声道的器官(例如嘴唇和舌头)如何工作。 注意不同元音遵循相同的固体辅音的单词。 当发音这样的单词时,嘴唇和舌头通常会发挥不同的作用-结果,我们对相应声音的理解也有所不同。
科学家不仅确定了负责声道器官特定运动的神经元群,还发现大脑的言语中心依赖于言语的上下文来协调舌头,喉和其他声道器官的运动,声音的发出顺序是这样的。 我们知道语言根据单词中下一个声音的位置而处于不同的位置,并且存在大量这样的声音组合-这是另一个使人类语音自然的因素。
对神经活动控制的所有关节发音变体的研究,在语音合成技术的发展中也将发挥作用,这些人的语言能力已经丧失,但是神经功能得到了保留。
为了帮助残疾人
,还使用了与之相反的原理的系统-基于AI的工具,可将语音转换为文本。 语音中的语调和重音的存在也是该技术的困难。 它们的存在阻止了人工智能算法识别单个单词。
思科,莫斯科物理技术学院和高等经济学院的员工最近为将美国英语转换为文本的问题
提供了一种可能的解决方案。 他们的系统使用
CMUdict语音
基础和递归神经网络功能。 他们的方法包括从“额外”声音中自动对语音进行初步的“清理”。 因此,就声音而言,言语接近美国英语口语,没有明确表达区域或种族“痕迹”。
语音研究的未来
将来,张教授
还想探索说汉语的人的大脑如何工作。 在它们中,基音频率的变化会显着改变单词的含义。 在这种情况下,科学家对人们如何看待不同的语音构造感兴趣。
Chang的同事之一本杰明·迪希特(Benjamin Dichter)
认为,下一步是进一步了解脑-喉关系。 现在,团队需要学习如何通过分析其神经活动来猜测说话者会选择哪种音调频率。 这是创建自然声音语音合成器的关键。
科学家
认为 ,在不久的将来将不可能发布这样的设备,但是Dichter及其团队的研究将使科学更接近人工语音设备不仅学习单个单词而且还翻译语调的那一刻,这意味着在语音中增加情感。
关于声音的更多有趣信息-在我们的电报频道中 :
《星球大战》听起来如何?
花哨的音频小工具
来自噩梦世界的声音
盘子上的电影院
工作中的音乐