Em junho, uma equipe de cientistas da Universidade da Califórnia em San Francisco
publicou um estudo que esclarece como as pessoas mudam de tom no discurso.
Os resultados deste estudo podem ser úteis na criação de sintetizadores de fala com som natural - com emoções e várias entonações.
Sobre o estudo - em nosso artigo hoje.
Foto Florian Koppe / CCComo foi o estudo
Uma equipe de cientistas da Universidade da Califórnia realizou recentemente uma série de experimentos. Ela estuda a relação entre diferentes partes do cérebro e órgãos da fala. Os pesquisadores estão tentando descobrir o que acontece no cérebro durante uma conversa.
O trabalho em questão no artigo está focado na área que controla a laringe, inclusive no momento da alteração do tom.
O principal especialista no estudo foi o neurocirurgião Edward Chang (Edward Chang). Ele trabalha com pacientes com epilepsia - realiza operações que previnem convulsões. Chang monitora a atividade cerebral de alguns de seus pacientes com a ajuda de equipamentos especiais.
A equipe recrutou voluntários para suas pesquisas nesse grupo específico de pacientes. Os sensores conectados permitem monitorar a atividade neural deles durante experimentos. Esse método - conhecido como
eletrocorticografia - ajudou os cientistas a encontrar a área do cérebro responsável pelas mudanças de tom.
Os participantes do estudo foram solicitados a repetir a mesma frase em voz alta, mas a enfatizar cada vez com palavras diferentes. A partir disso, o significado da frase mudou. Ao mesmo tempo, a frequência do tom fundamental também mudou - a frequência de oscilações das cordas vocais.
A equipe descobriu que os neurônios em uma área do cérebro foram ativados quando o paciente aumentou o tom. Esta área na zona motora do córtex é responsável pelos músculos da laringe. Os pesquisadores estimularam a eletricidade dos neurônios nessa área, à qual os músculos da laringe reagiram com tensão, e alguns pacientes emitiram sons involuntariamente.
Os participantes do estudo também incluíram uma gravação de seus próprios votos. Isso causou uma resposta dos neurônios. A partir disso, os membros da equipe concluíram que essa área do cérebro participa não apenas da alteração da frequência do tom fundamental, mas também da percepção da fala. Isso pode dar uma idéia de como o cérebro participa da imitação da fala de outra pessoa - permite alterar o tom e outras características para parodiar o interlocutor.
Útil no desenvolvimento de sintetizadores de voz
O jornalista Robbie Gonzalez, da Wired,
acredita que os resultados do estudo podem ser úteis nas próteses da laringe e permitir que pacientes sem voz "falem" de maneira mais realista. Isso é confirmado pelos próprios cientistas.
Os sintetizadores da fala humana - por exemplo, o
usado por Stephen Hawking - ainda são capazes de reproduzir palavras, interpretando a atividade neural. No entanto, eles não podem enfatizar, como faria uma pessoa com um aparelho de fala saudável. Por esse motivo, o discurso não é natural e nem sempre é claro se o interlocutor faz uma pergunta ou faz uma declaração.
Os cientistas continuam a explorar a área do cérebro responsável por alterar a frequência do tom fundamental. Supõe-se que, no futuro, os sintetizadores de fala serão capazes de analisar a atividade neural nessa área e, com base nos dados obtidos, criar sentenças de maneira natural - enfatizar as palavras certas com o tom, formular perguntas e afirmações intonacionalmente, dependendo do que a pessoa deseja dizer.
Outros estudos sobre modelos de fala
Não faz muito tempo, outro
estudo foi realizado no laboratório de Edward Chang, que pode ajudar no desenvolvimento de dispositivos de formação de voz. Os participantes leram centenas de frases, nas quais quase todas as construções fonéticas possíveis do inglês americano foram usadas. E os cientistas acompanharam a atividade neural dos sujeitos.
Foto PxHere / PDDesta vez, a coarticulação se tornou um objeto de interesse - como os órgãos do trato vocal (por exemplo, lábios e língua) funcionam ao pronunciar sons diferentes. Foi dada atenção às palavras em que diferentes vogais seguem a mesma consoante sólida. Ao pronunciar tais palavras, lábios e língua geralmente funcionam de maneira diferente - como resultado, nossa percepção dos sons correspondentes também é diferente.
Os cientistas não apenas determinaram os grupos de neurônios responsáveis por movimentos específicos dos órgãos do trato vocal, mas também descobriram que os centros de fala do cérebro coordenam os movimentos dos músculos da língua, laringe e outros órgãos do trato vocal, dependendo do contexto da fala - a ordem em que os sons são produzidos. Sabemos que a linguagem assume posições diferentes, dependendo de qual será o próximo som da palavra, e há um grande número de combinações de sons - esse é outro fator que torna o som da fala humana natural.
O estudo de todas as variantes de coarticulação controlada pela atividade neural também desempenhará um papel no desenvolvimento de tecnologias de síntese de fala para pessoas que perderam a capacidade de falar, mas cujas funções neurais foram preservadas.
Para ajudar as pessoas com deficiência
, também são utilizados sistemas que funcionam com o princípio oposto - ferramentas baseadas em IA que ajudam a converter a fala em texto. A presença de entonações e sotaques na fala também é uma dificuldade para essa tecnologia. Sua presença impede que algoritmos de inteligência artificial reconheçam palavras individuais.
Funcionários da Cisco, o Instituto de Física e Tecnologia de Moscou e a Escola Superior de Economia
apresentaram recentemente
uma possível solução para o problema de converter o inglês americano em texto. Seu sistema usa a
base de pronúncia do
CMUdict e recursos de rede neural recorrentes. O método deles consiste na "limpeza" automática preliminar da fala a partir de sons "extras". Assim, em termos de som, a fala está próxima do inglês americano falado, sem “traços” regionais ou étnicos claramente expressos.
O futuro da pesquisa da fala
No futuro, o professor Chang também
quer explorar como estão funcionando os cérebros das pessoas que falam chinês. Nelas, variações na frequência do tom fundamental podem alterar significativamente o significado da palavra. Os cientistas estão interessados em como as pessoas percebem diferentes construções fonéticas neste caso.
Benjamin Dichter, um dos colegas de Chang,
acredita que o próximo passo é ir além na compreensão da relação cérebro-laringe. A equipe agora precisa aprender a adivinhar qual frequência de tom o orador escolherá analisando sua atividade neural. Essa é a chave para criar um sintetizador de fala com som natural.
Os cientistas
acreditam que em um futuro próximo não será possível liberar esse dispositivo, mas o estudo de Dichter e da equipe aproximará a ciência do momento em que o aparelho de fala artificial aprender a interpretar não apenas palavras individuais, mas também entonações, o que significa adicionar emoções à fala.
Mais interessante sobre o som - em nosso canal Telegram :
Como soou Guerra nas Estrelas?
Aparelhos de áudio extravagantes
Sons do mundo dos pesadelos
Cinema nas placas
Música no trabalho