Os desenvolvedores de um projeto de pesquisa Magenta (uma divisão do Google)
introduziram o sintetizador de código aberto NSynth Super. É baseado em um sistema de inteligência artificial que mistura várias amostras pré-carregadas (por exemplo, o som de uma guitarra e piano) em um novo som com características únicas.
Leia mais sobre o sistema NSynth Super e outros algoritmos do compositor abaixo.
Foto Ta Da CCSaiba mais sobre o NSynth Super
O sintetizador NSynth Super possui uma tela sensível ao toque que exibe uma "superfície de trabalho" quadrada. O músico seleciona vários instrumentos, cujo som será usado para criar um novo som, e os atribui aos cantos dessa praça.
Durante a apresentação, o artista controla o som reproduzido movendo o ponteiro dentro do campo de trabalho. A amostra resultante será uma combinação dos sons originais em diferentes proporções (dependendo da proximidade do cursor em um ângulo específico).
Novas amostras são sintetizadas usando o algoritmo de aprendizado de máquina do NSynth . Ele estudou 300 mil sons instrumentais usando as bibliotecas abertas TensorFlow e openFrameworks. Seu trabalho também usa o modelo WaveNet .
Para gerar novas amostras, o NSynth
analisa 16 características dos sons recebidos. Eles são interpolados linearmente para criar representações matemáticas de cada sinal de áudio. Essas representações são decodificadas novamente em sons que possuem as qualidades acústicas combinadas daquelas do algoritmo de entrada.
O NSynth Super pode ser usado com qualquer fonte MIDI: por exemplo, DAW, sintetizador ou seqüenciador. Você pode assistir como o NSynth Super funciona neste
vídeo . Nele, o artista “mistura” os sons de uma
cítara ,
piano elétrico etc.
O NSynth Super é uma ferramenta experimental e, portanto, não será vendido como um produto comercial. No entanto, seu código e esquema de montagem estão disponíveis no
GitHub .
Quem mais usa mo para criar música
O projeto Magenta também funciona em outras tecnologias relacionadas ao aprendizado de máquina. Um deles é o modelo MusicVAE, que pode "misturar" melodias. Com base nisso, várias aplicações web já foram criadas:
Melody Mixer ,
Beat Blender e
Latent Loops . O MusicVAE (e outros modelos da Magenta) são compilados na biblioteca
Magenta.js aberta.
Outras empresas estão trabalhando em algoritmos para fazer música. Por exemplo, a Sony Computer Science Laboratories está implementando o projeto
Flow Machines . Seu sistema de IA é capaz de analisar vários estilos musicais e usar esse conhecimento para criar novas composições. Um exemplo de seu trabalho é a música da música
Daddy's Car no estilo dos Beatles.
No âmbito do projeto Flow Machines, foram criadas várias aplicações, por exemplo, o
FlowComposer , que ajuda os músicos a escrever músicas em um determinado estilo, e o
Reflexive Looper , que complementa independentemente as partes instrumentais ausentes. Com a ajuda das soluções Flow Machines, eles até gravaram e lançaram o álbum de música
Hello World .
Outro exemplo é a inicialização
Jukedeck . Ele desenvolve uma ferramenta para criar composições com um determinado humor e ritmo. A empresa continua a desenvolver o projeto e convida
desenvolvedores e
músicos a colaborar. Aqui está um exemplo de uma composição criada pelos algoritmos de aprendizado de máquina Jukedeck:
Uma ferramenta semelhante é criada pela
Amper . O usuário pode escolher o humor, estilo, ritmo e duração da composição, bem como os instrumentos nos quais ela será "tocada". O aplicativo sintetiza a música de acordo com esses requisitos.
A Popgun também está trabalhando em sistemas de IA para escrever músicas. Eles desenvolvem algoritmos que podem escrever músicas pop originais. Além disso, a pesquisa nessa área é
realizada pelo gigante
do streaming Spotify. No ano passado, a empresa abriu um laboratório em Paris, que se envolverá na criação de ferramentas baseadas em sistemas de IA.
A IA substituirá os compositores?
Embora algumas empresas estejam desenvolvendo algoritmos para a criação de música, seus representantes enfatizam que esses instrumentos não se destinam a substituir músicos e compositores, mas sim a dar-lhes novas oportunidades.
Em 2017, a cantora americana Terin Southern lançou um álbum gravado usando sistemas de inteligência artificial. Ferramentas
usadas do sul da Amper, IBM, Magenta e AIVA. Segundo ela, essa experiência foi como trabalhar com uma pessoa que ajuda a criar música.
Ao mesmo tempo, não apenas compositores, mas também
outros especialistas da indústria da música podem usar algoritmos de aprendizado de máquina. As redes neurais são melhores que as pessoas na classificação de objetos. Esse recurso pode ser usado pelos
serviços de streaming de música para
determinar os gêneros das músicas.
Além disso, com a ajuda de algoritmos de aprendizado de máquina, você pode "
separar " os vocais do acompanhamento, criar
transcrições musicais ou
reduzir faixas.
A propósito, se você gosta de ler sobre som em microformato - nosso canal Telegram :
Sons surpreendentes da natureza
Como ouvir a cor
Canções de água
E as narrativas em nosso blog no Yandex.Zen:
4 pessoas famosas que gostavam de música
11 fatos interessantes da história da marca Marshall