Los desarrolladores de un proyecto de investigación Magenta (una división de Google)
presentaron el sintetizador NSynth Super de código abierto. Se basa en un sistema de inteligencia artificial que mezcla varias muestras precargadas (por ejemplo, el sonido de una guitarra y un piano) en un nuevo sonido con características únicas.
Lea más sobre el sistema NSynth Super y otros algoritmos de compositor a continuación.
Foto Ta Da CCObtenga más información sobre NSynth Super
El sintetizador NSynth Super tiene una pantalla táctil que muestra una "superficie de trabajo" cuadrada. El músico selecciona varios instrumentos, cuyo sonido se usará para crear un nuevo sonido, y los asigna a las esquinas de este cuadrado.
Durante la actuación, el intérprete controla el sonido reproducido moviendo el puntero dentro del campo de trabajo. La muestra resultante será una combinación de los sonidos originales en diferentes proporciones (dependiendo de la proximidad del cursor a un ángulo particular).
Se sintetizan nuevas muestras utilizando el algoritmo de aprendizaje automático de NSynth . Estudió 300 mil sonidos instrumentales utilizando las bibliotecas abiertas TensorFlow y openFrameworks. Su trabajo también usa el modelo WaveNet .
Para generar nuevas muestras, NSynth
analiza 16 características de los sonidos entrantes. Luego se interpolan linealmente para crear representaciones matemáticas de cada señal de audio. Estas representaciones se vuelven a decodificar en sonidos que tienen las cualidades acústicas combinadas de las del algoritmo de entrada.
NSynth Super se puede usar con cualquier fuente MIDI: por ejemplo, DAW, sintetizador o secuenciador. Puedes ver cómo funciona NSynth Super en este
video . En él, el intérprete "mezcla" los sonidos de un
sitar ,
piano eléctrico , etc.
NSynth Super es una herramienta experimental, por lo tanto, no se venderá como un producto comercial. Sin embargo, su código y esquema de ensamblaje están disponibles en
GitHub .
¿Quién más usa mo para crear música?
El proyecto Magenta también funciona en otras tecnologías relacionadas con el aprendizaje automático. Uno de ellos es el modelo MusicVAE, que puede "mezclar" melodías. Sobre esta base, ya se han creado varias aplicaciones web:
Melody Mixer ,
Beat Blender y
Latent Loops . MusicVAE (y otros modelos de Magenta) se compilan en la biblioteca abierta
Magenta.js .
Otras compañías están trabajando en algoritmos para hacer música. Por ejemplo, Sony Computer Science Laboratories está implementando el proyecto
Flow Machines . Su sistema de inteligencia artificial puede analizar varios estilos musicales y utilizar este conocimiento para crear nuevas composiciones. Un ejemplo de su trabajo es la música para la canción
Daddy's Car al estilo de The Beatles.
En el marco del proyecto Flow Machines, se crearon varias aplicaciones, por ejemplo,
FlowComposer , que ayuda a los músicos a escribir música en un estilo determinado, y
Reflexive Looper , que complementa de forma independiente las partes instrumentales faltantes. Con la ayuda de las soluciones Flow Machines, incluso grabaron y lanzaron el álbum de música
Hello World .
Otro ejemplo es la startup
Jukedeck . Desarrolla una herramienta para crear composiciones con un determinado estado de ánimo y ritmo. La compañía continúa desarrollando el proyecto e invita a
desarrolladores y
músicos a colaborar. Aquí hay un ejemplo de una composición creada por los algoritmos de aprendizaje automático de Jukedeck:
Una herramienta similar es creada por
Amper . El usuario puede elegir el estado de ánimo, el estilo, el ritmo y la duración de la composición, así como los instrumentos en los que se "reproducirá". La aplicación sintetiza música de acuerdo con estos requisitos.
Popgun también está trabajando en sistemas de inteligencia artificial para escribir música. Desarrollan algoritmos que pueden escribir canciones pop originales. Además, la investigación en esta área la
lleva a cabo el gigante de streaming Spotify. El año pasado, la compañía abrió un laboratorio en París, que se dedicará a la creación de herramientas basadas en sistemas de inteligencia artificial.
¿La IA reemplazará a los compositores?
Aunque algunas compañías están desarrollando algoritmos para crear música, sus representantes enfatizan que estos instrumentos no están destinados a reemplazar a músicos y compositores, sino que les brindan nuevas oportunidades.
En 2017, la cantante estadounidense Terin Southern lanzó un álbum grabado utilizando sistemas de inteligencia artificial. Southern
utilizó herramientas de Amper, IBM, Magenta y AIVA. Según ella, esta experiencia fue como trabajar con una persona que ayuda a crear música.
Al mismo tiempo, no solo los compositores, sino también
otros especialistas de la industria de la música pueden usar algoritmos de aprendizaje automático. Las redes neuronales son mejores que las personas en la clasificación de objetos. Los
servicios de transmisión de música pueden usar esta función para
determinar los géneros de canciones.
Además, con la ayuda de algoritmos de aprendizaje automático, puede "
separar " las voces del acompañamiento, crear
transcripciones musicales o
reducir pistas.
Por cierto, si desea leer sobre el sonido en microformato, nuestro canal de Telegram :
Increíbles sonidos de la naturaleza.
Como escuchar el color
Canciones de agua
Y las narrativas en nuestro blog en Yandex.Zen:
4 personas famosas aficionadas a la música
11 datos interesantes de la historia de la marca Marshall