Les développeurs d'un projet de recherche Magenta (une division de Google) ont
présenté le synthétiseur open source NSynth Super. Il est basé sur un système d'intelligence artificielle qui mélange plusieurs échantillons préchargés (par exemple, le son d'une guitare et d'un piano) en un nouveau son aux caractéristiques uniques.
En savoir plus sur le système NSynth Super et les autres algorithmes de composition ci-dessous.
Photo Ta Da CCEn savoir plus sur NSynth Super
Le synthétiseur NSynth Super possède un écran tactile qui affiche une «surface de travail» carrée. Le musicien sélectionne plusieurs instruments, dont le son sera utilisé pour créer un nouveau son, et les affecte aux coins de ce carré.
Pendant la représentation, l'interprète contrôle le son reproduit en déplaçant le pointeur dans le champ de travail. L'échantillon résultant sera une combinaison des sons originaux dans différentes proportions (selon la proximité du curseur à un angle particulier).
De nouveaux échantillons sont synthétisés à l'aide de l' algorithme d' apprentissage automatique de NSynth . Il a étudié 300 000 sons instrumentaux en utilisant les bibliothèques ouvertes TensorFlow et openFrameworks. Son travail utilise également le modèle WaveNet .
Pour générer de nouveaux échantillons, NSynth
analyse 16 caractéristiques des sons entrants. Ils sont ensuite interpolés linéairement pour créer des représentations mathématiques de chaque signal audio. Ces représentations sont décodées en sons qui ont les qualités acoustiques combinées de celles de l'algorithme d'entrée.
NSynth Super peut être utilisé avec n'importe quelle source MIDI: par exemple, DAW, synthétiseur ou séquenceur. Vous pouvez voir comment NSynth Super fonctionne dans cette
vidéo . Dans celui-ci, l'interprète «mixe» les sons d'un
sitar , d'
un piano électrique , etc.
NSynth Super est un outil expérimental, il ne sera donc pas vendu comme produit commercial. Cependant, son code et son schéma d'assemblage sont disponibles sur
GitHub .
Qui d'autre utilise mo pour créer de la musique
Le projet Magenta travaille également sur d'autres technologies liées à l'apprentissage automatique. L'un d'eux est le modèle MusicVAE, qui permet de «mélanger» des mélodies. Sur cette base, plusieurs applications Web ont déjà été créées:
Melody Mixer ,
Beat Blender et
Latent Loops . MusicVAE (et d'autres modèles de Magenta) sont compilés dans la bibliothèque ouverte
Magenta.js .
D'autres sociétés travaillent sur des algorithmes pour faire de la musique. Par exemple, Sony Computer Science Laboratories met en œuvre le projet
Flow Machines . Leur système d'IA est capable d'analyser différents styles musicaux et d'utiliser ces connaissances pour créer de nouvelles compositions. Un exemple de son travail est la musique de la chanson
Daddy's Car dans le style des Beatles.
Dans le cadre du projet Flow Machines, plusieurs applications ont été créées, par exemple
FlowComposer , qui aide les musiciens à écrire de la musique dans un style donné, et
Reflexive Looper , qui complète indépendamment les parties instrumentales manquantes. Avec l'aide des solutions Flow Machines, ils ont même enregistré et sorti l'album de musique
Hello World .
Un autre exemple est la startup
Jukedeck . Il développe un outil pour créer des compositions avec une humeur et un rythme donnés. L'entreprise continue de développer le projet et invite les
développeurs et les
musiciens à collaborer. Voici un exemple d'une composition créée par les algorithmes d'apprentissage automatique de Jukedeck:
Un outil similaire est créé par
Amper . L'utilisateur peut choisir l'ambiance, le style, le rythme et la durée de la composition, ainsi que les instruments sur lesquels elle sera «jouée». L'application synthétise la musique conformément à ces exigences.
Popgun travaille également sur des systèmes d'IA pour écrire de la musique. Ils développent des algorithmes qui peuvent écrire des chansons pop originales. De plus, des recherches dans ce domaine sont
menées par le géant
du streaming Spotify. L'année dernière, la société a ouvert un laboratoire à Paris, qui sera engagé dans la création d'outils basés sur des systèmes d'IA.
L'IA remplacera-t-elle les compositeurs?
Bien que certaines sociétés développent des algorithmes pour créer de la musique, leurs représentants soulignent que ces instruments ne sont pas destinés à remplacer les musiciens et les compositeurs, mais plutôt à leur donner de nouvelles opportunités.
En 2017, la chanteuse américaine Terin Southern a sorti un album enregistré à l'aide de systèmes d'intelligence artificielle. Outils
utilisés dans le sud par Amper, IBM, Magenta et AIVA. Selon elle, cette expérience était comme travailler avec une personne qui aide à créer de la musique.
Dans le même temps, non seulement les compositeurs, mais aussi d'
autres spécialistes de l'industrie musicale peuvent utiliser des algorithmes d'apprentissage automatique. Les réseaux de neurones sont meilleurs que les humains dans la classification des objets. Cette fonction peut être utilisée par
les services de streaming musical pour
déterminer les genres de chansons.
De plus, à l'aide d'algorithmes d'apprentissage automatique, vous pouvez «
séparer » les voix de l'accompagnement, créer
des transcriptions musicales ou
réduire les pistes.
Soit dit en passant, si vous aimez lire sur le son en microformat - notre chaîne Telegram :
Sons étonnants de la nature
Comment entendre la couleur
Chants d'eau
Et les récits de notre blog sur Yandex.Zen:
4 personnes célèbres qui aimaient la musique
11 faits intéressants de l'histoire de la marque Marshall