Entwickler eines Forschungsprojekts Magenta (eine Abteilung von Google)
stellten den Open-Source-Synthesizer NSynth Super vor. Es basiert auf einem künstlichen Intelligenzsystem, das mehrere vorinstallierte Samples (z. B. den Klang einer Gitarre und eines Klaviers) zu einem neuen Klang mit einzigartigen Eigenschaften mischt.
Lesen Sie unten mehr über das NSynth Super-System und andere Composer-Algorithmen.
Foto Ta Da CCErfahren Sie mehr über NSynth Super
Der NSynth Super Synthesizer verfügt über ein Touchscreen-Display, auf dem eine quadratische "Arbeitsfläche" angezeigt wird. Der Musiker wählt mehrere Instrumente aus, deren Klang zum Erstellen eines neuen Klangs verwendet wird, und weist sie den Ecken dieses Quadrats zu.
Während der Aufführung steuert der Darsteller den wiedergegebenen Ton, indem er den Zeiger innerhalb des Arbeitsfelds bewegt. Das resultierende Sample ist eine Kombination der Originaltöne in unterschiedlichen Proportionen (abhängig von der Nähe des Cursors zu einem bestimmten Winkel).
Neue Samples werden mit dem maschinellen Lernalgorithmus von NSynth synthetisiert. Er studierte 300.000 Instrumentalklänge mit den offenen Bibliotheken TensorFlow und openFrameworks. Seine Arbeit verwendet auch das WaveNet- Modell.
Um neue Samples zu generieren,
analysiert NSynth 16 Eigenschaften eingehender Sounds. Sie werden dann linear interpoliert, um mathematische Darstellungen jedes Audiosignals zu erstellen. Diese Darstellungen werden zurück in Klänge decodiert, die die kombinierten akustischen Eigenschaften derjenigen des Eingabealgorithmus aufweisen.
NSynth Super kann mit jeder MIDI-Quelle verwendet werden: zum Beispiel DAW, Synthesizer oder Sequenzer. In diesem
Video können Sie sehen, wie NSynth Super funktioniert. Darin „mischt“ der Darsteller die Klänge einer
Sitar , eines
E-Pianos usw.
NSynth Super ist ein experimentelles Werkzeug, daher wird es nicht als kommerzielles Produkt verkauft. Der Code und das Assemblierungsschema sind jedoch auf
GitHub verfügbar.
Wer sonst benutzt mo, um Musik zu machen?
Das Magenta-Projekt arbeitet auch mit anderen Technologien für maschinelles Lernen. Eines davon ist das MusicVAE-Modell, das Melodien „mischen“ kann. Darauf aufbauend wurden bereits mehrere Webanwendungen erstellt:
Melody Mixer ,
Beat Blender und
Latent Loops . MusicVAE (und andere Modelle von Magenta) werden in der geöffneten
Magenta.js- Bibliothek kompiliert.
Andere Unternehmen arbeiten an Algorithmen zum Musizieren. Zum Beispiel implementieren Sony Computer Science Laboratories das
Flow Machines- Projekt. Ihr KI-System kann verschiedene Musikstile analysieren und dieses Wissen nutzen, um neue Kompositionen zu erstellen. Ein Beispiel für seine Arbeit ist Musik für den
Daddy's Car- Song im Beatles-Stil.
Im Rahmen des Flow Machines-Projekts wurden mehrere Anwendungen erstellt, beispielsweise
FlowComposer , mit dem Musiker Musik in einem bestimmten Stil schreiben können, und
Reflexive Looper , mit dem die fehlenden Instrumentalteile unabhängig voneinander ergänzt werden. Mit Hilfe von Flow Machines-Lösungen haben sie sogar das Musikalbum
Hello World aufgenommen und veröffentlicht.
Ein weiteres Beispiel ist das Startup
Jukedeck . Er entwickelt ein Werkzeug, um Kompositionen mit einer bestimmten Stimmung und einem bestimmten Tempo zu erstellen. Das Unternehmen entwickelt das Projekt weiter und lädt
Entwickler und
Musiker zur Zusammenarbeit ein. Hier ist ein Beispiel für eine Komposition, die mit Algorithmen für maschinelles Lernen von Jukedeck erstellt wurde:
Ein ähnliches Tool wird von
Amper erstellt . Der Benutzer kann die Stimmung, den Stil, das Tempo und die Dauer der Komposition sowie die Instrumente auswählen, auf denen sie „gespielt“ wird. Die Anwendung synthetisiert Musik gemäß diesen Anforderungen.
Popgun arbeitet auch an KI-Systemen zum Schreiben von Musik. Sie entwickeln Algorithmen, die originelle Popsongs schreiben können. Auch die Forschung in diesem Bereich wird
vom Streaming-Riesen Spotify durchgeführt. Im vergangenen Jahr eröffnete das Unternehmen in Paris ein Labor, in dem Werkzeuge auf der Basis von KI-Systemen entwickelt werden.
Wird AI Komponisten ersetzen?
Obwohl einige Unternehmen Algorithmen zum Erstellen von Musik entwickeln, betonen ihre Vertreter, dass diese Instrumente nicht dazu gedacht sind, Musiker und Komponisten zu ersetzen, sondern ihnen neue Möglichkeiten zu bieten.
2017 veröffentlichte die amerikanische Sängerin Terin Southern ein Album, das mit künstlichen Intelligenzsystemen aufgenommen wurde. Southern
verwendete Tools von Amper, IBM, Magenta und AIVA. Ihrer Meinung nach war diese Erfahrung wie die Arbeit mit einer Person, die beim Erstellen von Musik hilft.
Gleichzeitig können nicht nur Komponisten, sondern auch
andere Spezialisten aus der Musikindustrie Algorithmen für maschinelles Lernen verwenden. Neuronale Netze sind bei der Klassifizierung von Objekten besser als Menschen. Diese Funktion kann von
Musik-Streaming-Diensten verwendet werden ,
um die Genres von Songs zu
bestimmen .
Darüber hinaus können Sie mithilfe von Algorithmen für maschinelles Lernen den Gesang von der Begleitung "
trennen ",
musikalische Transkriptionen erstellen oder Titel
reduzieren .
Übrigens, wenn Sie über Sound in Mikroformat lesen möchten - unser Telegrammkanal :
Erstaunliche Geräusche der Natur
Wie man die Farbe hört
Wasserlieder
Und die Erzählungen in unserem Blog auf Yandex.Zen:
4 berühmte Leute, die Musik liebten
11 interessante Fakten aus der Geschichte der Marke Marshall