“机器声音”:基于神经网络的合成器

研究项目Magenta(Google 子公司)的开发人员介绍了 NSynth Super开源合成器。 它基于人工智能系统,该系统将几个预先加载的样本(例如吉他和钢琴的声音)混合成具有独特特征的新声音。

在下面阅读有关NSynth Super系统和其他作曲家算法的更多信息。


相片Ta Da CC

了解有关NSynth Super的更多信息


NSynth Super合成器具有触摸屏显示器,可显示方形的“工作表面”。 音乐家选择了几种乐器,这些乐器的声音将用于创建新的声音,并将它们分配到该广场的角落。

在表演期间,表演者通过在工作区域内移动指针来控制再现的声音。 产生的样本将是原始声音的不同比例组合(取决于光标到特定角度的接近程度)。

使用NSynth的机器学习算法合成新样本。 他使用开放库TensorFlow和openFrameworks研究了30万种乐器声音。 他的工作还使用WaveNet模型。

为了生成新样本,NSynth 分析了传入声音的16个特征。 然后对它们进行线性插值,以创建每个音频信号的数学表示。 这些表示被解码回具有组合输入算法的声学质量的声音。

NSynth Super可以与任何MIDI信号源一起使用:例如,DAW,合成器或音序器。 您可以在此视频中观看NSynth Super的工作方式。 在其中,表演者“混合”了西塔琴电子钢琴等的声音。


NSynth Super是一种实验工具,因此不会作为商业产品出售。 但是,其代码和汇编方案可在GitHub上获得

还有谁用mo创作音乐


Magenta项目还适用于其他与机器学习相关的技术。 其中之一是MusicVAE模型,它可以“混合”旋律。 基于此,已经创建了多个Web应用程序: Melody MixerBeat BlenderLatent Loops 。 MusicVAE(以及Magenta的其他模型)在开放的Magenta.js库中进行编译。

其他公司正在研究制作音乐的算法。 例如,索尼计算机科学实验室正在实施Flow Machines项目。 他们的AI系统能够分析各种音乐风格,并利用这些知识来创作新的作品。 他的作品的一个例子是披头士乐队风格的《 爸爸的车》歌曲中的音乐。


在Flow Machines项目的框架内,创建了多个应用程序,例如FlowComposerReflexive Looper ,后者分别用于帮助音乐家以给定的风格创作音乐和补充缺少的乐器部分。 在Flow Machines解决方案的帮助下,他们甚至录制并发行了Hello World音乐专辑。

另一个例子是初创公司Jukedeck 。 他开发了一种工具,可以根据给定的心情和节奏来创作作品。 该公司将继续开发该项目,并邀请开发人员音乐家合作。 这是Jukedeck机器学习算法创建的合成示例:


Amper创建了一个类似的工具。 用户可以选择构图的心情,风格,节奏和持续时间,以及将在其上“弹奏”的乐器。 该应用程序根据这些要求合成音乐。

Popgun还致力于AI系统编写音乐。 他们开发了可以写原创流行歌曲的算法。 此外,流媒体巨头Spotify在这一领域进行了研究。 去年,该公司在巴黎开设了一个实验室,该实验室将从事基于AI系统的工具的创建。

人工智能会取代作曲家吗?


尽管一些公司正在开发用于创作音乐的算法,但他们的代表强调说,这些乐器并非旨在取代音乐家和作曲家,而是为他们提供了新的机会。

2017年,美国歌手Terin Southern发行了使用人工智能系统录制的专辑。 Southern 使用了来自Amper,IBM,Magenta和AIVA的工具。 据她说,这种经历就像与一个帮助创作音乐的人一起工作。

同时,不仅作曲家,而且音乐界的其他专家都可以使用机器学习算法。 神经网络在对象分类方面比人更好。 音乐流服务可以使用此功能来确定歌曲流派。

此外,借助机器学习算法,您可以将人声与伴奏“ 分离 ”,创建音乐转录减少音轨。



顺便说一句,如果您想阅读微格式的声音-我们的电报频道

大自然的声音
如何听到颜色
水歌

还有我们在Yandex.Zen博客上的叙述:

4位热爱音乐的名人
马歇尔(Marshall)品牌历史上的11个有趣事实


Source: https://habr.com/ru/post/zh-CN419897/


All Articles