智能时代 Archiver

衡宇 发表于 2022/10/28 17:11:48

AIGC 基于文本生成音乐,现在压力来到配乐行业这边

宇航员骑马奔驰,配什么 BGM 比较飒?这活交给 AI 试试!

输入文本“宇航员骑大马”,秒速生成一段 1 分钟的音频:

emmm…… 听起来好动感!

是的没错,AI 可以基于文字提示生成音乐

上面这段演示视频,基于 Deforum Stable Diffusion 的 Colab 页面代码修改而来。

这只新项目的名字叫 Mubert API,已在 Github 开源,获得 1000 多的标星。

推特上也有不少人已经用 Mubert API 生成音频,来给自己的视频配乐了。

试听过的友友们这样留言:

音乐由真人谱曲、AI 组曲

在演示视频里面,这个 text-to-music 的 AI,实际生成效果听起来还不错。

那不如来看看,Mubert API 是怎么工作的吧。

大概的工作流程是这样的:

音乐人谱曲后上传 → AI 进行风格分类 → 用户输入文本 → AI 用 demo 组曲 → 生成个性化音乐

也就是说,虽然 Mubert API 在进行 text-to-music 的工作,但是 AI 负责的部分,只有两个步骤:

分类 demo + 根据提示文本组合 demo 成曲。

简而言之,最后生成的音乐,是由真人谱曲、AI 组曲

具体是怎么回事呢?

回到第一个步骤,音乐人们制作好 demo,上传到 Mubert。

采用这种方法,而非 AI 学习音乐人样本后自己生成新的音乐,是因为 Mubert 有“从创造者到创造者”的理念。

目前,音乐人们上传的超过 150 万个 demo 进入 Mubert API 的音乐库。

为了让用户们玩得开心,Mubert 买下了所有 demo 的版权。

在线玩耍后生成的音乐,可以免费用来配图或配视频画面。

要在各个社交平台分享的话,务必 @mubertapp 并带上#mubert 话题。

但是,绝对不可以在 DSP(Spotify,Apple Music,Deezer 等)上面标为原创发表。

至于商用,得是另外的价钱。

Demo 上传、入库以后,AI 识别音乐风格,将它们分组归类,以便于打标签。

前期工作准备就绪,现在来说说具体操作流程

用户需要输入一句话作为提示文本,再加几个 Mubert API 标签。

注意,生成音乐的时长可以调节,要不要进行循环、选取哪一段开始循环,也都可以凭你喜欢。

比如宇航员骑大马,配的标签就是“空间”“萨克斯”“旅行”。

这些文本内容会被编码到 Transformer 的潜在空间向量中,然后,AI 会选择那些和提示词及标签最接近的标记向量。

也就是说,AI 经过分析后,会选择符合提示文本的音乐 demo,把它们排列组合。

如此这般,根据文本生成的个性化音乐,出现了!

值得一提的是,即便输入相同的提示文本,生成雷同音乐的可能性也比较小。

因为所有的音乐,是在提交请求的时候即时生成的,而不是从已有的曲目库中直接拿来用。

一经开源,网友们已经玩儿开了。

日本网友用来生成和风流行音乐(但他也很疑惑,和印象里的日本音乐不咋一样哈)。

当然,也有人尝试了用 Mubert API 给即将到来的万圣节增加一点恐怖气氛。

也有玩家试玩过后表示,Mubert API 在进行音乐生成时,提示文本和标签只能提供一种音乐的氛围,而不能直接搞搞节奏什么的。

Mubert 系列

浅看了一下官网,除了 Mubert API,Mubert 系列还有另外几个项目。

根据既有标签生成音乐的 Mubert Render

和 API 相比,它棋差一招,没办法让用户手动输入提示文本。

但玩儿的人不少,页面上还有很多已生成音乐在推荐位上。

以及,专供音乐人们上传自己音乐 demo,赚点小钱钱的 Mubert Studio

(你说说,和 API 形成闭环了不是)

也不复杂,简简单单一注册就可。

还有个叫 Mubert Play 的 App。

你在做运动、放松或者冥想的时候,需要的听歌软件又添一员。

有那么一点小遗憾,除了自行运行开源代码,现在普通玩家还不能玩上网页版。

好在创作团队在 Twitter 上放话:

Mubert API 很快就能够在官网上线!会尽快开发一个简单易用、用户友好的 Web 界面。

再等等吧!

Github 地址:

https://github.com/MubertAI/Mubert-Text-to-Music

Mubert 官网:

https://mubert.com/

本文来自微信公众号:量子位 (ID:QbitAI),作者:衡宇

查看完整版本: AIGC 基于文本生成音乐,现在压力来到配乐行业这边