AI能作曲?Meta推出开源AI音乐模型 MusicGen,输入提示词你也能当作曲家

307次阅读
没有评论

共计 2172 个字符,预计需要花费 6 分钟才能阅读完成。

AI 目前已经能做的事情非常多了,问答问题、写文章、画画样样行,近期谷歌和 Meta 都发布了 AI 音乐生成模型,不同于谷歌的 MusicLM,Meta 选择直接在 Github 上开源了 MusicGen,该模型基于谷歌 2017 年推出的 Transformer 模型,MusicGen 主要用于音乐生成,它可以将文本和已有的旋律转化为完整乐曲。

AI 能作曲?Meta 推出开源 AI 音乐模型 MusicGen,输入提示词你也能当作曲家

MusicGen

Meta AI 团队表示:“我们使用了 20000 小时的授权音乐来对训练该模型,并采用 Meta 的 EnCodec 编码器将音频数据分解为更小的单元进行并行处理,进而让 MusicGen 的运算效率和生成速度都比同类型 AI 模型更为出色。”MusicGen 还支持文本与旋律的组合输入,例如你可以提出生成“一首轻快的曲目”并同时要求“将它与贝多芬的《欢乐颂》结合起来”。研发团队还对 MusicGen 的实际表现进行了测试。结果显示,与谷歌的 MusicLM 以及 Riffusion、Mousai、Noise2Music 等其他音乐模型相比,MusicGen 在测试音乐与文本提示的匹配度以及作曲的可信度等指标上表现更好,总体而言略高于谷歌 MusicLM 的水平。

论文地址:https://arxiv.org/pdf/2306.05284.pdf

不同音乐生成模型对比:https://ai.honu.io/papers/musicgen

开源地址:https://github.com/facebookresearch/audiocraft

演示地址:https://huggingface.co/spaces/facebook/MusicGen

AI 能作曲?Meta 推出开源 AI 音乐模型 MusicGen,输入提示词你也能当作曲家

如何使用 MusicGen?

MusicGen 在 GitHub 开源了 Audiocraft,Audiocraft 为一针对声音生成而打造的 PyTorch 深度学习函数库,提供代码及模型予 MusicGen,允许使用者透过文字或辅以既有的音乐片段来创造自己的音乐。目前 Meta AI 官方提供了多种方法让大家体验 MusicGen,如果要安装在自己的电脑上,那就必须要安装 Python 3.9 与 PyTorch 2.0.0,以及至少具备 16GB 显存的显卡。

1、官方演示

Meta AI 官方为大家提供了官方演示,让大家可以试用,官方演示中去掉了一些设置项,大家只需要输入提示词就可以生成音乐或者上传自己的音乐后使用提示词生成相似音乐。

其中模型:

  • small: 300M 大小模型, 仅限文本生成音乐
  • medium: 1.5B 大小模型, 仅限文本生成音乐
  • melody: 1.5B 大小模型, 文本生成音乐和文字 + 旋律转音乐
  • large: 3.3B 大小模型, 仅限文本生成音乐

地址:https://huggingface.co/spaces/facebook/MusicGen

AI 能作曲?Meta 推出开源 AI 音乐模型 MusicGen,输入提示词你也能当作曲家

2、Google Colab(推荐)

官方也为大家提供了 Google Colab 一键安装笔记,让大家可以在 Google Colab 上体验 MusicGen,当然前提是你拥有谷歌账号和科学上网环境,目前 Colab 上的 MusicGen 可以生成 2 分钟时长的音乐,相比官方演示要长不少,还可以进行一些设置。

地址:https://colab.research.google.com/drive/1-Xe9NCdIs2sCUbiSmwHXozK6AAhMm7_i?usp=sharing

AI 能作曲?Meta 推出开源 AI 音乐模型 MusicGen,输入提示词你也能当作曲家

👇界面与官方演示不同,多了一些设置项

AI 能作曲?Meta 推出开源 AI 音乐模型 MusicGen,输入提示词你也能当作曲家

👇输入提示词后就可以选择时长,然后生成音乐;目前提示词只支持英文,你也可以上传音乐然后输入提示词生成相似音乐

AI 能作曲?Meta 推出开源 AI 音乐模型 MusicGen,输入提示词你也能当作曲家

3、本机安装

开源项目当然可以在自己的电脑安装,只是该模型对于电脑配置要求比较高,你的显卡至少是 12G 显存小编才推荐你进行尝试,因为要使用完整体验 MusicGen 那么最少需要 16G 显存才可以,那样就只有英伟达 3090、4080 和 4090 显卡可以满足。如果你看不懂官方 GitHub 页面提供的安装教程,官方还贴心的为大家分享了高手制作的安装教程。

安装教程文字版:https://github.com/FurkanGozukara/Stable-Diffusion/blob/main/Tutorials/AI-Music-Generation-Audiocraft-Tutorial.md

如果上面的安装教程你还是觉得麻烦,B 站 UP 主 [青龙圣者] 也为大家制作了懒人版,让大家可以一键安装,大家可以自行下载进行体验:

开源地址:https://github.com/sdbds/audiocraft-webui

懒人包下载地址:https://pan.quark.cn/s/2a0ad8446b85

结语

Meta 近期已经连续开源了多个 AI 模型,相对于微软和谷歌可以说是非常慷慨,MusicGen 还在不断进行优化和进化,从最初释出时只能生成 30 秒音乐到现在已经可以生成 2 分钟,使用此工具大家完全可以根据自己的想法来生成音乐,也不用担心版权问题。

正文完
关注公众号获取最新教程
post-qrcode
 
AI小诸葛
版权声明:本站原创文章,由 AI小诸葛 2023-06-21发表,共计2172字。
转载说明:除特殊说明外本站文章皆由原创发布,请勿转载。