Bark(Suno AI) 搭建及使用-慈云数据

前言

Bark 是由Suno AI创建的基于转换器的文本到音频模型。Bark 可以生成高度逼真的多语言语音以及其他音频 - 包括音乐、背景噪音和简单的音效。该模型还可以产生非语言交流，如大笑、叹息和哭泣。

1: 环境

win10

rtx 3060TI

bark 下载地址 https://Github.com/suno-ai/bark

conda 及 pytorch

可以按照 segment-anything本地部署使用

2:安装

官方安装说明

git clone https://github.com/suno-ai/bark

cd bark && pip install .

在这里插入图片描述

3：修改缓存目录

下载的东西太大了

HF_HOME 模型下载模型

XDG_CACHE_HOME suno torch …

在这里插入图片描述

3：测试

1>测试脚本

因为GPU 是 rtx 3060TI VARM 只有8G ，所以必须使用小模型

test.py

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "0"
os.environ["SUNO_USE_SMALL_MODELS"] = "1"
from bark import SAMPLE_RATE, generate_audio, preload_models
from scipy.io.wavfile import write as write_wav
from IPython.display import Audio
# download and load all models
preload_models()
# generate audio from text
text_prompt = """
Hello, my name is Suno. And, uh — and I like pizza. [laughs]
But I also have other interests such as playing tic tac toe.
"""
audio_array = generate_audio(text_prompt)
# save audio to disk
write_wav("bark_generation.wav", SAMPLE_RATE, audio_array)
# play text in notebook
Audio(audio_array, rate=SAMPLE_RATE)

2> 结果

在这里插入图片描述