TwilightRain | 从零搭建本地 TTS:8GB 显卡上的安装、训练与推理

从零搭建本地 TTS:8GB 显卡上的安装、训练与推理

约 5278 字 · 阅读约 13 分钟

这篇记录我在 Windows 笔记本上搭建 GPT-SoVITS 的过程。

环境是 RTX 5060 Laptop,标称 8GB 显存。整个模型单独放在一个目录里,Python、依赖、权重、脚本和日志都不碰系统环境。以后想卸载,删掉目录就行。

这套环境从安装到第一次能合成语音,花时间最多的是下载和处理 Windows 上的几个兼容问题。训练花的时间不多。

如果只是想先听听模型效果,不需要急着训练。先用底模做一次零样本合成,确认环境正常,再准备自己的素材。

RVC-Boss/GPT-SoVITS
本次搭建的项目。既能微调出专属音色,也支持零样本克隆。

先让模型说出第一句话

安装完成后,双击启动脚本,浏览器会打开:

127.0.0.1:9874

如果页面没有自动弹出,手动输入这个地址就行。

进入 1-GPT-SoVITS-TTS 页签,再打开 1C-推理。

这里有两个模型下拉框,先选 SoVITS,再选 GPT。顺序别反过来:程序会根据 SoVITS 权重的文件名判断模型代际,选错可能加载不匹配的权重。还没有自己训练的模型,就先选底模。

接下来准备四项内容:

确认音频和文字对应之后,点击「合成语音」。

第一次通常会多等几十秒,程序需要计算说话人特征。同一个说话人之后再合成,不需要重复这一步。

推理时经常需要调整的参数不多:

有一点值得提前说明:如果使用自己微调的权重,参考音频主要影响这一句的语调和节奏,音色已经固定在模型里;如果使用底模,参考音频还会决定输出音色。

参考音频和原文必须成对。音频随便传、文本随便填,出来的声音很容易跑偏。

把运行环境装进独立目录

我没有使用系统 Python。我给每套模型准备了独立运行环境。

目录大致分成:

核心思路是让一个模型的依赖和文件尽量自包含。这样更新、备份和卸载都比较简单,也不容易污染其他项目。

安装顺序也有讲究。

第一步:准备 Python。

解压便携 Python 3.11 到模型目录下的 runtime,后续所有依赖都通过这份 Python 安装。

第二步:安装 PyTorch。

使用 CUDA 12.8 对应的 torch 和 torchaudio 版本,下载体积约 3.5GB。国内镜像可以采用分片并行下载,省掉不少等待时间。

第三步:安装项目依赖。

按照项目依赖清单安装,网页框架相关的几个包需要锁定版本。

这次实际使用的是:

1
2
3
fastapi==0.115.6
starlette==0.41.3
uvicorn==0.32.1
漏掉版本锁定,服务能起、页面一开就崩

依赖清单没有版本上限时,会装到太新的网页框架。表现是服务能正常启动,访问页面报 unhashable type: 'dict'。压回上面这三个版本就恢复正常。

第四步:准备权重。

权重优先从国内镜像下载。辅助模型可以提前并行准备;官方自动下载是单线程,2.3GB 的文件曾经花了两个多小时。

第五步:准备验收脚本。

我单独写了一个 smoke 脚本,每次环境变动后都先跑一次。它负责加载权重、合成一句中文,打印:

只要这一条命令能正常出声,才算基本安装完成。

Windows 上遇到的几个坑

这部分是这次实际遇到的问题,不算通用最佳实践。

没有编译器。

分词库 jieba_fast 只有源码包,当前 Windows 环境没有编译器。我用 jieba 写了一个同名兼容层,保持接口名称不变,合成结果没有受到影响。

日文音素库使用预编译的 0.3.0 版本,这一项只影响日文发音。

系统代理拦截本机网页界面。

界面库启动前会访问一次本机地址做检查。如果这个请求也走系统代理,就可能失败。

这次的处理方式是把监听范围收窄到回环地址,运行时增加一个自动加载的补丁:本机地址排除代理,同时把检查等待时间从 5 秒放宽到 60 秒。

Temp 目录会被模型自己清空

模型会清理自己的 Temp 目录,启动脚本、日志和安装包不要放在里面。Windows 盘符不区分大小写,路径处理不当时,删除操作也可能波及不该删除的文件。

英文词导致音素处理失败。

文本里出现 TTS 这类英文内容时,可能会走另一条音素处理通路,需要额外准备约 10MB 的 NLTK 数据。缺少时,当前句子可能失败退出。

看起来很吓人的权重提示。

出现 _IncompatibleKeys(...) 不一定代表模型加载失败。这次遇到的情况是后验编码器只在训练阶段使用,推理权重里本来就没有它。

路径写成 Linux 格式,会在 E 盘拼出一棵假目录树

给 Windows 程序的配置文件要使用 Windows 路径。写成 /mnt/e/... 时,它可能被当作相对路径,在 E 盘下拼出一棵没有意义的目录树,训练自然也找不到数据。

另外,IndexTTS 的 torch 和 torchaudio 版本与 GPT-SoVITS 相同时,可以直接从隔壁目录复制,不必再下载一遍 3.5GB 的依赖。

这次没有安装 DeepSpeed、编译版声码器内核和 flash-attn。它们主要影响速度,模型能不能运行不靠它们。

准备录音:先分离人声

如果素材带有背景音乐,建议先做一次人声分离。

GPT-SoVITS 界面里有「0-前置数据集获取工具」,进入后可以使用人声分离功能。它会另外打开一个窗口,端口是 9873。

分离完不要马上切片。我会先听几段,主要检查:

如果这些问题比较明显,先换模型或参数重新分离。否则后面的切片会把乐器和失真的人声一起送进训练集。

切片:别让短句消失

切片工具主要由四个参数决定结果:

这次素材自然句长较短,最后使用的参数是:

1
2
3
4
阈值:-40dB
最小段长:1000ms
最小间隔:250ms
最多保留静音:300ms

同一份录音,如果把最小段长提高到 3 秒,短句就会被强行拼起来,语气词也容易被吞掉。

这里不建议照抄参数就结束。最好先检查素材的句长和停顿分布,再决定最小段长。

筛选:先裁静音,再判断长度

自动切片之后,还需要筛掉不适合训练的音频。

这次遇到过 220 条被判为静音过多的片段。检查后发现,很多只是首尾静音比较长,中间的说话内容完全正常。

筛选顺序调整成:

  1. 检查音频。
  2. 裁掉首尾静音。
  3. 重新计算有效时长和静音比例。
  4. 再决定是否保留。

如果直接按整段音频的静音比例过滤,很容易把正常说话的素材误删。

打标:机器识别完还得检查一遍

这次使用 FunASR large 做中文识别。

识别结果基本可用,语气词比较容易出错。例如「嗯」「诶」「啊」「哈」可能被识别成日文假名。

打标完成后,我会额外检查两件事:

第一,识别文本和音频时长是否合理。3 秒音频只识别出两个字,就值得重新听一下。

第二,语气词有没有被识别成其他语言或错误字符。不能确定的片段宁可先丢掉,也不要让错误文本进入训练集。

训练:先保证两段模型都正常

GPT-SoVITS 的这套流程包含文本处理、特征提取和两段模型训练。

主要步骤是:

1
2
3
4
5
6
1. 文本处理
2. 提取 HuBERT 特征
3. 提取语义特征
4. 训练 SoVITS 声学模型
5. 训练 GPT 语义模型
6. 加载最新权重进行推理

这次使用的预处理脚本依次是:

1
2
3
1-get-text.py
2-get-hubert-wav32k.py
3-get-semantic.py

专业版还需要额外执行:

1
2-get-sv.py

训练阶段:

这里要注意,两段模型承担的任务不同。声学模型主要负责音色和音质,语义模型对字词时长与整句节奏的影响更大。

不要只看训练有没有完成,还要看实际合成效果。

这次 112 条、8 分钟数据训练 8 轮约五分钟。训练产出的 SoVITS 权重约 135MB,GPT 权重约 155MB。一个音色对应两份权重,换掉它们就相当于换了音色。

Windows 上还需要留意三个训练问题:

合成:把重复工作交给脚本

界面适合第一次验证。需要批量配音时,命令行更方便。

我单独写了 say.py,负责载入最新权重、读取参考音频及对应文本,再按标点切句。

脚本还支持传入参考序号,方便从已经整理好的素材清单里挑选参考音频。

参考音频有几个要求:

如果是微调后的模型,参考音频主要负责提供语调和节奏;如果使用底模,参考音频还承担音色模仿的任务。

长文本:不要一次性塞进去

加速推理有一个固定缓存:整段文本会预留 1024 个标记。

超过上限时不会自动切换成慢速模式,会直接抛异常,整段合成失败。

长文本建议按标点切句。默认切句能绕过缓存上限,也方便后面单独调整句间停顿。

切句后如果句与句之间听起来不自然,可以用 ffmpeg 压缩静音:

1
ffmpeg -y -i in.wav -af "silenceremove=stop_periods=-1:stop_duration=0.25:stop_threshold=-32dB" out.wav

默认保留上限是 0.25 秒。听起来还卡,可以适当调小;如果太赶,可以尝试 0.3~0.4 秒。

遇到句尾突然硬切的情况,也可以在最后 30~50 毫秒做指数淡出。它能缓解突兀感,不能修复音高上翘本身。

显存和进程:别让后台程序偷偷占卡

同一台机器还可能运行生图、视频和其他对话模型。

我后来给所有模型统一做了一个菜单,显示端口、预计显存和运行状态。启动前先检查端口和显存,如果有其他模型占着显卡,先确认再启动。

停止服务也不能只看主进程。

这套环境里还有三个独立子界面:

功能 端口
人声分离 9873
推理 9872
识别打标 9871

它们不一定记录在主程序的 PID 文件里,停止主服务后仍可能继续占用显存。

停止操作要核对 PID 和进程名,把子界面一起收掉,再检查整卡显存有没有回到桌面运行时的水平。

合成脚本还会先检查可用显存。低于 2500MB 时直接提示关闭其他界面,比运行到一半卡死好处理得多。

一份可以直接参考的命令流程

这次主要流程整理如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
切片:
tools\slice_audio.py 素材.wav out\slices -40 1000 250 10 300 0.9 0.25 0 1

筛选:
先裁首尾静音,再按时长 0.8~3 秒和静音比例过滤

打标:
tools\asr\funasr_asr.py -i dataset -o asr -s large -l zh -p float32

预处理:
1-get-text.py
2-get-hubert-wav32k.py
3-get-semantic.py

训练:
s2_train.py
s1_train.py

合成:
自写 say.py

上面的路径和命令对应这次实际整理的环境。不同版本的 GPT-SoVITS 可能存在脚本名称、参数和目录结构差异,使用前需要对照自己安装的版本。

另外,预处理和训练阶段,界面按钮与命令行走的是同一套命令,参数来源也相同。准备阶段依赖环境变量,训练阶段使用临时配置文件。命令行可以复现界面完成的工作,不必每次都手动点击。

最后做一次验收

我给这套环境留了几个检查点:

这次安装两套环境约五小时,主要时间花在下载和 Windows 兼容问题上,磁盘占用约 30GB。

从素材准备到训练完成,训练时间很短。打标模型下载、数据清理和环境排查更费时间。

如果只是想先听到角色说话,直接从底模推理开始就行;如果要长期使用固定角色声线,再准备自己的训练素材。

我更建议先让模型成功念出一句话,再逐步把数据、训练和批量合成接起来。没必要一开始就把所有东西装齐,更没必要为了一个短促的喘息声,把整套训练流程折腾一遍。

模型是拿来干活的,不是拿来供着的。

评论