这篇记录我在 Windows 笔记本上搭建 GPT-SoVITS 的过程。
环境是 RTX 5060 Laptop,标称 8GB 显存。整个模型单独放在一个目录里,Python、依赖、权重、脚本和日志都不碰系统环境。以后想卸载,删掉目录就行。
这套环境从安装到第一次能合成语音,花时间最多的是下载和处理 Windows 上的几个兼容问题。训练花的时间不多。
如果只是想先听听模型效果,不需要急着训练。先用底模做一次零样本合成,确认环境正常,再准备自己的素材。
#先让模型说出第一句话
安装完成后,双击启动脚本,浏览器会打开:
127.0.0.1:9874
如果页面没有自动弹出,手动输入这个地址就行。
进入 1-GPT-SoVITS-TTS 页签,再打开 1C-推理。
这里有两个模型下拉框,先选 SoVITS,再选 GPT。顺序别反过来:程序会根据 SoVITS 权重的文件名判断模型代际,选错可能加载不匹配的权重。还没有自己训练的模型,就先选底模。
接下来准备四项内容:
- 参考音频:3~10 秒。
- 参考音频对应的原始文字。
- 参考音频的语种。
- 想要合成的文本及其语种。
确认音频和文字对应之后,点击「合成语音」。
第一次通常会多等几十秒,程序需要计算说话人特征。同一个说话人之后再合成,不需要重复这一步。
推理时经常需要调整的参数不多:
- 切句方式:长文本建议保留按标点切句。
- 句间停顿:默认 0.3 秒。断得生硬可以调小,听起来太赶就调大。
- top_k:默认 15。想让输出更稳,可以试 5~10。
有一点值得提前说明:如果使用自己微调的权重,参考音频主要影响这一句的语调和节奏,音色已经固定在模型里;如果使用底模,参考音频还会决定输出音色。
参考音频和原文必须成对。音频随便传、文本随便填,出来的声音很容易跑偏。
#把运行环境装进独立目录
我没有使用系统 Python。我给每套模型准备了独立运行环境。
目录大致分成:
runtime:便携 Python 和全部依赖。weights:模型权重。tools:处理素材的工具。scripts:自己写的启动、合成和测试脚本。logs:运行日志。output:合成结果。
核心思路是让一个模型的依赖和文件尽量自包含。这样更新、备份和卸载都比较简单,也不容易污染其他项目。
安装顺序也有讲究。
第一步:准备 Python。
解压便携 Python 3.11 到模型目录下的 runtime,后续所有依赖都通过这份 Python 安装。
第二步:安装 PyTorch。
使用 CUDA 12.8 对应的 torch 和 torchaudio 版本,下载体积约 3.5GB。国内镜像可以采用分片并行下载,省掉不少等待时间。
第三步:安装项目依赖。
按照项目依赖清单安装,网页框架相关的几个包需要锁定版本。
这次实际使用的是:
1 | |
漏掉版本锁定,服务能起、页面一开就崩依赖清单没有版本上限时,会装到太新的网页框架。表现是服务能正常启动,访问页面报
unhashable type: 'dict'。压回上面这三个版本就恢复正常。
第四步:准备权重。
权重优先从国内镜像下载。辅助模型可以提前并行准备;官方自动下载是单线程,2.3GB 的文件曾经花了两个多小时。
第五步:准备验收脚本。
我单独写了一个 smoke 脚本,每次环境变动后都先跑一次。它负责加载权重、合成一句中文,打印:
- 合成音频时长。
- 实际耗时。
- 实时率。
- 显存峰值。
只要这一条命令能正常出声,才算基本安装完成。
#Windows 上遇到的几个坑
这部分是这次实际遇到的问题,不算通用最佳实践。
没有编译器。
分词库 jieba_fast 只有源码包,当前 Windows 环境没有编译器。我用 jieba 写了一个同名兼容层,保持接口名称不变,合成结果没有受到影响。
日文音素库使用预编译的 0.3.0 版本,这一项只影响日文发音。
系统代理拦截本机网页界面。
界面库启动前会访问一次本机地址做检查。如果这个请求也走系统代理,就可能失败。
这次的处理方式是把监听范围收窄到回环地址,运行时增加一个自动加载的补丁:本机地址排除代理,同时把检查等待时间从 5 秒放宽到 60 秒。
Temp 目录会被模型自己清空模型会清理自己的 Temp 目录,启动脚本、日志和安装包不要放在里面。Windows 盘符不区分大小写,路径处理不当时,删除操作也可能波及不该删除的文件。
英文词导致音素处理失败。
文本里出现 TTS 这类英文内容时,可能会走另一条音素处理通路,需要额外准备约 10MB 的 NLTK 数据。缺少时,当前句子可能失败退出。
看起来很吓人的权重提示。
出现 _IncompatibleKeys(...) 不一定代表模型加载失败。这次遇到的情况是后验编码器只在训练阶段使用,推理权重里本来就没有它。
路径写成 Linux 格式,会在 E 盘拼出一棵假目录树给 Windows 程序的配置文件要使用 Windows 路径。写成
/mnt/e/...时,它可能被当作相对路径,在 E 盘下拼出一棵没有意义的目录树,训练自然也找不到数据。
另外,IndexTTS 的 torch 和 torchaudio 版本与 GPT-SoVITS 相同时,可以直接从隔壁目录复制,不必再下载一遍 3.5GB 的依赖。
这次没有安装 DeepSpeed、编译版声码器内核和 flash-attn。它们主要影响速度,模型能不能运行不靠它们。
#准备录音:先分离人声
如果素材带有背景音乐,建议先做一次人声分离。
GPT-SoVITS 界面里有「0-前置数据集获取工具」,进入后可以使用人声分离功能。它会另外打开一个窗口,端口是 9873。
分离完不要马上切片。我会先听几段,主要检查:
- 背景乐器有没有残留。
- 齿音有没有被明显削弱。
- 人声底噪是否变得严重。
如果这些问题比较明显,先换模型或参数重新分离。否则后面的切片会把乐器和失真的人声一起送进训练集。
#切片:别让短句消失
切片工具主要由四个参数决定结果:
- 静音阈值。
- 最小段长。
- 最小间隔。
- 最多保留多少静音。
这次素材自然句长较短,最后使用的参数是:
1 | |
同一份录音,如果把最小段长提高到 3 秒,短句就会被强行拼起来,语气词也容易被吞掉。
这里不建议照抄参数就结束。最好先检查素材的句长和停顿分布,再决定最小段长。
#筛选:先裁静音,再判断长度
自动切片之后,还需要筛掉不适合训练的音频。
这次遇到过 220 条被判为静音过多的片段。检查后发现,很多只是首尾静音比较长,中间的说话内容完全正常。
筛选顺序调整成:
- 检查音频。
- 裁掉首尾静音。
- 重新计算有效时长和静音比例。
- 再决定是否保留。
如果直接按整段音频的静音比例过滤,很容易把正常说话的素材误删。
#打标:机器识别完还得检查一遍
这次使用 FunASR large 做中文识别。
识别结果基本可用,语气词比较容易出错。例如「嗯」「诶」「啊」「哈」可能被识别成日文假名。
打标完成后,我会额外检查两件事:
第一,识别文本和音频时长是否合理。3 秒音频只识别出两个字,就值得重新听一下。
第二,语气词有没有被识别成其他语言或错误字符。不能确定的片段宁可先丢掉,也不要让错误文本进入训练集。
#训练:先保证两段模型都正常
GPT-SoVITS 的这套流程包含文本处理、特征提取和两段模型训练。
主要步骤是:
1 | |
这次使用的预处理脚本依次是:
1 | |
专业版还需要额外执行:
1 | |
训练阶段:
- SoVITS 声学模型以 8 轮作为本次实验的训练设置。
- GPT 语义模型以 8 轮作为起点,再根据稳定性测试调整。
这里要注意,两段模型承担的任务不同。声学模型主要负责音色和音质,语义模型对字词时长与整句节奏的影响更大。
不要只看训练有没有完成,还要看实际合成效果。
这次 112 条、8 分钟数据训练 8 轮约五分钟。训练产出的 SoVITS 权重约 135MB,GPT 权重约 155MB。一个音色对应两份权重,换掉它们就相当于换了音色。
Windows 上还需要留意三个训练问题:
- 语义模型训练固定走分布式初始化,直接运行可能遇到不支持 gloo 设备的报错。这次在单卡环境中把分布式接口降级为单进程语义。
- 上次训练留下的检查点可能触发 Lightning 自动恢复,新版 torch 会拒绝某些加载方式。重新训练前先清理不需要的检查点。
- GBK 控制台可能无法输出进度条里的特殊字符,导致子进程异常。给子进程设置 UTF-8 输出可以避开这个问题。
#合成:把重复工作交给脚本
界面适合第一次验证。需要批量配音时,命令行更方便。
我单独写了 say.py,负责载入最新权重、读取参考音频及对应文本,再按标点切句。
脚本还支持传入参考序号,方便从已经整理好的素材清单里挑选参考音频。
参考音频有几个要求:
- 时长 3~10 秒。
- 语速自然。
- 人声清晰。
- 尽量没有背景音乐。
- 参考音频和对应文本必须一致。
如果是微调后的模型,参考音频主要负责提供语调和节奏;如果使用底模,参考音频还承担音色模仿的任务。
#长文本:不要一次性塞进去
加速推理有一个固定缓存:整段文本会预留 1024 个标记。
超过上限时不会自动切换成慢速模式,会直接抛异常,整段合成失败。
长文本建议按标点切句。默认切句能绕过缓存上限,也方便后面单独调整句间停顿。
切句后如果句与句之间听起来不自然,可以用 ffmpeg 压缩静音:
1 | |
默认保留上限是 0.25 秒。听起来还卡,可以适当调小;如果太赶,可以尝试 0.3~0.4 秒。
遇到句尾突然硬切的情况,也可以在最后 30~50 毫秒做指数淡出。它能缓解突兀感,不能修复音高上翘本身。
#显存和进程:别让后台程序偷偷占卡
同一台机器还可能运行生图、视频和其他对话模型。
我后来给所有模型统一做了一个菜单,显示端口、预计显存和运行状态。启动前先检查端口和显存,如果有其他模型占着显卡,先确认再启动。
停止服务也不能只看主进程。
这套环境里还有三个独立子界面:
| 功能 | 端口 |
|---|---|
| 人声分离 | 9873 |
| 推理 | 9872 |
| 识别打标 | 9871 |
它们不一定记录在主程序的 PID 文件里,停止主服务后仍可能继续占用显存。
停止操作要核对 PID 和进程名,把子界面一起收掉,再检查整卡显存有没有回到桌面运行时的水平。
合成脚本还会先检查可用显存。低于 2500MB 时直接提示关闭其他界面,比运行到一半卡死好处理得多。
#一份可以直接参考的命令流程
这次主要流程整理如下:
1 | |
上面的路径和命令对应这次实际整理的环境。不同版本的 GPT-SoVITS 可能存在脚本名称、参数和目录结构差异,使用前需要对照自己安装的版本。
另外,预处理和训练阶段,界面按钮与命令行走的是同一套命令,参数来源也相同。准备阶段依赖环境变量,训练阶段使用临时配置文件。命令行可以复现界面完成的工作,不必每次都手动点击。
#最后做一次验收
我给这套环境留了几个检查点:
- 一条命令能够正常加载权重并生成中文语音。
- 实测显存峰值和单句耗时写进模型目录的说明。
- 停止服务后,确认没有遗留的推理、分离和识别进程。
- 系统 Python 的包数量保持不变。
这次安装两套环境约五小时,主要时间花在下载和 Windows 兼容问题上,磁盘占用约 30GB。
从素材准备到训练完成,训练时间很短。打标模型下载、数据清理和环境排查更费时间。
如果只是想先听到角色说话,直接从底模推理开始就行;如果要长期使用固定角色声线,再准备自己的训练素材。
我更建议先让模型成功念出一句话,再逐步把数据、训练和批量合成接起来。没必要一开始就把所有东西装齐,更没必要为了一个短促的喘息声,把整套训练流程折腾一遍。
模型是拿来干活的,不是拿来供着的。
评论