TwilightRain | 8GB 显卡做角色配音:两套 TTS 的实测与边界

8GB 显卡做角色配音:两套 TTS 的实测与边界

约 6068 字 · 阅读约 15 分钟

我想给一个游戏角色做一套能反复使用的配音声线。

手头有 103 分钟游戏录音,一台 RTX 5060 Laptop,显存标称 8GB。目标不复杂:把角色的声音提取出来,训练成一个能念指定台词的模型。

最后确实做出来了。

过程比想象中曲折。原始录音里有声音的只有约 35.6 分钟,筛完训练素材只剩 8 分钟。两套 TTS 都装上了,一套负责固定角色音色,另一套负责模仿参考声音。模型能正常念台词,有个毛病一直没解决:句子快结束时,声音经常突然往上翘,像被剪刀剪断一样戛然而止。

我试过换数据、改训练轮数、扫推理参数,也换了另一套模型做对照。能改善的只有一小部分,剩下的多跑几轮也解决不了。

这篇主要记录这次实验里有用的发现:8GB 显卡能把事情做到哪一步,训练数据究竟影响了什么,以及为什么有些声音问题听起来像参数没调好,根子在模型本身的限制。

涉及的数字尽量以日志和评测文件为准。已经删除的实验产物、只保存在当时会话里的记录,以及单次实验结论,会另外说明。

两套模型,最后各干各的

这次主要折腾了 GPT-SoVITS 第五代和 IndexTTS。

它们的思路不一样。GPT-SoVITS 可以通过微调,把角色音色训练进权重里;IndexTTS 主要走零样本路线,给一段参考音频,让模型模仿它的声音和情绪。

实际跑下来,我没有选出一个全面胜出的模型。我让它们分工。

项目 GPT-SoVITS 第五代 IndexTTS-2.5 IndexTTS-2
参数量 3.3 亿 + 0.77 亿 8 亿 8 亿
磁盘占用 13GB 16GB 4.7GB
推理峰值显存 2.5GB 5.45GB 9GB 以上
带情绪模型显存 — 6.57GB —
实时率 0.65 0.89~1.08 不可用
输出采样率 48kHz 22.05kHz 不详
情绪控制 无 有 有
微调专属音色 支持 不支持 不支持

这里的 GPT-SoVITS 微调数据来自专业版 v2Pro,参数量 1.33 亿,内部为 32kHz 上采样。它和第五代推理权重是两套并存的版本,不能把它们当成同一个模型的参数直接比较。换版本还得重新准备整套特征。

第五代的实时率是 0.65:77 个字生成 17.9 秒音频,实际用了 11.6 秒。IndexTTS-2.5 的实时率在 0.89 到 1.08 之间,基本就是接近实时。IndexTTS-2 在这台机器上会溢出到普通内存,速度慢了一个数量级以上。

最后的分工很朴素:

最后一项倒不算退而求其次。成片里的呼吸声和短促发声,本来就可以用真实录音。为了让模型硬学它们,反而可能把正常对白一起带坏。

先看显卡:8GB 实际只有 7.1GB

这台机器的显卡标称 8GB,实际读数是 8151MiB。进入系统后,可用约 7145MiB,桌面本身先占了七百多兆。

后面所有显存预算,我都是按 7.1GB 算的。

还有一个容易误判的地方:显存没有爆,不代表模型真的完整待在显卡里。

装不下的时候,系统可能把一部分内容挪到普通内存继续运行。程序不会直接报错,速度会突然掉一个档次。IndexTTS-2 就是这样:能启动,能生成,慢到不能实际使用。

这次我更相信速度,不太信显存数字。逐档增加负载,观察生成速度;如果参数越来越大,显存占用反而变小,就要怀疑已经发生了内存溢出。

同一台机器还放着生图、对话和视频模型。几个吃显存的程序同时开着,网页界面、自动拉起的子界面和命令行推理再叠起来,最后看着像程序卡死,只是显存被分完了。当时 GPU 利用率只有 4%。

这也解释了为什么后来我把所有模型的启动和停止统一管理:目的很简单,避免一个看似无关的后台进程,把整轮测试搅乱。

103 分钟录音,为什么最后只剩 8 分钟

这次原始素材约 103.5 分钟,44.1kHz 立体声,1GB。

有声音的只有约 35.6 分钟,其余大多是静音和配乐。

我先做了人声分离,再切片、筛选和打标。这里最明显的教训是:切片参数不是越宽松越好,也不是素材越多越好。切出来的东西如果破坏了原本的说话节奏,数量再大也没意义。

同一份录音试过两套切片参数:

参数 产出 实际问题
-34dB、最短 3 秒、最小间隔 300ms、保留静音 500ms 497 片,28.6 分钟 短句被拼成长段,语气词容易消失
-40dB、最短 1 秒、最小间隔 250ms、保留静音 300ms 1597 片,50 分钟 原始短句保留得更完整

第二套更适合这份素材。自然句长中位数只有 1.26 秒(仅记录),短停顿也很多。最短段长如果设成 3 秒,切片工具就会把本来独立的短句拼起来。

筛选时还遇到一个误判:有 220 条音频被判定为静音过多,仔细检查发现,静音大多集中在首尾,中间是正常说话。先裁掉首尾静音,再判断长度,比直接统计整段静音比例靠谱。

打标使用 FunASR large。识别结果基本能看出是原神枫丹剧情的中文配音,质量够用,语气词会出现偏差。「嗯」「诶」「啊」「哈」有时会被识别成日文假名写法。这类共 14 条,5 条改回中文,2 条不确定的丢掉,5 条识别不出文本的也丢掉。

最后留下了两套数据:

项目 3~10 秒口径 0.8~3 秒混合口径
条数 112 402
总时长 8.0 分钟 16.2 分钟
3 秒以下 0 201
5 字以内 0 97
语气词开头 5 28

后面主要模型评测用的是 112 条那版。中位时长 4.11 秒,最短 3.01 秒,111 条以句号或问号结尾,一条短句都没有。

这也埋下了后面的伏笔:训练数据里几乎没有短句。

402 条那版只作为对照跑过一轮。它会让句尾上翘和语气词气声两头受到影响。那版的时长分布和 0.890 的准确率只保留在当时的会话记录里,产物已经删除,不能当成完整可复查的实验结果。

0.6 秒,是模型绕不过去的一条线

声学模型训练时有一个硬性判断:

0.6 < 时长 < 54

短于 0.6 秒的音频直接跳过,改参数也进不去。

这对打斗场景尤其麻烦。0.2 到 0.5 秒的闷哼、半口气的喘息,恰恰是角色配音里很常见的东西。

试过把短音频硬拼成 1.2 秒,再标成三个「哼」。这样虽然能通过长度检查,自动对齐无法把中间的静音单独挑出来。模型可能学到的是「这个字要拖很长,而且中间没有声音」,推理时就会输出空白,或者在末尾突然炸一下。

即使勉强塞进去,声学特征也只有几帧,稳定性很差。

还有一个更根本的原因:前一段语义模型使用的是中文语音训练的编码器,闷哼和喘息不在它原本的词表里,编码出来会和正常文字混在一起。

这次能改善的是 0.6 到 3 秒的短句,极短发声还是交给音效库更合适。

训练轮数:决定节奏的不是声学模型

这套模型分成两段:前一段把文字转换成语义符号,后一段再把符号还原成声音。

简单说,前一段决定每个字念多久、整句话怎么走;后一段主要负责音色和音质。

这不是只凭感觉判断的。我拿同一句话做了测试,声学模型分别训练 2 轮和 8 轮,生成时长完全一致。影响节奏的是语义模型的训练轮数。

语义模型从 1 轮到 12 轮扫了一遍,每个轮数下同一句话生成 8 次,得到的时长极差比是:

训练轮数 1 2 4 6 8 12
时长极差比 0.446 0.415 0.402 0.384 0.347 0.482

8 轮是这批数据里的最佳点。12 轮反而掉了约三成稳定性,最初用的正是 12 轮。

数据量也会影响这个结果。8 分钟素材训练 8 轮比较合适,16 分钟素材再训练 8 轮则出现过拟合。这是单次实验结果,不能直接推广成所有数据集的固定规则。

这台机器的训练本身并不贵:112 条数据训练 8 轮约五分钟,402 条同量级。耗时间的是 2.1GB 的打标模型下载,以及 Windows 环境问题的排查。

我怎么判断模型是不是在胡乱念

这套模型有一个麻烦:同一句话,多生成几次,结果可能完全不一样。

只听一次,很容易碰巧听到一条正常结果。要知道模型到底稳不稳,就得让同一句话重复生成,再用固定指标比较。

这次测试覆盖了长句、2 到 3 秒短句、语气词开头、半秒极短发声、打斗句和连续语气词。每句话至少用 8 个随机种子生成。

主要看三个指标:时长极差比看多念几遍长短差多少,包络相关看每次的声音起伏像不像,送气帧看气声有没有念出来。句尾另外单独检测。

三个指标怎么算,阈值从哪来

时长极差比。 最长时长减最短时长,再除以最长时长。超过 0.3,说明同一句话的节奏还没有稳定下来。

包络相关。 把每次生成的有声段能量包络重采样到相同长度,两两计算相关性,再取最小值。低于 0.8,说明至少有一次念法和其他结果不太一样。

送气帧。 用频谱平坦度和过零率区分元音与带气声的发音。「哈哈哈」平均有 2.2 到 2.6 个送气帧,纯元音的「啊啊啊」是 0。这几个读数只保存在当时记录里。

句尾单独检测:取最后四分之一的平均基频,与再往前四分之一比较,超过 1.12 就记为上翘;如果同时出现 12dB 以上的能量下降,就记为「上翘后断」。

指标并不能包办听感。

这次波形检测没有找到削波:削波率全是 0,峰值在 -0.6 到 -8dBFS 之间。耳朵听到的「电音」不能简单归因于信号过载。

后来我把两件事分开做:先用固定输入复现异常,再看频谱和波形。指标负责把问题定位出来,耳朵负责判断声音到底坏在哪里。

对比实验也有个容易忽略的变量:换一个进程跑,同一组参数也可能差一成到两成。温度、后台程序、风扇转速都会影响结果。

能放在同一批的尽量同批跑;放不下就甲乙甲乙交替,下一轮倒过来;每组第一条丢掉。新说话人第一次合成还要额外计算说话人特征,也会影响耗时。

为了减少反复点开文件的时间,我把同一句话的多次生成首尾拼接,中间留 0.5 秒,文件名带组名和句子内容。五条对比带连着听,比一条条打开方便得多。

句尾为什么总是收不住

这是整个项目里最让我头疼的部分。

96 条合成结果里有 17 条异常,其中 4 条直接硬切。问题集中在句尾带感叹号、或者落在语气词上的句子;平稳陈述句没有出现过。

异常听起来很明显:音高在最后突然往上走,最高处之后,声音在 20 毫秒内掉了约 40dB,像是有人直接按了停止键。

我把原因拆成了三层。

第一,语义符号的分辨率有限。每秒只有 25 个符号,句尾最后 0.2 秒只分到 5 个符号,要表达「音高缓慢下降、音量逐渐收住」并不容易。

第二,生成代码遇到结束符就直接 break,没有渐弱这一档。模型一旦决定结束,就没有额外的收尾过程。

第三,训练数据里的句尾本来就有很多种念法。同一句话的结尾可能有几十种表现,随机采样时就会走向不同结果。

我把温度、候选数、切句方式和参考音频都扫了一遍。最好的一组也只把抖动降低了 8%。关掉切句、换参考音频,反而更差。

换模型也没有彻底解决。IndexTTS-2.5 的时长稳定性明显更好,同一句「呜呜呜」的时长极差比是 5.6%,GPT-SoVITS 是 67.4%。句尾上翘比例两边相当,分别约为两成和一成八。

换句话说,另一套模型解决了部分节奏不稳定的问题,没有消灭句尾上翘。

目前能做的办法,按成本排下来是这样:

处理方式 效果 成本
多生成几次,挑最好的一条 上翘率 17% 时,三次至少出现一条干净结果的理论概率约 99.5% 合成时间约乘三
句尾淡出 最后 30~50ms 指数淡出,减轻硬切感,音高上翘还在 几乎为零
修改台词标点 感叹号改句号,句尾旋律会更平稳 修改台词本
DPO 偏好微调 用平稳收尾和上翘收尾的成对样本训练 完整训练工程,效果未知
更换架构 显式预测句长,或给韵律单独的控制通道 不是简单调参

这里的 99.5% 是按独立采样计算的理论上界。连续生成并不完全独立,不能把它当成保证。

至少目前看来,句尾问题不是再拧几个参数就能解决的。

台词本也会影响模型表现

这次还有一个发现:配音质量并不完全由模型决定,台词本本身也会影响结果。

感叹号会把句尾往上扬;「嗯」可能被前端转换成「恩」,发音一样,回头查日志容易看花眼;长句最好按标点切开,语气词开头和连续语气词则特别依赖训练集中有没有相应样本。

我还顺手做了一次文本侧的检查实验。

之前有人喜欢用人类文本和机器文本的差异判断 AI 味。我拿 86 本真人小说、共 4696 万字做了对照,发现不少被当成机器写法的特征,在真人小说里也大量出现。

例如递许可出现 10 处、心理归因 50 处、用小动作充当句读 69 处。机器侧样本又全是小说,没有对话体,这种比较口径根本立不住。

检查器最多只能标出值得注意的地方,不能替人下结论。

这次还测试了两个可以快速计算的文本指标。

困惑度:一段文字有多可预测。

我用真人小说前 10 本、约 243 万字训练词级二元模型,再分别计算真人小说和机器文本的困惑度。

文本 词级困惑度 字级困惑度
真人小说,留出 2 本 10083 553
机器文本,4 个文件 10449 313

按词计算,机器文本的困惑度略高;按字计算,机器文本明显更低。同一批材料,换一种分词方式,结论方向就反过来了。

问题出在未登录词。词级模型碰到没见过的词会受到额外惩罚,机器文本里的用词有不少不在真人词表里。换成字级计算,这个问题就小得多。

所以困惑度只能在固定模型、固定分词和相同长度条件下比较相对差异,不能拿绝对数值直接判断 AI 味。

主谓间隔:一句话好不好念。

这个指标统计句子里第一个名词或代词,到它后面第一个动词之间隔了多少个词。

同一批语料的结果:

文本 中位数 均值 90 分位 最大值
真人小说,3 万句 1 2.38 6 38
机器文本,7539 句 1 1.98 5 23

真人小说的主谓间隔反而更长。这说明它抓的是句子结构的复杂程度,跟机器写作特征无关。

写台词时,主谓间隔超过 5 到 6 个词,可以考虑拆句或调整插入语位置。旁白可以稍微放宽,对白则尽量紧凑。

最后,这套方案能做到什么程度

目前这套方案已经能稳定生成正常对白。音色基本达到目标,短句和情绪表达也有了可用的处理办法。

成本大致如下:

项目 实际耗时或成本
安装两套环境 约五小时
两套环境磁盘占用 约 30GB
数据整理 约一小时
单次模型训练 两段各约五分钟
重建数据、重训、复测 约二十分钟到一小时
长文本合成 三五分钟的稿子需要等待几分钟
参数调整收益 最好约 8%
加数据收益 语气词改善约 13%,整体约 7%,长句略退
训练轮数调整收益 12 轮改到 8 轮,稳定性改善约三成

还有四件事没解决:

这些事情暂时都不用急着做。

模型已经能用了。剩下的问题有明确的边界,继续投入的收益也不一定划算。

这次最有意思的地方,是终于把一句「它有时候念得不对」拆成了几件具体的事:哪些是数据问题,哪些是训练问题,哪些是参考音频的问题,还有哪些已经超出了当前架构能控制的范围。

能解决的解决,不能解决的就交给后处理或者真人录音。

至少下一次再听见句尾「咔」的一声,我知道该从哪里查起了。

评论