Face The Fear, Build The Future

前言#

最近一直在寻找能够平替GPT-SoVITS的语音合成项目，于是找到了很合适的VoxCPM。他不像IndexTTS 2那样占用巨大，反而占用极小的情况下能够实现完美的自然语音克隆，音色还原的确不如其他项目，但是他最近的1.5版本支持了lora训练，弥补了这一个缺点。

使用体验#

语音克隆我只使用过GPT-SoVITS，相比之下，我认为VoxCPM最大的优点就是语音自然拟真，且流式输出流畅。但是也存在缺点，显存占用比GPT-SoVITS大，在断句时有时也会断句过长或过短。

整体表现有很高的上限，也有稍微不可接受的下限。

而且对参考音频的质量要求很高，而且语气断句会很多模仿参考音频。

整体感觉就是不错的，如果显存占用小一些（还是说有部分是缓存的问题？），稳定性强一点，再添加情感向量支持，就是一个很全面的模型了，期待后续更新。

再就是lora训练方面，我在韩语和日语上测试了，适配效果特别棒，尽管只是在模仿训练数据，模型还是学会了在小语种上进行地道的断句和语气。

LoRA微调#

本来是没有打算写这篇文章，出这期视频的，但是项目的issue有很多在问lora的效果如何，怎么训练lora，于是就打算写这篇文章。

我在VoxCPM更新时就进行了lora微调，效果表现很惊人。于是我也提交了PR给了一个WebUI，官方也适配移植，给出了现在的WebUI

那么接下来就讲一下怎么利用这个WebUI进行微调

1
{"audio": "path/to/audio1.wav", "text": "Transcript of audio 1."}
2
{"audio": "path/to/audio2.wav", "text": "Transcript of audio 2."}
3
{"audio": "path/to/audio3.wav", "text": "Optional duration field.", "duration": 3.5}
4
{"audio": "path/to/audio4.wav", "text": "Optional dataset_id for multi-dataset.", "dataset_id": 1}

1
python lora_ft_webui.py

LoRA推理#

我写的WebUI是支持热拔插LoRA的，所以可以随意切换LoRA文件。

推理部分我就不赘述了，各位自己探索就好了。