Bert-VITS2

本次是在Extra：中文特化版上所作的一些小优化，模型完全兼容，可进行无缝迁移。 主要所作的改动如下： 1.修改了g2p部分，进行全句g2p并换用了g2pW以提升g2p准确率。(感谢 @duliangang ) 2.删除了Clap加噪，增强了Clap prompt的控制力。 3.重新加入了DD。 4.config中加入了FP16推理支持，显存占用低至<4G 5.优化中文文本的规范化（#275） 底模以及g2pW模型已上传openi，模型训练请前往Extra-Fix分支。 由于我们大部分精力已经转向了Fish-Speech开发，Bert-VITS2目前是半弃坑状态。稍后我们计划训练一个日语特化基座模型，其余事宜待定。 Bert-VITS2开发组 敬上

本次中文特化版本，使用国产IDEA-CCNL/Erlangshen-MegatronBert-1.3B大模型作为Bert特征提取，基本上完全解决了发音的bad case，同时在情感表达方面有大幅提升。可以作为先前V1.0.1纯中文版本更好的替代。 同时合入了先前去除的Clap模型。 目前只支持中文推理，多语言待定。 此版本不作为正式版本发布于Github。 请前往ZH-Clap分支训练。 底模及Bert模型均已上传openi。 由于换用了较大的Bert，推理所需显存较大，至少8G。

本次更新内容如下： 1.完善了 webui_preprocess.py（By @OedoSoldier ） 2.修正了存在于 Duration Predictor Discriminator 的 bug。并添加了 LSTM。对 SDP 有较大提升。 3.支持 BF16 训练。 4.对英语的 G2P 进行修复。 5.添加基于 WavLM 的 Discriminator（来源于 StyleTTS2） 6.因情感控制效果不佳，去除了 CLAP。更换了更简单的 BERT 融合语义方式。（By @litagin02 ）

这可能是 Bert-VITS2 近期的 final release，接下来我们将会加入对 Fish Speech 的开发。

Bert-VITS2项目组 敬上

This might be our final release for the time being as we shift our focus toward our new project Fish Speech.

We continue to appreciate your constructive advice for further improvements. Please feel free to share your thoughts in pull requests.

Base model: https://huggingface.co/OedoSoldier/Bert-VITS2-2.3

Update: The configuration for the gin_channels parameter in the pre-trained 2.3 weights has been adjusted to 512. To align with this change, we've updated the corresponding entry in the config.json file.

本次更新主要内容如下： 1.修正了commons.py中slicer存在的bug，彻底解决卡死问题，并有提速。（PR By @OedoSoldier ） 2.Emotion 模型换用CLAP多模态模型，推理支持输入text prompt引导风格化进行合成。 3.借鉴vq-vae对CLAP做vq，同时对clap vec概率置空，防止过拟合。（PR By @OedoSoldier ） 4.推理&训练时未使用到的其他语种bert不再置空，而是使用rand。（PR By @OedoSoldier ） 5.新增预处理webuI. 6.preprocess_text阶段不再选择val_per_spk,换用val_per_lang(uage) 底模和CLAP模型已上传openi。 Bert-VITS2开发组 敬上

Base model:

• OpenI: https://openi.pcl.ac.cn/Stardust_minus/Bert-VITS2/modelmanage/show_model
• Hugging Face: https://huggingface.co/OedoSoldier/Bert-VITS2-2.2-CLAP