5.3 KiB

Raw Blame History

SoftVC VITS Singing Voice Conversion

使用规约

本项目是基于学术交流目的建立，仅供交流与学习使用，并非为生产环境准备，请自行解决数据集的授权问题，任何由于使用非授权数据集进行训练造成的问题，需自行承担全部责任和一切后果！
任何发布到视频平台的基于 sovits 制作的视频，都必须要在简介明确指明用于变声器转换的输入源歌声、音频，例如：使用他人发布的视频 / 音频，通过分离的人声作为输入源进行转换的，必须要给出明确的原视频、音乐链接；若使用是自己的人声，或是使用其他歌声合成引擎合成的声音作为输入源进行转换的，也必须在简介加以说明。
由输入源造成的侵权问题需自行承担全部责任和一切后果。使用其他商用歌声合成软件作为输入源时，请确保遵守该软件的使用条例，注意，许多歌声合成引擎使用条例中明确指明不可用于输入源进行转换！
继续使用视为已同意本仓库 README 所述相关条例，本仓库 README 已进行劝导义务，不对后续可能存在问题负责。
如将本仓库代码二次分发，或将由此项目产出的任何结果公开发表 (包括但不限于视频网站投稿)，请注明原作者及代码来源 (此仓库)。
如果将此项目用于任何其他企划，请提前联系并告知本仓库作者，十分感谢。

update

更新了 4.0-v2 模型，全部流程同 4.0，相比 4.0 在部分场景下有一定提升，但也有些情况有退步，在 4.0-v2 分支

模型简介

歌声音色转换模型，通过 SoftVC 内容编码器提取源音频语音特征，与 F0 同时输入 VITS 替换原本的文本输入达到歌声转换的效果。同时，更换声码器为 NSF HiFiGAN 解决断音问题

4.0 版本更新内容

特征输入更换为 Content Vec
采样率统一使用 44100hz
由于更改了 hop size 等参数以及精简了部分模型结构，推理所需显存占用 ** 大幅降低 **，4.0 版本 44khz 显存占用甚至小于 3.0 版本的 32khz
调整了部分代码结构
数据集制作、训练过程和 3.0 保持一致，但模型完全不通用，数据集也需要全部重新预处理
增加了可选项 1：vc 模式自动预测音高 f0, 即转换语音时不需要手动输入变调 key，男女声的调能自动转换，但仅限语音转换，该模式转换歌声会跑调
增加了可选项 2：通过 kmeans 聚类方案减小音色泄漏，即使得音色更加像目标音色

安装本模型

训练

python train.py -c configs/config.json -m 44k

注：训练时会自动清除老的模型，只保留最新 3 个模型，如果想防止过拟合需要自己手动备份模型记录点，或修改配置文件 keep_ckpts 0 为永不清除

推理

使用 inference_main.py

截止此处，4.0 使用方法（训练、推理）和 3.0 完全一致，没有任何变化（推理增加了命令行支持）

# 例
python inference_main.py -m "logs/44k/G_30400.pth" -c "configs/config.json" -n "君の知らない物語 - src.wav" -t 0 -s "nen"

必填项部分

-m, --model_path：模型路径。
-c, --config_path：配置文件路径。
-n, --clean_names：wav 文件名列表，放在 raw 文件夹下。
-t, --trans：音高调整，支持正负（半音）。
-s, --spk_list：合成目标说话人名称。

可选项部分：见下一节

-a, --auto_predict_f0：语音转换自动预测音高，转换歌声时不要打开这个会严重跑调。
-cm, --cluster_model_path：聚类模型路径，如果没有训练聚类则随便填。
-cr, --cluster_infer_ratio：聚类方案占比，范围 0-1，若没有训练聚类模型则填 0 即可。

一些法律条文参考

《民法典》

第一千零一十九条

任何组织或者个人 ** 不得 ** 以丑化、污损，或者利用信息技术手段伪造等方式侵害他人的肖像权。** 未经 ** 肖像权人同意，** 不得 ** 制作、使用、公开肖像权人的肖像，但是法律另有规定的除外。 ** 未经 ** 肖像权人同意，肖像作品权利人不得以发表、复制、发行、出租、展览等方式使用或者公开肖像权人的肖像。对自然人声音的保护，参照适用肖像权保护的有关规定。

第一千零二十四条

【名誉权】民事主体享有名誉权。任何组织或者个人 ** 不得 ** 以侮辱、诽谤等方式侵害他人的名誉权。

第一千零二十七条

【作品侵害名誉权】行为人发表的文学、艺术作品以真人真事或者特定人为描述对象，含有侮辱、诽谤内容，侵害他人名誉权的，受害人有权依法请求该行为人承担民事责任。行为人发表的文学、艺术作品不以特定人为描述对象，仅其中的情节与该特定人的情况相似的，不承担民事责任。

5.3 KiB Raw Blame History Unescape Escape