# SoftVC VITS Singing Voice Conversion

## 使用规约
1. 本项目是基于学术交流目的建立，仅供交流与学习使用，并非为生产环境准备，请自行解决数据集的授权问题，任何由于使用非授权数据集进行训练造成的问题，需自行承担全部责任和一切后果！
2. 任何发布到视频平台的基于 sovits 制作的视频，都必须要在简介明确指明用于变声器转换的输入源歌声、音频，例如：使用他人发布的视频 / 音频，通过分离的人声作为输入源进行转换的，必须要给出明确的原视频、音乐链接；若使用是自己的人声，或是使用其他歌声合成引擎合成的声音作为输入源进行转换的，也必须在简介加以说明。
3. 由输入源造成的侵权问题需自行承担全部责任和一切后果。使用其他商用歌声合成软件作为输入源时，请确保遵守该软件的使用条例，注意，许多歌声合成引擎使用条例中明确指明不可用于输入源进行转换！
4. 继续使用视为已同意本仓库 README 所述相关条例，本仓库 README 已进行劝导义务，不对后续可能存在问题负责。
5. 如将本仓库代码二次分发，或将由此项目产出的任何结果公开发表 (包括但不限于视频网站投稿)，请注明原作者及代码来源 (此仓库)。
6. 如果将此项目用于任何其他企划，请提前联系并告知本仓库作者，十分感谢。

## update
> 更新了 4.0-v2 模型，全部流程同 4.0，相比 4.0 在部分场景下有一定提升，但也有些情况有退步，在 [4.0-v2 分支](https://github.com/innnky/so-vits-svc/tree/4.0-v2) 

## 模型简介
歌声音色转换模型，通过 SoftVC 内容编码器提取源音频语音特征，与 F0 同时输入 VITS 替换原本的文本输入达到歌声转换的效果。同时，更换声码器为 [NSF HiFiGAN](https://github.com/openvpi/DiffSinger/tree/refactor/modules/nsf_hifigan) 解决断音问题

## 4.0 版本更新内容
+ 特征输入更换为 [Content Vec](https://github.com/auspicious3000/contentvec) 
+ 采样率统一使用 44100hz
+ 由于更改了 hop size 等参数以及精简了部分模型结构，推理所需显存占用 ** 大幅降低 **，4.0 版本 44khz 显存占用甚至小于 3.0 版本的 32khz
+ 调整了部分代码结构
+ 数据集制作、训练过程和 3.0 保持一致，但模型完全不通用，数据集也需要全部重新预处理
+ 增加了可选项 1：vc 模式自动预测音高 f0, 即转换语音时不需要手动输入变调 key，男女声的调能自动转换，但仅限语音转换，该模式转换歌声会跑调
+ 增加了可选项 2：通过 kmeans 聚类方案减小音色泄漏，即使得音色更加像目标音色

## 安装本模型

1. [安装必要的模型](./docs/cn/requirement_models.md)

2. [数据集相关](./docs/cn/datasets.md)

## 训练

```shell
python train.py -c configs/config.json -m 44k
```
注：训练时会自动清除老的模型，只保留最新 3 个模型，如果想防止过拟合需要自己手动备份模型记录点，或修改配置文件 keep_ckpts 0 为永不清除

## 推理
使用 [inference_main.py](https://github.com/svc-develop-team/so-vits-svc/blob/4.0/inference_main.py)

截止此处，4.0 使用方法（训练、推理）和 3.0 完全一致，没有任何变化（推理增加了命令行支持）

```shell
# 例
python inference_main.py -m "logs/44k/G_30400.pth" -c "configs/config.json" -n "君の知らない物語 - src.wav" -t 0 -s "nen"
```
必填项部分
+ -m, --model_path：模型路径。
+ -c, --config_path：配置文件路径。
+ -n, --clean_names：wav 文件名列表，放在 raw 文件夹下。
+ -t, --trans：音高调整，支持正负（半音）。
+ -s, --spk_list：合成目标说话人名称。

可选项部分：见下一节
+ -a, --auto_predict_f0：语音转换自动预测音高，转换歌声时不要打开这个会严重跑调。
+ -cm, --cluster_model_path：聚类模型路径，如果没有训练聚类则随便填。
+ -cr, --cluster_infer_ratio：聚类方案占比，范围 0-1，若没有训练聚类模型则填 0 即可。

## 更多

+ [导出为onnx](./docs/cn/onnx.md)

+ [训练技巧](./docs/cn/skills.md)

## 一些法律条文参考

#### 《民法典》

##### 第一千零一十九条 

任何组织或者个人 ** 不得 ** 以丑化、污损，或者利用信息技术手段伪造等方式侵害他人的肖像权。** 未经 ** 肖像权人同意，** 不得 ** 制作、使用、公开肖像权人的肖像，但是法律另有规定的除外。
** 未经 ** 肖像权人同意，肖像作品权利人不得以发表、复制、发行、出租、展览等方式使用或者公开肖像权人的肖像。
对自然人声音的保护，参照适用肖像权保护的有关规定。

#####  第一千零二十四条 

【名誉权】民事主体享有名誉权。任何组织或者个人 ** 不得 ** 以侮辱、诽谤等方式侵害他人的名誉权。  

#####  第一千零二十七条

【作品侵害名誉权】行为人发表的文学、艺术作品以真人真事或者特定人为描述对象，含有侮辱、诽谤内容，侵害他人名誉权的，受害人有权依法请求该行为人承担民事责任。
行为人发表的文学、艺术作品不以特定人为描述对象，仅其中的情节与该特定人的情况相似的，不承担民事责任。