moonintheriver--diffsinger/README.md

Note

本文档由 WeHub 基于上游 README 翻译整理，属于社区翻译，非官方中文文档。
English · 原始项目 · 上游 README
原作者、版权与许可证归属以原始项目及本仓库 LICENSE 文件为准。

DiffSinger：基于浅层扩散机制的歌唱语音合成（Singing Voice Synthesis via Shallow Diffusion Mechanism）

本仓库是我们 AAAI-2022 论文, 的官方 PyTorch 实现，其中我们提出了 DiffSinger（用于歌唱语音合成 Singing-Voice-Synthesis）和 DiffSpeech（用于文本转语音 Text-to-Speech）。

🎉 🎉 🎉 更新：

• Sep.11, 2022：🔌 DiffSinger-PN。接入我们实验室 ICLR 2022 的插件 PNDM,，可免费加速 DiffSinger。
• Jul.27, 2022：更新 SVS 相关文档。新增简易推理 A 与 B；新增运行于 HuggingFace🤗 SVS. 的交互式 SVS。
• Mar.2, 2022：MIDI-B-version。
• Mar.1, 2022：用于歌声美化的 NeuralSVB, 已发布。
• Feb.13, 2022：改进版代码框架 NATSpeech, 已发布，其中包含 DiffSpeech 以及我们 NeurIPS-2021 工作 PortaSpeech 的实现。
• Jan.29, 2022：支持 MIDI-A-version SVS。
• Jan.13, 2022：支持 SVS，发布 PopCS 数据集。
• Dec.19, 2021：支持 TTS。HuggingFace🤗 TTS

🚀 新闻：

• Feb.24, 2022：我们的新工作 NeuralSVB 被 ACL-2022 接收 . 演示页面.
• Dec.01, 2021：DiffSinger 被 AAAI-2022 接收。
• Sep.29, 2021：我们近期工作 PortaSpeech: Portable and High-Quality Generative Text-to-Speech 被 NeurIPS-2021 接收 。
• May.06, 2021：我们将 DiffSinger 提交至 Arxiv .

环境

1. 若你想使用 anaconda 环境：

   conda create -n your_env_name python=3.8
   source activate your_env_name 
   pip install -r requirements_2080.txt   (GPU 2080Ti, CUDA 10.2)
   or pip install -r requirements_3090.txt   (GPU 3090, CUDA 11.4)
   

2. 或者，若你想使用 python 的 virtual env：

   ## 请先安装 Python 3.8。 
   python -m venv venv
   source venv/bin/activate
   # 安装依赖。
   pip install -U pip
   pip install Cython numpy==1.19.1
   pip install torch==1.9.0
   pip install -r requirements.txt
   

文档

• 运行 DiffSpeech（TTS 版本）。
• 运行 DiffSinger（SVS 版本）。

概览

Mel 流水线	数据集	音高输入	F0 预测	加速方法	声码器
DiffSpeech (Text->F0, Text+F0->Mel, Mel->Wav)	Ljspeech	None	Explicit	Shallow Diffusion	HiFiGAN
DiffSinger (Lyric+F0->Mel, Mel->Wav)	PopCS	Ground-Truth F0	None	Shallow Diffusion	NSF-HiFiGAN
DiffSinger (Lyric+MIDI->F0, Lyric+F0->Mel, Mel->Wav)	OpenCpop	MIDI	Explicit	Shallow Diffusion	NSF-HiFiGAN
FFT-Singer (Lyric+MIDI->F0, Lyric+F0->Mel, Mel->Wav)	OpenCpop	MIDI	Explicit	Invalid	NSF-HiFiGAN
DiffSinger (Lyric+MIDI->Mel, Mel->Wav)	OpenCpop	MIDI	Implicit	None	Pitch-Extractor + NSF-HiFiGAN
DiffSinger+PNDM (Lyric+MIDI->Mel, Mel->Wav)	OpenCpop	MIDI	Implicit	PLMS	Pitch-Extractor + NSF-HiFiGAN
DiffSpeech+PNDM (Text->Mel, Mel->Wav)	Ljspeech	None	Implicit	PLMS	HiFiGAN

Tensorboard

tensorboard --logdir_spec exp_name

引用

@article{liu2021diffsinger,
  title={Diffsinger: Singing voice synthesis via shallow diffusion mechanism},
  author={Liu, Jinglin and Li, Chengxi and Ren, Yi and Chen, Feiyang and Liu, Peng and Zhao, Zhou},
  journal={arXiv preprint arXiv:2105.02446},
  volume={2},
  year={2021}}

致谢

• lucidrains 的 denoising-diffusion-pytorch
• 官方 PyTorch Lightning
• kan-bayashi 的 ParallelWaveGAN
• jik876 的 HifiGAN
• 官方 espnet
• lmnt-com 的 DiffWave
• keonlee9420 的 Implementation.

特别感谢：

• Openvpi 团队的维护：DiffSinger.
• 您的再创作与分享。