chldkato

melgan은 mel spectrogram을 입력받아서 오디오 신호를 생성해내는 gan 기반 보코더이다 딥러닝으로 오디오 신호를 처리하고자 할 때 스펙트로그램 (멜-스펙이 더 자주 쓰임)을 특징으로 하여 입력하게 된다 스펙트로그램은 크기와 위상으로 나눌 수 있는데 위상은 허수부이기 때문에 입력할 수 없다 그래서 딥러닝의 입력과 출력이 스펙트로그램의 크기가 되고 위상 없이 복원하기 위해 보코더가 필요하다 보코더는 여러 종류가 있는데 melgan을 맨 마지막으로 해서 시간순으로 크게 아래와 같이 나눌 수 있다 1) griffin-lim 2) wavenet 3) waveglow 4) melgan 그리핀림 알고리즘은 상당히 오래된 알고리즘인데 빠르게 합성할 수 있기 때문에 여전히 쓸만하다 물론 성능은 이후의 기..

Tacotron arxiv.org/abs/1703.10135 Tacotron: Towards End-to-End Speech Synthesis A text-to-speech synthesis system typically consists of multiple stages, such as a text analysis frontend, an acoustic model and an audio synthesis module. Building these components often requires extensive domain expertise and may contain brittle design c arxiv.org https://github.com/keithito/tacotron keithito/tacot..

nvidia apex가 필요한데 윈도우에서 apex 설치가 잘 안되고 싱글 gpu 사용중이라 apex를 안쓰고 실행했습니다. 1080ti 1개와 cuda10.0, cudnn7.5 사용 중입니다. 1. 코드 다운로드 및 학습 준비 https://github.com/NVIDIA/waveglow NVIDIA/waveglow A Flow-based Generative Network for Speech Synthesis - NVIDIA/waveglow github.com github에 나와있는대로 진행합니다. git clone https://github.com/NVIDIA/waveglow.git cd waveglow git submodule init git submodule update pip3 install -..