metadata
license: mit
language:
- ru
pipeline_tag: audio-to-audio
tags:
- VoiceConversion
DINO-HuVITS
Info
Разработка данной модели вдохновлена статьёй DINO-VITS.
В основе лежит архитектура VITS, в которой оригинальный PosteriorEncoder был заменён на модель HuBERT Base, а обучение SpeakerEncoder происходило с помощью функции потерь DINO.
Quick start
import librosa
import torch
from dino_huvits import DinoHuVits
model = DinoHuVits.from_pretrained("SazerLife/DINO-HuVITS")
model = model.eval()
content, _ = librosa.load("<content-path>", sr=16000)
reference, _ = librosa.load("<reference-paht>", sr=16000)
content = torch.from_numpy(content).unsqueeze(0)
lengths = torch.tensor([content.shape[1]], dtype=torch.long)
reference = torch.from_numpy(reference).unsqueeze(0)
with torch.no_grad():
output, _ = model(content, lengths, reference)