styletts2-spanish-ft

StyleTTS2 Spanish Fine-tuned Model

Modelo StyleTTS2 fine-tuned para síntesis de voz en español con clonación de voz.

Descripción

Este modelo fue entrenado específicamente para generar voz en español con alta calidad y naturalidad. Incluye capacidades de clonación de voz mediante audio de referencia.

Características

• Idioma: Español (acento guatemalteco)
• Arquitectura: StyleTTS2 con diffusion-based synthesis
• Epoch: 49 (segunda fase de entrenamiento)
• Sample Rate: 24kHz
• Calidad: Alta fidelidad con clonación de voz

Archivos Incluidos

• epoch_2nd_00049.pth: Checkpoint del modelo (2.1GB)
• config_spanish_ft.yml: Configuración del modelo
• reference_audio.wav: Audio de referencia para clonación de voz (916KB)

Uso

Instalación

pip install -U "huggingface_hub[cli]"
huggingface-cli download FenixDS/styletts2-spanish-ft --local-dir styletts2-spanish-ft

Integración con VoxBridge

Este modelo está diseñado para usarse con VoxBridge. Configuración en config/default.yaml:

tts:
  provider: styletts2
  config_path: styletts2-spanish-ft/config_spanish_ft.yml
  checkpoint_path: styletts2-spanish-ft/epoch_2nd_00049.pth
  reference_audio: styletts2-spanish-ft/reference_audio.wav
  alpha: 0.3
  beta: 0.5
  diffusion_steps: 4
  embedding_scale: 2

Uso Directo con StyleTTS2

import torch
from styletts2 import tts

# Cargar modelo
model = tts.StyleTTS2(
    config_path="styletts2-spanish-ft/config_spanish_ft.yml",
    checkpoint_path="styletts2-spanish-ft/epoch_2nd_00049.pth"
)

# Generar voz
text = "Hola, este es un ejemplo de síntesis de voz en español."
reference_audio = "styletts2-spanish-ft/reference_audio.wav"

audio = model.inference(
    text=text,
    ref_audio=reference_audio,
    alpha=0.3,
    beta=0.5,
    diffusion_steps=4,
    embedding_scale=2
)

Parámetros de Síntesis

• alpha (0.0-1.0): Control de prosodia. Mayor = más variación prosódica
• beta (0.0-1.0): Control de speaker embedding. Mayor = más similitud con referencia
• diffusion_steps (1-10): Pasos de difusión. Más pasos = mejor calidad pero más lento
• embedding_scale (1-3): Escala del speaker embedding

Rendimiento

• Latencia (CPU): ~1.2-1.8 segundos por frase
• Latencia (GPU): ~0.3-0.5 segundos por frase
• Calidad: Muy alta, con clonación de voz precisa

Licencia

MIT License

Créditos

Basado en StyleTTS2 por yl4579.

Fine-tuning realizado con datos de voz en español guatemalteco.