Downloads · 30 days
0
sancho-mini-gpt
IzanMoya/sancho-mini-gpt
sancho-mini-gpt is a text generation model from IzanMoya. Use it when you need the model to write or continue text. The card lists the license as mit.
Este es un modelo Generative Pre-trained Transformer (GPT) entrenado desde cero con PyTorch para generar sonetos en español.
Access
Public
Updated Sep 18, 2025
Repo size
17.3 MB
Likes
0
Public
Repo makeup
Click a slice to open those files.
.pth17.3 MB · 100%
At a glance
- Task
- Text Generation
- License
- mit
- Access
- Public
- Created
- Sep 18, 2025
- Updated
- Sep 18, 2025
- SHA
- fd8d9fad
Model card
From the Hugging Face model README
sancho-mini: Un GPT a nivel de carácter que escribe sonetos como Cervantes
Este es un modelo Generative Pre-trained Transformer (GPT) entrenado desde cero con PyTorch para generar sonetos en español.
Detalles del Modelo
- Arquitectura: GPT (Decoder-only Transformer)
- Nivel de Tokenización: Carácter
- Tamaño del Vocabulario: 70
- Dimensión de Embedding (
n_embd): 256 - Longitud de Contexto (
block_size): 256 - Número de Capas Transformer (
n_layer): 4 - Número de Cabezas de Atención (
n_head): 4 - Tasa de Dropout: 0.2
- Número de Parámetros: 3.26M
Datos de Entrenamiento
El modelo fue entrenado con un corpus de sonetos en español (datos_sancho_mini.txt), los poemas en el dataset están estructurados con tokens especiales para indicar el inicio y el fin de cada poema.
Uso
Para usar este modelo, necesitas cargar el state_dict en una instancia de la arquitectura del modelo definida en el notebook de entrenamiento.
- Task
- Text Generation
- License
- mit
- Languages
- es
- Created
- Sep 18, 2025
- Updated
- Sep 18, 2025