SLM-Unified-Expert-Finetuned

Modelo: Ignaciohhhhggfgjfrffd/SLM-Unified-Expert-Finetuned

Detalles del Modelo

Este es un Small Language Model (SLM) con aproximadamente 51.21M de parámetros, entrenado desde cero.

Arquitectura

• Capas: 8
• Cabezales de Atención: 8
• Dimensión de Embeddings: 512
• Tamaño de Vocabulario: 50257
• Tamaño de Contexto: 512

Proceso de Entrenamiento

1. Pre-entrenamiento: Entrenado sobre un corpus masivo y diverso de texto y código.
2. Afinamiento Unificado: Afinamiento sobre una mezcla de 10 datasets especializados.

Cómo Usar

from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = "Ignaciohhhhggfgjfrffd/SLM-Unified-Expert-Finetuned"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)
messages = [{"role": "user", "content": "Escribe un poema corto sobre el universo."}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(outputs, skip_special_tokens=False))