model-pontia-pruebas

Modelo Fine-Tuneado de Stable Diffusion

Este repositorio contiene un modelo de Stable Diffusion que ha sido fine-tuneado para la generación de imágenes a partir de descripciones textuales, utilizando un dataset de ilustraciones de libros antiguos.

Descripción

El modelo base utilizado es CompVis/stable-diffusion-v1-4. Se ha realizado un fine-tuning de la UNet con un conjunto reducido de imágenes y descripciones, permitiendo generar imágenes con un estilo específico aprendido del dataset.

Estructura del repositorio

• config.json: Configuración del modelo.
• diffusion_pytorch_model.bin: Pesos de la UNet fine-tuneada.
• merges.txt, vocab.json, special_tokens_map.json, tokenizer_config.json: Archivos del tokenizador.

Cómo usar el modelo

Puedes cargar el modelo fine-tuneado en tu pipeline de Stable Diffusion de la siguiente manera:

from diffusers import StableDiffusionPipeline, UNet2DConditionModel
import torch

# Ruta al modelo fine-tuneado
finetuned_model_path = "ruta/al/directorio/finetuned-model"

# Cargar la UNet fine-tuneada
unet = UNet2DConditionModel.from_pretrained(finetuned_model_path)

# Cargar el pipeline con la UNet fine-tuneada
pipe = StableDiffusionPipeline.from_pretrained(
    "CompVis/stable-diffusion-v1-4",
    unet=unet,
).to("cuda" if torch.cuda.is_available() else "cpu")

# Generar una imagen
prompt = "an image of a crazy sheep"
image = pipe(prompt).images[0]
image.show()

Dataset

El modelo ha sido entrenado con el dataset gigant/oldbookillustrations de Hugging Face Datasets, utilizando imágenes recortadas y normalizadas a 512x512 píxeles.

Resultados

El modelo es capaz de generar imágenes con el estilo aprendido del dataset, adaptando la salida a los prompts proporcionados.

Créditos

• Modelo base: CompVis/stable-diffusion-v1-4
• Dataset: gigant/oldbookillustrations

Licencia

None