lora-ukiyoe-rankA

LoRA estilo_ukiyoe — Stable Diffusion v1.5

Adaptador LoRA que especializa o Stable Diffusion v1.5 no estilo de gravura japonesa ukiyo-e (séc. XVIII–XIX, tradição de Hokusai, Hiroshige e Utamaro). Ative o estilo usando o token estilo_ukiyoe no início do prompt.

Dataset e licenças

• 36 gravuras ukiyo-e coletadas do The Met Open Access, todas em CC0 (domínio público).
• Proveniência completa (url, autor, título, licença) em dados/fontes.csv no repositório do projeto.
• Coleta reprodutível via dados/baixar_imagens.py.

Hiperparâmetros do treino

train_batch_size=1, gradient_accumulation_steps=4, resolution=512, seed=42. Treinado em GPU T4 (Google Colab) com train_text_to_image_lora.py do diffusers.

Uso

from diffusers import StableDiffusionPipeline
import torch
pipe = StableDiffusionPipeline.from_pretrained(
    "stable-diffusion-v1-5/stable-diffusion-v1-5", torch_dtype=torch.float16).to("cuda")
pipe.load_lora_weights("Galvones/lora-ukiyoe-rankA")
img = pipe("estilo_ukiyoe, o monte Fuji ao amanhecer com nuvens",
           num_inference_steps=30, guidance_scale=7.5).images[0]

Avaliação

• CLIPScore médio (aderência texto↔imagem): base 33.02 · rank 8 32.22 · rank 4 31.50.
• Avaliação humana cega (5 avaliadores externos, escala 1–5): o LoRA superou o base em fidelidade ao estilo (4.83 vs 4.43) e qualidade geral (3.77 vs 2.77).
• Config escolhida: rank 8 (melhor coerência e vencedora na avaliação humana).

Usos pretendidos

Geração de imagens no estilo estético ukiyo-e para fins educacionais, artísticos e de pesquisa.

Limitações e vieses conhecidos

• Dataset pequeno (36 imagens) e desbalanceado (muitas cortesãs de Utamaro) → memorização perceptível de composições dominantes.
• Herda vieses do Stable Diffusion base.
• Não reproduz artistas vivos nem IP de terceiros: o estilo é uma tradição histórica em domínio público (autores falecidos há mais de um século).