europagen-v1

EuropaGen v1 (1.7B)

EuropaGen v1 è un modello linguistico open source da 1.7 miliardi di parametri, basato su Qwen3-1.7B e specializzato per l'italiano. È un progetto indipendente sviluppato e mantenuto da Federico Barros come unico sviluppatore.

Questo repository contiene un adapter LoRA/QLoRA (non i pesi completi) da applicare sopra il modello base Qwen/Qwen3-1.7B.

Dettagli del modello

• Modello base: Qwen/Qwen3-1.7B (Apache-2.0)
• Metodo di fine-tuning: QLoRA (rank 32, alpha 64, target modules: q/k/v/o/gate/up/down proj)
• Parametri addestrabili: ~34.9M (adapter) su ~1.75B totali
• Lingua: Italiano
• Sviluppatore: Federico Barros (unico sviluppatore del progetto)
• Licenza: Apache-2.0

Dati di training

Il modello è stato addestrato su un mix di ~20.000 esempi in italiano (istruzioni generali + ragionamento con tag <think>), più un piccolo set di esempi per l'identità del modello:

Tutte le licenze dei dataset permettono uso commerciale con attribuzione, in linea con la licenza Apache-2.0 del modello base.

Come usarlo

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import PeftModel

tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-1.7B")

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_use_double_quant=True,
)
base_model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-1.7B", quantization_config=bnb_config, torch_dtype=torch.bfloat16,
)
model = PeftModel.from_pretrained(base_model, "REPO_ID_QUI")

messages = [{"role": "user", "content": "Chi sei?"}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(text, return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=200, do_sample=False)
print(tokenizer.decode(output[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

Nota importante: l'adapter è stato calibrato su un base model quantizzato in 4-bit (QLoRA) — caricarlo su un base model in precisione piena (bf16/fp16) senza quantizzazione può produrre risposte leggermente meno accurate.

Limiti

• Modello da 1.7B parametri: capacità di conoscenza enciclopedica limitata, non affidabile per fatti storici/tecnici precisi.
• Fine-tuning di scala contenuta (20k esempi, early stopping a ~64% della prima epoca): buona aderenza allo stile del dataset, non un salto di capacità generale.
• Decoding greedy, nessuna garanzia di sicurezza/allineamento oltre a quella ereditata dal modello base.

Licenza

Apache-2.0, in eredità dalla licenza del modello base Qwen3-1.7B e di tutti i dataset di training utilizzati.

Framework versions

• PEFT 0.19.1