gemma3-4b-algebra4-merged

gemma3-4b-algebra4-merged — Gemma 3 4B fine-tuned em Álgebra Linear

Modelo merged (base + LoRA) em BF16. Para uso com transformers, fine-tune adicional, ou conversão para outros formatos. Para uso direto em celular, prefira o gemma3-4b-algebra4-gguf.

O que é

Resultado de aplicar peft.merge_and_unload() sobre google/gemma-3-4b-it + o adapter LoRA treinado no algebra4-mix. Os pesos estão em BF16, prontos para inferência via transformers ou para serem requantizados em outro formato (AWQ, GPTQ, EXL2, GGUF, LiteRT).

Uso com transformers

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

mid = "felipecmarins/gemma3-4b-algebra4-merged"
tok = AutoTokenizer.from_pretrained(mid)
model = AutoModelForCausalLM.from_pretrained(mid, torch_dtype=torch.bfloat16, device_map="auto")

prompt = tok.apply_chat_template(
    [{"role": "user", "content": "Encontre os autovalores de A = [[2,1],[1,2]]."}],
    tokenize=False, add_generation_prompt=True,
)
ids = tok(prompt, return_tensors="pt").to(model.device)
out = model.generate(**ids, max_new_tokens=400, do_sample=False)
print(tok.decode(out[0][ids.input_ids.shape[1]:], skip_special_tokens=True))

Como foi produzido

Tamanho final em disco: 8.1 GB (model-00001-of-00002 = 4.7 GB · model-00002-of-00002 = 3.4 GB).

Treinamento — sumário

• Mix: 50 k samples (de 495 k disponíveis) do algebra4-mix
• Hiperparâmetros: lr=1e-4 cosine · warmup 3 % · batch 1 × grad acc 32 · max_seq 1024 · 1 epoch
• Hardware: NVIDIA L4 24 GB em Mumbai (asia-south1-b) — única zona com estoque L4 no momento por demanda global
• Duração: ~14 h · train_loss = 0.74 final
• Custo: ~US$ 12 (créditos GCP gratuitos)

Componentes relacionados

Licença

Gemma Terms of Use.