formiga-125m-official

Formiga HPT v0

Checkpoint experimental do modelo Formiga/HPT treinado do zero.

Aviso

Este checkpoint e de pre-treino. Ele ainda nao passou por SFT/DPO e nao deve ser tratado como assistente final.

Arquivos principais

• checkpoints/final.pt: checkpoint PyTorch
• tokenizer/hpt_tokenizer.model: tokenizer SentencePiece
• tokenizer/hpt_tokenizer.vocab: vocabulario
• configs/hpt_v2_runpod_4090.generated.yaml: config usada no treino
• training_history.json: historico de loss, se disponivel

Resumo do checkpoint

{
  "global_step": 1908,
  "tokens_seen": 500170752,
  "best_eval_loss": 3.102164931297302,
  "model_config": {
    "hidden_dim": 768,
    "num_layers": 12,
    "num_heads": 12,
    "num_kv_heads": 4,
    "intermediate_dim": 2688,
    "vocab_size": 32000,
    "max_seq_len": 2048,
    "rope_base": 10000.0,
    "rms_norm_eps": 1e-05,
    "dropout": 0.0,
    "tie_embeddings": true
  }
}

Como carregar localmente

Este modelo usa a implementacao do projeto NeuralSpark/HPT, nao o formato Transformers padrao.

python test_formiga.py --checkpoint checkpoints/final.pt --tokenizer tokenizer/hpt_tokenizer.model

Repo: https://huggingface.co/nfeliperealbr/formiga-125m-official