poziomka_pretrain_hf

Pliki z pre-treningu LLMa Poziomka, przekonwertowane z formatu DCP na format HuggingFace, z przyciętymi embeddingami (MegatronLM dodał tam padding podczas treningu).

To repozytorium zawiera checkpointy z kroków 1600, 9600, 11200, 14400, 16000, 17600, 19200, 20800, 22400, 24000, 25600, 27200, 28800, 30400, 32000, 33600, 35200, 36800, 38400, 40000, 41600 oraz 43200.

Straciłem checkpointy z kroków 3200, 4800, 6400 i 8000 - przekroczyłem jakieś niewidoczne limity publicznej przestrzeni dyskowej kiery wrzucałem te pliki.

Ten model został wytrenowany z global batch size 256 i długoscią sekwencji 8192, zatem 2,097,152 tokenów na krok. Planowałem go trenować przez 50000 kroków na 105 miliardach tokenów, ale skończyły mi się zasoby i ostatni checkpoint 43200 jest wytrenowany na 90.6 milarda tokenów. To oznacza również, że współczynnik uczenia nie zmniejszył się zgodnie z planem i model nie jest zahartowany. Będę używał fuzji różnych checkpointów aby zasymulować hartowanie bez dodatkowego trenowania tego checkpointa.

Po fuzji, model bedzie trenowany z SFT i może nawet z dystylacją logitów.

---

Checkpoints of Poziomka LLM pre-training, converted from DCP to HuggingFace format, with trimmed embeddings (MegatronLM padded embeddings during training).

This repository contains checkpoints from steps 1600, 9600, 11200, 14400, 16000, 17600, 19200, 20800, 22400, 24000, 25600, 27200, 28800, 30400, 32000, 33600, 35200, 36800, 38400, 40000, 41600 and 43200.

You might wonder where checkpoints 3200, 4800, 6400 and 8000 went - I lost them due to hitting invisible public storage HF limit during checkpoint upload.

Model was trained with global batch size 256 and sequence length 8192, so 2,097,152 tokens per step. I planned to train it for 50000 iters (105B tokens) but I ran out of compute early, so the last checkpoint 43200 was trained on 90.6B tokens. This also means that the learning rate didn't decay as planned. I will be reconciling this using checkpoint merging that should be able to simulate the annealing.

After merging, this model will be trained with SFT and maybe even logit-level distillation.