Bielik-PL-11B-v3.0-Instruct-MLX-8bit

Bielik-PL-11B-v3.0-Instruct-MLX-8bit

8-bitowa konwersja speakleash/Bielik-PL-11B-v3.0-Instruct do formatu MLX, do uruchamiania na Apple Silicon.

Wersja PL to Bielik z tokenizerem APT4 przygotowanym pod język polski. SpeakLeash wydał konwersje MLX dla zwykłego Bielika 11B v3.0, ale nie dla wariantu PL — stąd to repozytorium.

Użycie

pip install mlx-lm

mlx_lm.generate --model chmielulu/Bielik-PL-11B-v3.0-Instruct-MLX-8bit \
  --prompt "Wyjaśnij, czym różni się aspekt dokonany od niedokonanego."

Serwer zgodny z API OpenAI:

mlx_lm.server --model chmielulu/Bielik-PL-11B-v3.0-Instruct-MLX-8bit --port 8080

from mlx_lm import load, generate

model, tokenizer = load("chmielulu/Bielik-PL-11B-v3.0-Instruct-MLX-8bit")
prompt = tokenizer.apply_chat_template(
    [{"role": "user", "content": "Napisz krótkie streszczenie Lalki Prusa."}],
    add_generation_prompt=True,
)
print(generate(model, tokenizer, prompt=prompt, verbose=True))

Model zajmuje około 11 GB, więc potrzeba Maca z co najmniej 16 GB pamięci zunifikowanej.

Pochodzenie i licencja

Model powstał przez kwantyzację wag oryginału do 8 bitów (mlx_lm convert -q --q-bits 8 --q-group-size 64). Poza zmianą formatu i precyzji wagi nie były modyfikowane — nie ma tu douczania ani zmiany zachowania modelu.

Autorem modelu bazowego jest SpeakLeash i to jemu należą się wszystkie zasługi. Licencja Apache 2.0, odziedziczona po oryginale.

To niezależna konwersja społecznościowa, nie wydanie oficjalne.