Downloads · 30 days
52
11% of all-time downloads
SushiTokyo/ELYZA-japanese-Llama-2-13b-fast-instruct-4bit-quantized
ELYZA-japanese-Llama-2-13b-fast-instruct-4bit-quantized is a text generation model from SushiTokyo. Use it when you need the model to write or continue text. It is set up for transformers.
ELYZA-japanese-Llama-2-13b-fast-instruct を4bitで量子化したモデルです。 ref: https://huggingface.co/elyza/ELYZA-japanese-Llama-2-13b-fast-instruct/blob/main/README.md
Downloads · 30 days
52
11% of all-time downloads
All-time downloads
474
Public
Parameters
13.1B
7.8 GB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors7.8 GB · 100%
How the weights are stored.
I3212.7B · 97%
From the Hugging Face model README
ELYZA-japanese-Llama-2-13b-fast-instruct を4bitで量子化したモデルです。
ref: https://huggingface.co/elyza/ELYZA-japanese-Llama-2-13b-fast-instruct/blob/main/README.md
オリジナルはRTX4090でも扱いが難しかったですが、10秒ほどで出力できます。
精度は未計測。
量子化の詳細はconfig.jsonを参照してください。
コードはquantize.pyです。
elyza/ELYZA-tasks-100 の実行結果 → task100.csv
実行時間 開始: 2024-05-09 03:49:30.779783 終了: 2024-05-09 03:56:56.380691
LICENSE: LLAMA2