Downloads · 30 days
24
1% of all-time downloads
team-hatakeyama-phase2/Tanuki-8x8B-dpo-v1.0-AWQ
Tanuki-8x8B-dpo-v1.0-AWQ is a text generation model from team-hatakeyama-phase2. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as apache-2.0.
GENIAC 松尾研 LLM開発プロジェクトで開発されたLLMであるweblab-GENIAC/Tanuki-8x8B-dpo-v1.0のAWQ 4bit量子化モデルです。 キャリブレーションセットにはizumi-lab/wikipedia-ja-20230720からランダムサンプリングした512件を利用しています。
Downloads · 30 days
24
1% of all-time downloads
All-time downloads
2.4K
Public
Parameters
47B
25.2 GB on disk
Likes
3
Public
Click a slice to open those files.
.safetensors25.2 GB · 100%
How the weights are stored.
I3246.4B · 99%
From the Hugging Face model README
GENIAC 松尾研 LLM開発プロジェクトで開発されたLLMであるweblab-GENIAC/Tanuki-8x8B-dpo-v1.0のAWQ 4bit量子化モデルです。
キャリブレーションセットにはizumi-lab/wikipedia-ja-20230720からランダムサンプリングした512件を利用しています。
この元モデルは独自アーキテクチャを持つモデルであるため、変換のためにAutoAWQライブラリの一部改変が必要となりました。本モデルの変換に必要な改変を施したAutoAWQをこちらで公開しています。
また、同様の理由で本モデルをvLLMを使って推論する際にはvLLMライブラリの一部改変が必要となります。本モデルの推論に必要な改変を施したvLLMをこちらで公開しています。
これを以下のようにソースからビルドし推論に利用してください。
git clone https://github.com/team-hatakeyama-phase2/vllm.git
cd vllm
LD_LIBRARY_PATH="" MAX_JOBS=16 pip install -e .
モデルに関する詳細については元モデルをご確認ください。