Downloads · 30 days
470
6% of all-time downloads
team-hatakeyama-phase2/Tanuki-8x8B-dpo-v1.0-GGUF
Tanuki-8x8B-dpo-v1.0-GGUF is a machine learning model from team-hatakeyama-phase2. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as apache-2.0.
GENIAC 松尾研 LLM開発プロジェクトで開発されたLLMであるweblab-GENIAC/Tanuki-8x8B-dpo-v1.0のGGUF量子化モデルです。 imatrixの計算にはWikitext-JAを用いています。
Downloads · 30 days
470
6% of all-time downloads
All-time downloads
8.3K
Public
Repo size
615 GB
Likes
1
Public
Click a slice to open those files.
.gguf521 GB · 85%
From the Hugging Face model README
GENIAC 松尾研 LLM開発プロジェクトで開発されたLLMであるweblab-GENIAC/Tanuki-8x8B-dpo-v1.0のGGUF量子化モデルです。
imatrixの計算にはWikitext-JAを用いています。
このGGUFモデルはtokenizerを元モデルから完全に変換出来ていない可能性があります。また、独自アーキテクチャの実装を反映するためにllama.cpp側の実装変更が必要となり、通常通り推論しようとすると性能低下が発生します。
具体的には、内部のテストでJMT-Benchにおいて全体スコア-0.5点程度、特に数学やコーディング、リーズニングの難易度が高いタスクで大きな性能低下が起こることを確認しています。また、人手評価では更に大きな性能低下が確認される可能性もあります。
そのため、他の形式の量子化モデルの利用を推奨いたします。
本モデルを利用する際は性能が低下していることをご理解の上お使いください。
モデルに関する詳細については元モデルをご確認ください。