Downloads · 30 days
39
27% of all-time downloads
EXAONE-3.5-32B-Instruct-GGUF-Japanese-imatrix
grapevine-AI/EXAONE-3.5-32B-Instruct-GGUF-Japanese-imatrix
EXAONE-3.5-32B-Instruct-GGUF-Japanese-imatrix is a machine learning model from grapevine-AI. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as other.
LG AI Researchの韓国語-英語バイリンガル言語モデルEXAONE-3.5-32B-Instructを日本語imatrixで量子化したものです。<br なお、商用利用はできませんのでご注意ください。
All-time downloads
143
Public
Repo size
59.3 GB
Likes
0
Public
Repo makeup
Click a slice to open those files.
.gguf59.3 GB · 100%
At a glance
- License
- other
- Access
- Public
- Created
- Dec 10, 2024
- Updated
- Jan 18, 2025
- SHA
- d234fc8c
Model card
From the Hugging Face model README
What is this?
LG AI Researchの韓国語-英語バイリンガル言語モデルEXAONE-3.5-32B-Instructを日本語imatrixで量子化したものです。<br> なお、商用利用はできませんのでご注意ください。
imatrix dataset
日本語能力を重視し、日本語が多量に含まれるTFMC/imatrix-dataset-for-japanese-llmデータセットを使用しました。<br> 公式配布されているBF16版GGUFを利用しましたが、途中、計算リソースの関係上imatrixの算出においてはQ8_0量子化モデルを使用しました。
Chat template
[|system|]ここにsystemプロンプトを書きます[|endofturn|]
[|user|]ここにMessageを書きます
[|assistant|]
Environment
Windows(CUDA12)版llama.cpp-b4178を使用して量子化作業を実施しました。
License
EXAONE AI Model License Agreement 1.1 - NC
Developer
LG AI Research
- License
- other
- Created
- Dec 10, 2024
- Updated
- Jan 18, 2025