Downloads · 30 days
1
0% of all-time downloads
okamototk/Llama-3.1-Swallow-8B-Instruct-v0.3-imatrix-gguf
Llama-3.1-Swallow-8B-Instruct-v0.3-imatrix-gguf is a text generation model from okamototk. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as llama3.3.
このモデルは、Llama-3.3-Swallow-70B-Instruct-v0.4をOllamaで利用できるようにgguf形式に変換して量子化を行ったものです。
Downloads · 30 days
1
0% of all-time downloads
All-time downloads
402
Public
Repo size
9.8 GB
Likes
0
Public
Click a slice to open those files.
.gguf4.9 GB · 100%
From the Hugging Face model README
このモデルは、Llama-3.3-Swallow-70B-Instruct-v0.4をOllamaで利用できるようにgguf形式に変換して量子化を行ったものです。
量子化は、imatrixを利用して行いました。imatrixの生成のデータセットはTFMC/imatrix-dataset-for-japanese-llmを利用しました。
imatrixを利用した量子化については、llama.cpp/examples/imatrixをご覧ください。
META LLAMA 3.3 COMMUNITY LICENSE and Gemma Terms of Use
上記のLlama-3.3-Swallow-70Bのライセンスに従いご利用ください。本モデルを利用して発生した如何なる不利益や損害について、作成者は責任を負わないものとします。