Downloads · 30 days
516
19% of all-time downloads
hiratagoh/NVIDIA-Nemotron-Nano-9B-v2-Japanese-GGUF
NVIDIA-Nemotron-Nano-9B-v2-Japanese-GGUF is a text generation model from hiratagoh. Use it when you need the model to write or continue text. The card lists the license as other.
nvidia/NVIDIA-Nemotron-Nano-9B-v2-Japaneseを llama.cppのconverthftogguf.pyでGGUF形式変換し、llama-quantizeで量子化しました。
Downloads · 30 days
516
19% of all-time downloads
All-time downloads
2.7K
Public
Repo size
60.6 GB
Likes
0
Public
Click a slice to open those files.
.gguf60.6 GB · 100%
From the Hugging Face model README
nvidia/NVIDIA-Nemotron-Nano-9B-v2-Japaneseを
llama.cppのconvert_hf_to_gguf.pyでGGUF形式変換し、llama-quantizeで量子化しました。
元モデルが軽量ですので、実行環境が許せばBF16かQ8_0での利用をお勧めします。
iMatrixは
TFMC/imatrix-dataset-for-japanese-llm
のc4_en_ja_imatrix.txtを教師データに使用しllama-imatrixで生成しました。
IQ4_XS量子化ではllama-quantizeで
llama_model_quantize_impl : tensor cols 4480 x 131072 are not divisible by 256, required for iq4_xs - using fallback quantization iq4_nl
などとログ出力され、4ビット量子化されたLayerの多くはIQ4_NLになってます。表面上はIQ4_XSと表記していますが、中身はほぼIQ4_NLです。