Downloads · 30 days
463
6% of all-time downloads
dahara1/gemma-2-2b-jpn-it-gguf-japanese-imatrix
gemma-2-2b-jpn-it-gguf-japanese-imatrix is a machine learning model from dahara1. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as gemma.
google/gemma-2-2b-jpn-itを日本語が多く含まれる重要度行列(iMatrix)を使って量子化したgguf版です。 日本語対応能力が多めに保持されている事を期待しています。 gemma-2-9b-itの4bit量子化版で比較したところ、perplexityスコアがわずかに改善する事がわかっています。
Downloads · 30 days
463
6% of all-time downloads
All-time downloads
7.7K
Public
Repo size
58.2 GB
Likes
1
Public
Click a slice to open those files.
.gguf46.8 GB · 100%
From the Hugging Face model README
google/gemma-2-2b-jpn-itを日本語が多く含まれる重要度行列(iMatrix)を使って量子化したgguf版です。
日本語対応能力が多めに保持されている事を期待しています。
gemma-2-9b-itの4bit量子化版で比較したところ、perplexityスコアがわずかに改善する事がわかっています。
This is a quantized gguf version of google/gemma-2-2b-jpn-it using an importance matrix (iMatrix) that contains many Japanese words.
I hope it retains more Japanese support.
When compared with the 4-bit quantized version of gemma-2-9b-it, we found that the perplexity score improved slightly.
ggufフォーマットに対応したツールは様々なものがあるのでお好きなツールをお使いください。例えば、llama.cppでの使い方は以下です
There are many tools that support the gguf format, so please use the one you like. For example, the usage for llama.cpp is as follows.
Windows11のターミナル(CMD, Power shell)では日本語が化けてしまうのでブラウザを使ってください
Please use a browser as Japanese characters will be garbled in the Windows 11 terminal (CMD, Power shell).
公式マニュアルに従ってllama.cppをビルドします
Build llama.cpp according to the official manual
ダウンロードしたモデルを指定して下記コマンドを実行します
Execute command.
llama.cpp\build\bin\Release\llama-server -m .\gemma-2-9b-it-Q4_K_M-fp16.gguf
ブラウザでhttp://127.0.0.1:8080を開きます
Open http://127.0.0.1:8080 in your browser

人によって意見が異なりますが、目安としては以下です
Opinions vary from person to person, but here are some guidelines: