Downloads · 30 days
239
4% of all-time downloads
mmnga/watashiha-gpt-6b-gguf
watashiha-gpt-6b-gguf is a machine learning model from mmnga. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as apache-2.0.
watashihaさんが公開しているwatashiha-gpt-6bのggufフォーマット変換版です。
Downloads · 30 days
239
4% of all-time downloads
All-time downloads
5.7K
Public
Repo size
46.7 GB
Likes
1
Public
Click a slice to open those files.
.gguf46.7 GB · 100%
From the Hugging Face model README
watashihaさんが公開しているwatashiha-gpt-6bのggufフォーマット変換版です。
このggufはllama.cppでの動作のため、一部の連結絵文字のtokenをbyte用token再割り当てしています。
gguf変換用のconvert-hf-to-gguf_watashiha_gpt.py
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./main -m 'watashiha-gpt-6b-q4_0.gguf' -p 'お題:ホラー映画の「○○○から逃げろ!」<SEP>回答:' -n 32 --top_k 50 --top_p 0.9