Downloads · 30 days
20
1% of all-time downloads
grapevine-AI/Llama-3.1-70B-Japanese-Instruct-2407-GGUF
Llama-3.1-70B-Japanese-Instruct-2407-GGUF is a machine learning model from grapevine-AI. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as llama3.1.
CyberAgent社によるLlama-3.1の日本語継続事前学習モデルLlama-3.1-70B-Japanese-Instruct-2407をGGUFフォーマットに変換したものです。<br llama.cppのLlama3.1の特殊なRoPE Embedding対応アップデート(8676)を反映しています。
Downloads · 30 days
20
1% of all-time downloads
All-time downloads
2K
Public
Repo size
184 GB
Likes
2
Public
Click a slice to open those files.
.gguf184 GB · 100%
From the Hugging Face model README
CyberAgent社によるLlama-3.1の日本語継続事前学習モデルLlama-3.1-70B-Japanese-Instruct-2407をGGUFフォーマットに変換したものです。<br> llama.cppのLlama3.1の特殊なRoPE Embedding対応アップデート(#8676)を反映しています。
日本語能力を重視し、日本語が多量に含まれるTFMC/imatrix-dataset-for-japanese-llmデータセットを使用しました。<br> なお、計算リソースの関係上imatrixの算出においてはQ8_0量子化モデルを使用しました。
<|start_header_id|>system<|end_header_id|>\n\nここにsystemプロンプトを書きます<|eot_id|><|start_header_id|>user<|end_header_id|>\n\nここにMessageを書きます<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n
Windows版llama.cpp-b3472および同時リリースのconvert_hf_to_gguf.pyを使用して量子化作業を実施しました。
llama3.1 License
Meta & CyberAgent
Built with Llama