Downloads · 30 days
32
27% of all-time downloads
Llama-3.1-Nemotron-70B-Instruct-GGUF
grapevine-AI/Llama-3.1-Nemotron-70B-Instruct-GGUF
Llama-3.1-Nemotron-70B-Instruct-GGUF is a machine learning model from grapevine-AI. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as llama3.1.
NVIDIA社によるLlama 3.1 70Bの微調整モデルLlama-3.1-Nemotron-70B-InstructをGGUFフォーマットに変換したものです。
All-time downloads
117
Public
Repo size
184 GB
Likes
0
Public
Repo makeup
Click a slice to open those files.
.gguf184 GB · 100%
At a glance
- License
- llama3.1
- Access
- Public
- Created
- Oct 24, 2024
- Updated
- Oct 26, 2024
- SHA
- e9a0ba68
Model card
From the Hugging Face model README
What is this?
NVIDIA社によるLlama 3.1 70Bの微調整モデルLlama-3.1-Nemotron-70B-InstructをGGUFフォーマットに変換したものです。
imatrix dataset
日本語能力を重視し、日本語が多量に含まれるTFMC/imatrix-dataset-for-japanese-llmデータセットを使用しました。<br> なお、計算リソースの関係上imatrixの算出においてはQ8_0量子化モデルを使用しました。
Chat template
<|start_header_id|>system<|end_header_id|>\n\nここにsystemプロンプトを書きます<|eot_id|><|start_header_id|>user<|end_header_id|>\n\nここにMessageを書きます<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n
Environment
Windows版llama.cpp-b3621およびllama.cpp-b3472同時リリースのconvert-hf-to-gguf.pyを使用して量子化作業を実施しました。
License
Llama 3.1 Community License
Developer
Meta & NVIDIA
- License
- llama3.1
- Created
- Oct 24, 2024
- Updated
- Oct 26, 2024