Downloads · 30 days
22
4% of all-time downloads
Athene-V2-Chat-GGUF
grapevine-AI/Athene-V2-Chat-GGUF
Athene-V2-Chat-GGUF is a machine learning model from grapevine-AI. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as other.
NexusflowのAthene-70Bの次世代モデルAthene-V2-Chatを日本語imatrixで量子化したものです。<br 今回からはQwen2.5-72B-Instructベースに切り替わり、Chat用モデルとAgent用モデルの2種類が用意されるようになりました。<br なお、商用利用はできませんのでご注意ください。
All-time downloads
578
Public
Repo size
233 GB
Likes
0
Public
Repo makeup
Click a slice to open those files.
.gguf233 GB · 100%
At a glance
- License
- other
- Access
- Public
- Created
- Nov 17, 2024
- Updated
- Nov 19, 2024
- SHA
- 67e1638f
Model card
From the Hugging Face model README
What is this?
NexusflowのAthene-70Bの次世代モデルAthene-V2-Chatを日本語imatrixで量子化したものです。<br> 今回からはQwen2.5-72B-Instructベースに切り替わり、Chat用モデルとAgent用モデルの2種類が用意されるようになりました。<br> なお、商用利用はできませんのでご注意ください。
imatrix dataset
日本語能力を重視し、日本語が多量に含まれるTFMC/imatrix-dataset-for-japanese-llmデータセットを使用しました。<br> なお、計算リソースの関係上imatrixの算出においてはQ8_0量子化モデルを使用しました。
Chat template
<|im_start|>system
ここにSystem Promptを書きます。<|im_end|>
<|im_start|>user
ここにMessageを書きます。<|im_end|>
<|im_start|>assistant
Environment
Windows版llama.cpp-b3621およびllama.cpp-b3472同時リリースのconvert-hf-to-gguf.pyを使用して量子化作業を実施しました。
License
Qwen LICENSE & Nexusflow Research License
Developer
Alibaba Cloud & Nexusflow
- License
- other
- Created
- Nov 17, 2024
- Updated
- Nov 19, 2024