Downloads · 30 days
33
8% of all-time downloads
Sakura-14B-Qwen2.5-v1.0
Kunger/Sakura-14B-Qwen2.5-v1.0
Sakura-14B-Qwen2.5-v1.0 is a text generation model from Kunger. Use it when you need the model to write or continue text. The card lists the license as cc-by-nc-sa-4.0.
llama.cpp在某些设备上受支持情况不佳，推理速度受限，我们可能希望使用pytorch进行推理，于是使用transformers库对GGUF模型进行去量化操作。
All-time downloads
426
Public
Parameters
14.8B
29.6 GB on disk
Likes
1
Public
Repo makeup
Click a slice to open those files.
.safetensors29.5 GB · 100%
At a glance
- Task
- Text Generation
- License
- cc-by-nc-sa-4.0
- Model type
- qwen2
- Access
- Public
- Created
- Nov 26, 2024
- Updated
- Nov 26, 2024
- SHA
- 7c5becec
Model card
From the Hugging Face model README
SakuraLLM去量化模型
为什么要去量化？
llama.cpp在某些设备上受支持情况不佳，推理速度受限，我们可能希望使用pytorch进行推理，于是使用transformers库对GGUF模型进行去量化操作。
原始模型是啥
https://huggingface.co/SakuraLLM/Sakura-14B-Qwen2.5-v1.0-GGUF仓库中的sakura-14b-qwen2.5-v1.0-q6k.gguf
我想自己去量化
Transformers现已支持GGUF模型去量化，使用AutoModelForCausalLM.from_pretrained加载GGUF模型即可
好用吗？
使用Q6K模型去量化，模型精度远低于F16，对于推理产生的结果未进行测试。
其他问题
去量化后发现tokenizer的词表发生变化，不知道是否会对使用产生影响，你可以使用QWEN2.5模型中的词表替换这部分数据。
- Task
- Text Generation
- Type
- qwen2
- License
- cc-by-nc-sa-4.0
- Languages
- ja, zh
- Created
- Nov 26, 2024
- Updated
- Nov 26, 2024