Meissa-Qwen2.5-7B-Instruct-gguf

Meissa-Qwen2.5-7B-Instruct-GGUF

本仓库提供 Orion-zhen/Meissa-Qwen2.5-7B-Instruct 的 GGUF 量化版本。

📢 声明 / Disclaimer

我只是一个搬运工。所有模型权重、微调功劳及相关权利均归原作者 Orion-zhen 所有。我进行 GGUF 转换和量化的目的是为了方便广大用户在 Ollama、llama.cpp 等推理框架中开箱即用，省去自行合并分卷及转换的麻烦。

🛠 量化细节 / Quantization Info

• 原始格式: Safetensors (Multi-shards)
• 转换工具: llama.cpp
• 量化精度: Q4_K_M (推荐在 6GB-8GB 显存设备上运行)
• 文件体积: 约 4.36 GB

🚀 快速使用 (Ollama)

你可以通过以下 Modelfile 快速导入：

1. 下载 meissa-q4_k_m.gguf 到本地。
2. 创建一个名为 Modelfile 的文件：

FROM "./meissa-q4_k_m.gguf"
TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
{{ .Response }}<|im_end|>"""
PARAMETER stop "<|im_start|>"
PARAMETER stop "<|im_end|>"

1. 执行命令：ollama create meissa-7b -f Modelfile

⚖️ 许可说明

请遵循原模型的许可协议。