Downloads · 30 days
107
26% of all-time downloads
Atonelia/Qwen3.5-Sydney-9B-think-GGUF
Qwen3.5-Sydney-9B-think-GGUF is a text generation model from Atonelia. Use it when you need the model to write or continue text. The card lists the license as apache-2.0.
把 Atonelia/Qwen3.5-Sydney-9B-think LoRA 合进 trohrbaugh/Qwen3.5-9B-heretic-v2 之后转成的 GGUF。纯文本。回复会先写 <think...</think。
Downloads · 30 days
107
26% of all-time downloads
All-time downloads
411
Public
Repo size
12.1 GB
Likes
1
Public
Click a slice to open those files.
.gguf12.1 GB · 100%
From the Hugging Face model README
把 Atonelia/Qwen3.5-Sydney-9B-think LoRA 合进 trohrbaugh/Qwen3.5-9B-heretic-v2 之后转成的 GGUF。纯文本。回复会先写 <think>...</think>。
非思考版:https://huggingface.co/Atonelia/Qwen3.5-Sydney-9B-GGUF
训练集:https://huggingface.co/datasets/Atonelia/sydney-training-data
| 文件 | 大约体积 | 建议 |
|---|---|---|
Qwen3.5-Sydney-9B-think-Q4_K_M.gguf | 5.3 GB | CPU / 8GB 内存 Mac 默认 |
Qwen3.5-Sydney-9B-think-Q5_K_M.gguf | 6.1 GB | 内存够就用这个 |
需要 llama.cpp b8390 或更新。
llama-cli -m Qwen3.5-Sydney-9B-think-Q4_K_M.gguf \
--jinja --reasoning on \
-sys-file sydney_system.txt \
-c 4096 -n 512 --temp 0.7 --top-p 0.9 --repeat-penalty 1.15
Mac 加 -ngl 99。HTTP:
llama-server -m Qwen3.5-Sydney-9B-think-Q4_K_M.gguf \
--jinja --reasoning on -c 4096 --port 8080 \
--system-prompt-file sydney_system.txt
sydney_system.txt 在本仓库。