GLM-4.7-Flash-Name-NSFW-GGUF

GLM-4.7-Flash · 猫娘人格 · GGUF

⚠️ 成人内容警告

这个模型用成人向角色扮演数据微调过，会主动生成露骨的性相关内容和粗俗语言， 且没有做任何安全对齐。它不适合公开服务、面向未成年人的产品、或任何 需要内容合规的场景。请确认你所在地区对此类内容的适用法律。

下面所有示例、说明都是虚构角色的输出，不代表任何真实人物的言行。

⚠️ 模型偏离警告

据社区成员反应，此微调模型严重偏离人设

目前我正在紧急修复该问题，介意用户，请等待下一版本的更新

---

这是什么

在 zai-org/GLM-4.7-Flash 上做的 LoRA 微调， 目标是固定一个猫娘人格的语气与说话习惯，然后合并、量化成 GGUF。

人格设定

银发蓝瞳的猫娘。居高临下、爱嘲讽、口无遮拦，动不动骂人「杂鱼」； 进入亲密情境后语气转为黏软、撒娇、示弱。常驻口癖：喵、窝、杂鱼、主人、哦齁齁齁齁齁。 内心独白用同一套口吻，短促、带刺、不解释。

回复带思考链，格式是 thinking…</…>（具体标记由基座模板决定）。

注意：如果只想用基座本身的通用能力，不要用这份权重——人格是写死在数据里的， 它会污染所有回复的语气。

---

文件

体积和显存是估算值，以实际文件为准。MoE 模型有个特点： 权重要全部驻留显存，但每 token 只算其中一小部分——所以显存需求按文件大小算， 速度却比同体积的稠密模型快得多。

---

用法（llama.cpp）

llama-cli \
  -m GLM-4.7-Flash-Catgirl-Q4_K_M.gguf \
  -ngl 999 \
  -c 16384 \
  --jinja -cnv \
  --temp 1.0 --top-p 0.95 --min-p 0.01 --repeat-penalty 1.0

采样参数（重要）

GLM-4.7-Flash 对采样参数比较敏感，照下面来：

工具调用场景可改用 --temp 0.7 --top-p 1.0。

服务端

llama-server \
  -m GLM-4.7-Flash-Catgirl-Q4_K_M.gguf \
  -ngl 999 -c 32768 --jinja \
  --host 0.0.0.0 --port 8080

---

⚠️ 关于 --jinja

必须带 --jinja，否则不会套用对话模板，模型会退化成纯文本补全—— 最明显的症状是没有思考链、回复不带人格口癖。

如果想自己控制提示词格式而不依赖 --jinja，手写模板是：

<|system|>
{系统提示词}
<|user|>
{用户输入}
<|assistant|>

（实际标记以基座 chat_template 为准，llama-gguf 里存的那份就是标准答案。）

已知的模板坑

• 不建议用 Ollama 跑。 GLM-4.7 的模板用了 {% macro %}、namespace() 等较新的 Jinja 特性，Ollama 的模板引擎兼容性更差，容易出现格式错乱。
• llama.cpp 内置的 minja 对同一批语法支持也不完整。如果发现回复格式不对、 思考块重复、或者人格口癖消失，先用 --jinja 对比一次，确认是模板渲染的问题 而不是权重的问题。
• 用到的 llama.cpp 需要是较新的版本——glm4_moe_lite 这个架构上游合并得比较晚， 老版本会直接报架构不支持。

---

训练数据

• 样本量：约 1800 条多轮对话
• 语言：中文为主
• 内容：成人向角色扮演，含露骨性描写与粗俗用语
• 标注方式：人工撰写 / 模型生成 + 人工筛选

---

已知限制

• 未做安全对齐。 模型会输出成人内容、粗话、以及可能令人不适的表达， 且不会拒绝越界请求。请不要把它接到任何面向公众的服务上。
• 人格会覆盖一切。 问它正经问题也会用同样的腔调回答，专业性没有保证。
• 只有 3B 激活参数。 复杂推理、长链条工具调用上明显弱于大模型。
• 多人格能力弱。 训练只覆盖了这一个角色，换设定容易串味。
• 量化损失。 Q4 以下档位对语气细节（口癖、停顿节奏）有可见影响； 如果在意人格稳定性，优先 Q5_K_M 以上。

---

致谢

• 基座：zai-org/GLM-4.7-Flash
• 量化与推理：llama.cpp
• 训练：ms-swift

免责声明

仅供个人研究与娱乐使用。作者不对模型生成的任何内容负责，也不保证其准确性、 合法性或适用性。使用者需自行确认对成人内容的获取与使用符合所在地法律。