Qwen3.8-27B-chinese-taste-lora

<div align="center" style="background: linear-gradient(135deg, #1a2a6c 0%, #b21f1f 50%, #fdbb2d 100%); border-radius: 18px; padding: 32px 20px; margin: 10px 0 26px;"> <h1 style="color: #ffffff; font-size: 3.4em; margin: 0; line-height: 1.25; text-shadow: 0 3px 10px rgba(0,0,0,.45);">✨ 新版本已发布 ✨</h1> <p style="color: #ffe9b0; font-size: 1.45em; margin: 16px 0 4px; font-weight: 700;">Qwen3.8-27B-chinese-taste-<span style="color:#fff">SFT</span>-lora</p> <p style="color: #ffffff; font-size: 1.15em; margin: 6px 0 0;">SFT 指令版 · 中文小说语感全面升级（8000 万字作家语料 · 提示词多样性 78 万+ 组合）</p> <a href="https://huggingface.co/Moeblack/Qwen3.8-27B-chinese-taste-sft-lora" style="display:inline-block; margin-top:18px; padding: 12px 34px; background:#ffffff; color:#b21f1f; font-size:1.2em; font-weight:800; border-radius:999px; text-decoration:none; box-shadow:0 4px 14px rgba(0,0,0,.3);">前往新仓库 →</a> </div>

Qwen3.8-27B Chinese Taste LoRA（中文语感 LoRA）

基于 Qwen3.8-27B 的领域适配预训练 LoRA，语料为中文小说风格文本（52 章，约 111 万字符）。

目标：让模型获得「地道中文小说的语感」（taste）——句子节奏、比喻方式、叙事质感。训练完成后模型写中文场景时带有自然的网络小说质感，普通问答也会带出口语化的地道表达。

训练说明：使用 NVIDIA RTX Pro 6000（96GB）训练约 210 分钟（8 epochs，含 20 分钟一次的中间态存档），训练峰值显存约 80GB（BF16 全精度 + 梯度检查点）。

为什么是 step-102（而不是 final）

训练 8 epochs（176 优化步），本仓库选用 step-102（58% 训练量，loss 2.55） 为主力版本：

• 判别测试：40 条「地道中文 vs 翻译腔」判断题（正例=中文小说地道语句，负例=英文小说逐句直译的典型翻译腔）
• 峰值平台在 58-68% 训练量；超过 77% 后进入过拟合（背诵）区，判别力回落至基座水平
• 人工生成对比中 step-102 为「风格浓度与自然度」最佳平衡点

step-102 与 step-119

两者判别测试持平（正例识别均为 35%，同处峰值平台），生成对比也未分出明显优劣。两个版本都提供，按个人偏好选择即可。

训练详情

文件清单

使用方式

llama.cpp（推荐——推理）

step-102：

llama-server -m Qwen3.8-27B-ABLITERATED-Q4_K_M.gguf \
  --lora qwen3.8-27b-cn-taste-q8_0.gguf \
  -ngl 99 -c 262144 --reasoning on

step-119（味道更浓）：

llama-server -m Qwen3.8-27B-ABLITERATED-Q4_K_M.gguf \
  --lora qwen3.8-27b-cn-taste-step-119-q8_0.gguf \
  -ngl 99 -c 262144 --reasoning on

transformers / PEFT

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3.8-27B", torch_dtype="bfloat16")
model = PeftModel.from_pretrained(model, "Moeblack/Qwen3.8-27B-chinese-taste-lora")  # step-102 默认
# model = PeftModel.from_pretrained(model, "Moeblack/Qwen3.8-27B-chinese-taste-lora", adapter_name="119",
#                                  subfolder="step-119")  # 需要时用 119

实测效果

同一问题，基座 vs LoRA 的对比（普通问答场景，非创作）：

问：太阳来自哪里？

基座回答带着「并不是……它是……」的英文转折结构（It's not... it's... 直译痕迹）；LoRA 版直接自然、口语松弛。

说明

• 训练语料为网络整理文本，可能存在少量错字
• 本 LoRA 面向中文小说风格创作与中文语感增强，生成内容属虚构创作范畴