PENG-Qwen3.5-2B

蜀农 · PENG — Qwen3.5-2B 农业领域 QLoRA 微调版

基于 Qwen3.5-2B 多模态基础模型，使用真实业务对话数据，通过 QLoRA 低资源微调得到的农业领域对话模型。

模型概览

模型定位

本模型是面向农业科技领域的垂直对话模型，基于农业科技创业团队的真实业务讨论数据微调，聚焦以下能力：

• 农业技术问答：种植、养殖、病虫害防治、智能灌溉、植保无人机、农业传感器等

模型架构

继承 Qwen3.5-2B 官方架构，未改动结构，仅通过 LoRA 适配器注入领域知识：

• 架构类型：Qwen3_5ForConditionalGeneration（因果语言模型 + 视觉编码器）
• 文本主干：24 层 Transformer，隐藏维度 2048
• 注意力混合：Gated DeltaNet 线性注意力 + 全注意力（6 组 × [3 线性注意力 + 1 全注意力]）
• 词表大小：248,320（含图像/视频特殊 token）
• 上下文长度：262,144（原生）
• 视觉模块：24 层 ViT（patch 16 × 16），支持图像与视频输入

微调方法

采用 QLoRA（4-bit 量化 + 低秩适配）在单张 GTX 1080 Ti（11 GB）上完成训练，兼顾效果与硬件可行性：

• 基座加载：4-bit 量化（load_in_4bit=True），fp16 计算精度（1080 Ti 不支持 bf16）
• LoRA 配置：r=16，alpha=16，dropout=0.0，bias=none
• 注入模块：q_proj / k_proj / v_proj / o_proj / gate_proj / up_proj / down_proj（注意力 + FFN 全部线性层）
• 训练框架：unsloth FastLanguageModel + TRL SFTTrainer
• 梯度优化：gradient checkpointing + 8-bit AdamW

训练超参数

文本微调（主训练）

局限性

• 未做标准化评测：当前未进行 MMLU、C-Eval 等基准测试，也未与基座做系统性的领域效果对比，建议在真实场景中验证后再上线。
• 幻觉风险：模型可能生成看似合理但未经核实的农业技术细节，重要决策需人工复核。

参考与致谢

• 基座模型：Qwen3.5-2B（Apache-2.0）
• 微调框架：unsloth、TRL、PEFT

---