yunhebisai

政务问答系统

这是一个基于检索增强生成（RAG）的政务领域智能问答系统，结合了向量检索和大语言模型微调技术。

📋 目录结构

7/
├── solver.py              # 主推理脚本（RAG问答）
├── train.py               # LoRA微调训练脚本
├── vllm_service.sh        # vLLM服务启动脚本
├── data/                  # 数据目录
│   ├── data/             # 检索语料库
│   ├── test.xlsx         # 测试集
│   └── train.parquet     # 训练数据
└── models/               # 模型目录
    ├── Qwen3-Embedding-0.6B/  # 向量嵌入模型
    └── trained_llm/           # 微调后的LLM

🚀 功能特性

核心功能

1. 文档检索系统

   • 支持多格式文档自动提取（PDF、Word、TXT等）
   • 智能文本分块（chunk size: 2304，overlap: 512）
   • 基于向量相似度的高效检索

2. 大模型推理

   • 基于LoRA微调的政务领域模型
   • vLLM高性能推理加速
   • 支持多卡并行部署

3. 模型训练

   • LoRA低秩自适应微调
   • 标签平滑正则化
   • 自动数据集划分和预处理

🔧 环境要求

• Python 3.8+
• CUDA 11.8+
• PyTorch 2.0+
• 至少 2x GPU（推荐24GB+ 显存）

依赖安装

pip install torch vllm openai pandas openpyxl docx textract
pip install transformers peft datasets langchain-text-splitters tqdm

📖 使用指南

第一步：准备数据

1. 准备检索语料库

   • 将所有文档放入 data/data/ 目录
   • 支持格式：.pdf, .docx, .txt 等
   • 系统会自动并行加载和处理

2. 准备测试集

   • 测试文件：data/test.xlsx
   • 必需列：ID, question

3. （可选）准备训练数据

   • 训练文件：data/train.parquet
   • 必需列：system, instruction, output

第二步：（可选）模型微调

如果需要对模型进行微调：

python train.py \
    --dataset data/train.parquet \
    --base-model models/trained_llm \
    --output models/output/checkpoints \
    --max-samples 90000 \
    --max-length 2200 \
    --batch 2 \
    --grad-accum 3 \
    --lr 2.1e-4 \
    --steps 1000 \
    --seed 5150

参数说明：

• --dataset: 训练数据路径
• --base-model: 基础模型路径
• --output: 输出检查点目录
• --max-samples: 最大训练样本数
• --max-length: 最大序列长度
• --batch: 每设备批次大小
• --grad-accum: 梯度累积步数
• --lr: 学习率
• --steps: 训练步数

LoRA配置：

• Rank (r): 20
• Alpha: 40
• Dropout: 0.09
• Target Modules: q_proj, k_proj, v_proj, o_proj

第三步：启动vLLM服务

在运行推理之前，需要先启动vLLM服务：

bash vllm_service.sh

服务配置：

• GPU: 1,2（双卡并行）
• 模型：../models/trained_llm
• 服务名称：trained
• 张量并行度：2
• 最大模型长度：9216
• GPU内存利用率：0.8
• 监听地址：http://localhost:8000/v1

注意：确保端口 8000 未被占用

第四步：运行问答推理

启动vLLM服务后，在另一个终端运行：

python solver.py --task_type 政务

推理流程：

1. 加载检索语料库（并行处理）
2. 文本分块和向量化
3. 为每个测试问题检索Top-K相关文档（K=3）
4. 基于检索结果生成答案（异步并发处理）
5. 保存结果到 result.csv

核心参数：

• Chunk Size: 2304
• Chunk Overlap: 512
• Top-K检索: 3
• 最大并发数: 12
• 嵌入模型GPU利用率: 0.15

第五步：查看结果

推理完成后，结果保存在：

result.csv

输出格式：

⚙️ 配置调优

检索参数

在 solver.py 中修改全局常量：

DEFAULT_CHUNK_LENGTH = 2304   # 文本块大小
DEFAULT_OVERLAP_SIZE = 512    # 重叠大小
TOP_K_DOCS = 3                # 检索文档数量
THREAD_POOL_SIZE = 12         # 并发线程数

提示词模板

修改 ConfigManager 中的提示词格式：

self._prompt_fmt = "问题:\n{question}\n\n参考以下文档来回答:\n{docs}"

vLLM服务

编辑 vllm_service.sh 调整：

• --tensor-parallel-size: 张量并行度
• --max-model-len: 最大上下文长度
• --gpu-memory-utilization: GPU内存使用率

🔍 工作原理

RAG流程

graph LR
A[用户问题] --> B[向量化查询]
B --> C[检索Top-K文档]
C --> D[构建提示词]
D --> E[LLM生成答案]
E --> F[后处理输出]

技术栈

• 向量检索: Qwen3-Embedding-0.6B
• LLM: 微调后的Qwen3-8B
• 推理框架: vLLM（高性能推理）
• 微调方法: LoRA（低秩自适应）
• 文本处理: LangChain Text Splitters

📊 性能优化

1. 并行处理

   • 文档加载：ThreadPoolExecutor（16线程）
   • 问答生成：异步并发（12任务）

2. 内存管理

   • 嵌入模型GPU利用率：15%
   • vLLM推理GPU利用率：80%

3. 推理加速

   • vLLM连续批处理
   • 张量并行（2卡）
   • 异步API调用

⚠️ 注意事项

1. GPU资源：推荐使用2张24GB以上显存的GPU
2. 端口冲突：确保8000端口可用
3. 数据路径：检查 data/ 和 models/ 路径是否正确
4. 编码问题：CSV文件支持多种编码自动检测
5. 文件格式：跳过不支持的格式（如.wps）

🐛 常见问题

Q1: vLLM服务启动失败？

• 检查CUDA版本和GPU驱动
• 确认模型路径正确
• 查看显存是否充足

Q2: 推理速度慢？

• 增加 THREAD_POOL_SIZE 和 max_workers
• 调整vLLM的 --tensor-parallel-size
• 减少 TOP_K_DOCS 数量

Q3: 内存不足？

• 减小 DEFAULT_CHUNK_LENGTH
• 降低 --gpu-memory-utilization
• 减少并发任务数

Q4: 答案质量不佳？

• 调整检索参数（Top-K, chunk size）
• 优化提示词模板
• 增加训练数据进行微调

📝 更新日志

• v1.0: 初始版本，完整RAG+微调pipeline
• 优化向量检索效率
• 支持异步并发推理

📄 许可证

本项目仅供研究和学习使用。

---

作者: 政务问答团队
联系: 如有问题请查阅日志文件或联系维护人员