bart-large-chinese-LCSTS

Model Card for LoRA Fine-tuned Chinese BART

这是一个基于 fnlp/bart-large-chinese 模型进行 LoRA 微调的中文摘要模型，训练任务为中文新闻标题或摘要生成，适用于中文短文本压缩和提炼。

Model Details

Model Description

本模型使用 PEFT 框架对 fnlp/bart-large-chinese 进行参数高效微调，采用了 LoRA（Low-Rank Adaptation）技术，仅调整注意力中的部分权重矩阵，使得训练过程更轻量。

• Developed by: [Your Name or Organization]
• Model type: Seq2Seq（BART）
• Language(s): Chinese
• License: Same as base model (assumed Apache 2.0, verify if needed)
• Finetuned from model: fnlp/bart-large-chinese

Uses

Direct Use

可用于中文摘要任务，如新闻标题生成、内容压缩等。

Out-of-Scope Use

不适用于多语言摘要、多文档总结或事实一致性要求极高的任务。

Bias, Risks, and Limitations

该模型基于公开中文数据集进行训练，可能在处理敏感内容、歧视性语言或特定社会群体时存在偏差。

Recommendations

建议仅在清洗干净的中文文本数据上使用该模型，避免用于决策支持或敏感领域。

How to Get Started with the Model

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
from peft import PeftModel

base_model = AutoModelForSeq2SeqLM.from_pretrained("fnlp/bart-large-chinese")
peft_model = PeftModel.from_pretrained(base_model, "your-username/your-model-name")
tokenizer = AutoTokenizer.from_pretrained("fnlp/bart-large-chinese")

inputs = tokenizer("据报道，苹果将在下月发布新款iPhone。", return_tensors="pt")
summary_ids = peft_model.generate(**inputs, max_length=30)
print(tokenizer.decode(summary_ids[0], skip_special_tokens=True))

Training Details

Training Data

微调数据来自预处理后的中文新闻摘要数据集（如LCSTS），分为训练集与验证集，并使用了 datasets 库保存和加载。

Training Procedure

Preprocessing

• 使用 HuggingFace tokenizer 编码输入/输出文本
• 设置 max_source_length 和 max_target_length

Training Hyperparameters

• Epochs: 4
• Batch Size: 64
• Learning Rate: 2e-5
• Evaluation Steps: 5000
• Save Steps: 10000
• Precision: fp16
• LoRA Config: r=8, alpha=16, dropout=0.1
• Target Modules: q_proj, v_proj

Evaluation

Testing Data

使用与训练集相同来源的 held-out 验证集。

Metrics

使用 ROUGE-1 / ROUGE-2 / ROUGE-L 评估自动摘要质量，中文评估按“字”或“词”颗粒度使用 jieba 分词。

Results

示例结果：