banglasum-qwen3-0.6b

BanglaSum-Qwen3-0.6B — Bengali News Summarization

A LoRA adapter fine-tuned from Qwen/Qwen3-0.6B for abstractive Bengali news summarization, trained on the full Bengali configuration of XL-Sum v2.0.

Fine-tuning was performed with 4-bit QLoRA via TRL SFTTrainer + PEFT, on a single NVIDIA Tesla T4 (16 GB) in Google Colab, resumed across multiple sessions via checkpointing.

• Model Details
• Dataset
• Training Setup
• Evaluation — Before vs. After Fine-tuning
  • Qualitative Examples
• Usage
• Limitations
• Citation / Acknowledgements

Model Details

• Base model: Qwen/Qwen3-0.6B
• Fine-tuning method: QLoRA (4-bit NF4 + LoRA, r=16, alpha=32, all attention + MLP projections)
• Trainable parameters: 10,092,544 (2.62% of 385,941,504 total)
• Framework: TRL SFTTrainer + PEFT + bitsandbytes
• Dataset: csebuetnlp/xlsum — Bengali configuration, XL-Sum v2.0, full dataset
• Task: Bengali news article → abstractive summary
• Hardware: Google Colab, NVIDIA Tesla T4 (16 GB)

Dataset

Qwen3's tokenizer inflates Bengali text substantially — a typical article can expand to several thousand tokens (see distribution below). To guarantee every training example keeps its full reference summary within the model's context window, articles are lead-truncated to 600 tokens before the prompt is built.

Training Setup

Full per-step logs: results/training_log_history.csv.

Evaluation — Before vs. After Fine-tuning

Evaluated on a fixed subset of 100 samples from the held-out test split (never seen during training), using deterministic (greedy) generation for a fair before/after comparison. Exact sample IDs: results/eval_sample_ids.json.

Full numeric results: results/final_metrics_export.json, results/metric_comparison.csv.

Qualitative Examples

✅ Success case (news-39127107)

Article: ভারতের অন্য অঞ্চলেও কোক, পেপসি নিষিদ্ধ করার দাবি জানাচ্ছেন কর্মীরা। স্থানীয় পণ্যের ব্যবহার নিশ্চিত করার জন্যই এই উদ্যোগ গ্রহণ করেছে ব্যবসায়ীরা... Reference: ভারতের দক্ষিণাঞ্চলীয় রাজ্য তামিলনাডুর ব্যবসায়ীরা সেখানে কোকা-কোলা ও পেপসি বিক্রি নিষিদ্ধ ঘোষণা করেছে। Base model: (degenerates into a bulleted list echoing the article instead of summarizing) Fine-tuned: ভারতের তামিলনাডু রাজ্যে কোকা-কোলা ও পেপসি নিষিদ্ধ করার দাবি জানাচ্ছেন কর্মীরা।

❌ Failure case — hallucination (news-46679946)

Article: ইতালিতে অবৈধভাবে খৎনা করানো নিয়ে অনেকের উদ্বেগ রয়েছে। জানা গেছে, মৃত শিশুটির ভাইকেও একই সাথে খৎনা করানো হয়... Reference: ইতালিতে অভিবাসীদের এক কেন্দ্রে একটি দু'বছরের শিশুর খৎনা করানোর সময় অতিরিক্ত রক্তক্ষরণ শুরু হবার ফলে ছেলেটি মারা গেছে। Fine-tuned: ইতালির এক ব্যক্তি খৎনা করার জন্য নিজের সন্তানের ভাইকে গ্রেফতার করেছেন।

The fine-tuned model invents an arrest that isn't in the source article — a clear hallucination, not a paraphrase of the actual event (a child's death during circumcision).

❌ Failure case — repetition (news-45332030)

Article: কেবল কোটিপতি হলেই এসব খাবারের স্বাদ নেয়া যাবে তা নয়। কিন্তু আপনাকে অনেক টাকা জমাতে হবে!... Reference: জাফরানের নাম যদি শুনে থাকেন, এটাও নিশ্চয়ই জানেন যে এটি বিশ্বের সবচেয়ে দামী মশলার একটি... Fine-tuned: আপনি কোন খাবার জমাতে হবেন? কোন খাবার জমাতে হবেন? কোন খাবার জমাতে হবেন?

A clear degenerate-repetition failure — the model loops the same phrase instead of producing content, despite repetition_penalty=1.1 at generation time.

Full predictions (all 100 evaluated samples): results/final_predictions_export.csv.

Usage

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import PeftModel
import torch

BASE_MODEL_ID = "Qwen/Qwen3-0.6B"
ADAPTER_ID = "bhaskar1707/banglasum-qwen3-0.6b"

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True, bnb_4bit_quant_type="nf4",
    bnb_4bit_use_double_quant=True, bnb_4bit_compute_dtype=torch.bfloat16,
)

tokenizer = AutoTokenizer.from_pretrained(ADAPTER_ID)
base_model = AutoModelForCausalLM.from_pretrained(
    BASE_MODEL_ID, quantization_config=bnb_config, device_map="auto", torch_dtype=torch.bfloat16,
)
model = PeftModel.from_pretrained(base_model, ADAPTER_ID)
model.eval()

instruction = "নিচের বাংলা সংবাদটির একটি সংক্ষিপ্ত ও তথ্যসমৃদ্ধ সারাংশ তৈরি করুন।"
article = "..."  # your Bengali news article

messages = [{"role": "user", "content": f"{instruction}\n\nসংবাদ:\n{article}"}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True, enable_thinking=False)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

with torch.inference_mode():
    output_ids = model.generate(**inputs, max_new_tokens=96, do_sample=False, repetition_penalty=1.1)

summary = tokenizer.decode(output_ids[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True)
print(summary)

Limitations

• Qwen3-0.6B has limited native Bengali pretraining coverage; hallucination and degenerate repetition (see failure cases above) are more common than with larger multilingual models.
• Articles are lead-truncated to 600 tokens before summarization — very long articles may lose information beyond that point.
• Evaluated on a fixed 100-sample subset drawn from the same XL-Sum distribution as training; out-of-distribution news sources/styles aren't separately benchmarked.
• Absolute ROUGE/BLEU scores are low in a domain-specific way — a 0.6B model on Bengali is not expected to match large-model summarization quality; the meaningful signal here is the consistent relative improvement over the base model.

Citation / Acknowledgements

• Base model: Qwen/Qwen3-0.6B (Qwen Team)
• Dataset: csebuetnlp/xlsum (Hasan et al., XL-Sum)
• Fine-tuning framework: TRL + PEFT + bitsandbytes

Fine-tuned by Bhaskar Pal