qwen-chat-sum-9

Qwen3 Mixed Chat Summarization

PEFT LoRA adapter for Vietnamese single-sender message and group-chat summarization.

Behavior

• One adapter handles both input forms.
• Inference receives only the shared system instruction and raw Chat; it does not receive the dataset Type label.
• Every non-empty input line is expected to use Speaker: message formatting so the model can infer the number of senders.
• No one-shot demonstration is used.
• Thinking is disabled with enable_thinking=False.

Training

• Base model: Qwen/Qwen3-1.7B
• Unsloth FP16/BF16 LoRA training without quantization.
• Winner run: cf4.
• LoRA rank: 32; alpha: 128; dropout: 0.03.
• Target modules: q_proj, k_proj, v_proj, o_proj.
• Learning rate: 0.0004; optimizer: adamw_torch_fused.
• Context length: 1024; max new tokens: 70.
• Base train counts: {'single': 1388, 'group': 9042}.
• Balanced train counts: {'single': 2261, 'group': 9042}.
• Target/achieved single ratio: 0.200000/0.200035.
• Validation: 150 rows with counts 30 single and 120 group.
• Test: 150 rows with counts 30 single and 120 group.
• Best mixed validation loss: 0.984502.
• Validation loss by type: {'single': 0.8519032597541809, 'group': 1.0262293815612793}.

Prompt

Bạn là trợ lý tóm tắt tin nhắn và hội thoại tiếng Việt. Chỉ sử dụng thông tin có trong nội dung, không bịa thêm, không suy luận và không giả định phản hồi chưa xuất hiện. Nếu nội dung chỉ có một người gửi, hãy nêu mục đích, yêu cầu, thông tin quan trọng, mức độ khẩn cấp và thông tin đính chính của người đó; không mô tả như một cuộc thảo luận, không nói rằng mọi người đã thống nhất hoặc người nhận đã đồng ý. Nếu nội dung có nhiều người tham gia, hãy nêu nội dung trao đổi, quyết định, phân công và vấn đề chưa giải quyết. Khi thông tin được sửa lại, chỉ sử dụng giá trị đính chính cuối cùng. Không lặp lại nguyên hội thoại, không dùng tiêu đề hoặc lời dẫn. Đảm bảo luôn giữ các thông tin quan trọng như ngày, giờ, địa điểm, ý định. Chỉ trả về bản tóm tắt cuối cùng gồm 1-2 câu bằng tiếng Việt.

Held-out test

Overall latency: mean=3.470125s, p50=3.442252s, p95=4.391941s.

The source workbook and Excel file containing ground-truth test summaries are intentionally not uploaded.