Qwen3-14b-reuters21578

模型性能对比报告

1. 核心指标对比

下表汇总了两个模型在关键评估指标上的表现。

分析结论: 从所有核心指标来看，模型 B 全面胜出。

• 子集准确率 提升了约 54%（从 0.1676 到 0.2584），这是一个非常显著的进步，因为该指标要求所有标签都预测正确，非常严格。
• 所有 F1 分数（微观、宏观、加权）也都有明显提升，表明模型 B 在查准率（Precision）和查全率（Recall）之间取得了更好的平衡。
• 汉明损失 降低了约 28%（从 0.0389 到 0.0281），意味着模型 B 在单个标签上的预测错误更少。

---

2. “未知标签” 生成情况分析

“未知标签” (Unknown Labels) 指的是模型生成了不在预定义标签列表中的标签。这是评估模型是否严格遵循指令的重要参考。

• 模型 A: 生成了大量未知标签。其中一个特别的未知标签是 []，出现了 284 次。这通常意味着模型在很多情况下未能生成任何有效的标签，直接输出了一个空列表。此外，它还生成了大量无意义的字母（如 "n" 33次, "d" 26次）和包含指令性文本的标签。

• 模型 B: 同样生成了未知标签，但没有出现 [] 这样的空标签。最常见的未知标签是 (1) acq（203次），这可能是模型在学习过程中产生的某种格式偏见。虽然这也是问题，但相比模型 A 直接“放弃作答”的情况要好一些。

分析结论: 模型 B 在遵循指令、生成有效标签方面的能力更强。它没有像模型 A 那样频繁地生成空结果，显示出更好的稳定性和任务理解能力。

---

综合评估

模型 B (Qwen3-14B-reuters21578-multilabel) 是两个模型中表现更优越的一个。

• 精度更高: 所有定量指标都远超模型 A，无论是在严格的完全匹配（子集准确率）还是在整体的 F1 分数上。
• 稳定性更好: 模型 B 很少生成无效的空标签，而模型 A 有大量的此类输出，这表明模型 B 的输出更可靠。

可以推断，模型 B 更大的参数量（14B）带来了更强的学习和理解能力，使其能够更准确地完成多标签分类任务。