chinese-harm-sbert-clustering

基于 SBERT 的中文安全数据集聚类模型

ChineseHarm-bench × BGE-small-zh-v1.5 × 5种聚类算法对比

📋 项目概述

使用 Sentence-BERT (SBERT) 对浙大NLP的 ChineseHarm-bench 中文有害内容数据集进行无监督聚类分析。

📊 数据集信息

🔧 完整流程 (6步)

第一步: 数据加载与探索性分析 (EDA)
  → 类别分布、文本长度分析、样本展示

第二步: SBERT 句向量编码
  → BAAI/bge-small-zh-v1.5, 512维, L2归一化

第三步: 多种聚类算法
  → KMeans / MiniBatchKMeans / Agglomerative / DBSCAN / Community Detection

第四步: 聚类质量评估
  → V-measure / NMI / ARI / Silhouette / Homogeneity / Completeness

第五步: 降维可视化
  → PCA + t-SNE 二维散点图

第六步: 聚类结果深度分析
  → 混淆矩阵热力图、各簇类别组成、代表性样本

📈 实验结果

最佳算法: MiniBatchKMeans (V-measure = 0.4941)

🚀 快速开始

# 1. 安装依赖
pip install sentence-transformers scikit-learn datasets matplotlib numpy pandas seaborn

# 2. 运行
python chinese_harm_clustering.py

📁 输出文件

运行后生成 output/ 目录:

• embeddings.npy — 15515×512 句向量矩阵
• 01_true_labels_visualization.png — PCA/t-SNE 真实标签可视化
• 02_clustering_comparison_tsne.png — 4种聚类算法 t-SNE 对比
• 03_confusion_matrix.png — KMeans 混淆矩阵热力图
• 04_metrics_comparison.png — 6种评估指标柱状图对比

💡 模型替换

GPU 环境下可替换为更强模型以获得更好效果:

# 将代码中的模型名替换为:
model_name = "BAAI/bge-large-zh-v1.5"  # 1024维, C-MTEB 63.97
# 或
model_name = "BAAI/bge-m3"             # 1024维, 多语言, 8192 tokens

📄 引用

数据集论文:

@misc{liu2025chineseharmbenchchineseharmfulcontent,
      title={ChineseHarm-Bench: A Chinese Harmful Content Detection Benchmark},
      author={Kangwei Liu and Siyuan Cheng and others},
      year={2025},
      eprint={2506.10960},
      archivePrefix={arXiv}
}