common-voice-uyghur-v24

Common Voice 维吾尔语数据集 v24.0

数据集概述

• 语言: 维吾尔语 (Uyghur / UG)
• 版本: Common Voice 24.0 (2025-12-05)
• 压缩包大小: 9.7 GB
• 解压后大小: ~20 GB (音频 11GB + 元数据)
• 数据集类型: 众包语音数据集
• 许可证: CC0 1.0 Universal (公共领域)

目录结构

common_voice_ug/
├── mcv-scripted-ug-v24.0.tar.gz    # 原始压缩包 (9.7GB)
└── cv-corpus-24.0-2025-12-05/
    └── ug/                          # 维吾尔语数据
        ├── clips/                   # MP3音频文件 (11GB, 305,081个文件)
        ├── train.tsv                # 训练集 (122,911条)
        ├── dev.tsv                  # 开发集 (14,656条)
        ├── test.tsv                 # 测试集 (14,656条)
        ├── validated.tsv            # 已验证数据 (269,390条)
        ├── validated_sentences.tsv  # 句子库 (231,426条)
        ├── clip_durations.tsv       # 音频时长 (305,081条)
        ├── invalidated.tsv          # 无效数据 (21,500条)
        ├── other.tsv                # 其他数据 (14,191条)
        ├── reported.tsv             # 举报数据 (1,539条)
        └── unvalidated_sentences.tsv # 未验证句子 (11,032条)

数据统计

数据划分

音频统计

年龄分布 (validated.tsv)

性别分布 (validated.tsv)

数据格式

TSV文件结构

音频文件命名规则

common_voice_ug_{数字ID}.mp3
例如: common_voice_ug_38668292.mp3

质量标准

数据通过社区投票机制保证质量：

• ✅ up_votes ≥ 2: 至少2人认可录音质量
• ✅ down_votes = 0: 无人反对（部分数据可能有1个down_vote但仍被接受）
• ✅ locale = ug: 确认为维吾尔语
• ✅ sentence 非空: 有对应的文本转录

使用场景

1. 语音识别 (ASR): 训练维吾尔语语音转文字模型
2. 语音合成 (TTS): 训练文字转语音模型
3. 语言学研究: 分析维吾尔语语音特征、音系学
4. 低资源语言研究: 低资源语言模型训练与评估
5. 多语言模型: 多语言语音识别模型训练

示例数据

示例 1

client_id: 0432a01b98294eb29faf664bb81eb0340a2a5645...
audio: common_voice_ug_38668292.mp3
text: بۇ چوقۇم بىر ئالدامچىلىق، ئالدىرىما، مەن بېرىپ قاراپ باقاي.
       (这一定是个骗局，别急，我去看看。)
up_votes: 2
down_votes: 1
age: (未标注)
gender: (未标注)

示例 2

client_id: 04455100eeff4b339507fd06d6bc4fff5f6a4f3da0d1e8bb662fb8541425d7a9...
audio: common_voice_ug_39704025.mp3
text: ئۈچىنچى ئادەت، مۇھىم ئىشنى ئالدىدا قىلىش.
       (第三个习惯，重要的事情先做。)
up_votes: 2
down_votes: 0
age: (未标注)
gender: (未标注)

示例 3

client_id: 12b431b35706af75277461b62923c2d758349e2d0c96e36760e1532e0f583c96...
audio: common_voice_ug_36990048.mp3
text: بىر نەرسىگە پۈتۈن ۋۇجۇدۇڭ بىلەن بېرىلسەڭ پۈتۈن دۇنيا ساڭا ياردەم بېرىدۇ.
       (如果你全身心投入一件事，全世界都会帮助你。)
up_votes: 2
down_votes: 0
age: (未标注)
gender: (未标注)

数据特点

1. 同一说话者多段录音: 相同的 client_id 表示同一人录制了多条音频
2. 质量分层: 通过 validated / invalidated / other 区分数据质量
3. 多样性: 覆盖不同年龄、性别、口音的说话者
4. 真实场景: 来自志愿者贡献的真实语音，非专业录音棚环境
5. 众包验证: 通过社区投票机制确保数据质量

下载与使用

从HuggingFace下载

# 安装huggingface-hub
pip install huggingface-hub

# 下载整个仓库
huggingface-cli download anke01/common-voice-uyghur-v24 --local-dir ./common-voice-uyghur-v24

# 或仅下载压缩包
wget https://huggingface.co/anke01/common-voice-uyghur-v24/resolve/main/mcv-scripted-ug-v24.0.tar.gz

解压数据

tar -xzf mcv-scripted-ug-v24.0.tar.gz

加载数据 (Python示例)

import pandas as pd

# 读取训练集
train_df = pd.read_csv('cv-corpus-24.0-2025-12-05/ug/train.tsv', sep='\t')

# 读取验证集
validated_df = pd.read_csv('cv-corpus-24.0-2025-12-05/ug/validated.tsv', sep='\t')

print(f"训练集大小: {len(train_df)}")
print(f"已验证数据大小: {len(validated_df)}")

数据来源与引用

• 项目: Mozilla Common Voice
• 官网: https://commonvoice.mozilla.org
• 数据集页面: https://commonvoice.mozilla.org/en/datasets
• 许可证: CC0 1.0 Universal

引用格式

@misc{commonvoice2025,
  title = {Common Voice Corpus 24.0},
  author = {{Mozilla Foundation}},
  year = {2025},
  month = {12},
  howpublished = {\url{https://commonvoice.mozilla.org/}},
  note = {Accessed: 2026-02-28}
}

注意事项

1. 数据质量: 虽然经过社区验证，但仍可能存在少量错误转录或背景噪音
2. 隐私保护: 所有说话者ID均为匿名哈希值，不包含个人身份信息
3. 语言代码: 使用 ug 表示维吾尔语 (Uyghur)
4. 音频格式: 所有音频为 MP3 格式，32kHz 采样率，单声道
5. 数据平衡: 年龄和性别分布不均衡，使用时需注意采样策略

更新日志

• 2025-12-05: Common Voice 24.0 发布
• 2026-02-28: 上传至 HuggingFace (anke01/common-voice-uyghur-v24)

---

数据集统计验证日期: 2026-02-28