ast-megafinetuned-gtzan-v2-0.97score

ast-megafinetuned-gtzan-v2-0.97score

Дообученная версия MIT/ast-finetuned-audioset-10-10-0.4593 на датасете GTZAN для классификации музыкальных жанров.

Достигнутые результаты на eval:

• Accuracy: 0.97 (97%)
• Eval Loss: 0.1872

Описание модели

Audio Spectrogram Transformer (AST) — это трансформер без свёрточных слоёв, работающий напрямую со спектрограммами аудио. Базовая модель предобучена на датасете AudioSet (2M аудиоклипов, 527 классов), затем дообучена на GTZAN.

Применение

Модель классифицирует аудио по 10 музыкальным жанрам: blues, classical, country, disco, hiphop, jazz, metal, pop, reggae, rock.

from transformers import pipeline

classifier = pipeline("audio-classification", model="твой_username/ast-megafinetuned-gtzan-v2-0.97score")
result = classifier("your_audio.wav")
print(result)

Ограничения

• Обучена только на 10 жанрах из датасета GTZAN
• Входное окно — 10 секунд (из 30-секундных клипов берётся случайный фрагмент при обучении, центральный при инференсе)
• GTZAN содержит треки преимущественно западной музыки

Данные

Датасет GTZAN: 999 треков по 30 секунд, 10 жанров, по ~100 треков на жанр. Сплит: 90% train / 10% test, стратифицированный по жанру, seed=42.

Параметры обучения

• Learning rate: 3e-5
• Batch size: 32
• Epochs: 20 (лучшая модель — эпоха 14)
• Optimizer: AdamW Fused (betas=0.9/0.999, eps=1e-8)
• LR Scheduler: Cosine с warmup 10%
• Precision: bf16
• Аугментация: случайный crop 10s окна из 30s клипа
• GPU: NVIDIA RTX 5090

Версии библиотек

• Transformers 5.8.0
• PyTorch 2.11.0
• Datasets 3.6.0
• Tokenizers 0.22.2