miimo-efficientat-target4

miimo-efficientat-target4

EfficientAT mn10_as 를 4개 음향 이벤트로 파인튜닝한 모델. 2초 클립 단위 분류이고 엣지 디바이스(라즈베리파이) 배포를 염두에 뒀다.

• 클래스: baby_cry, bicycle, glass_break, gunshot
• 백본: mn10_as (MobileNetV3, AudioSet 사전학습) + MLP head
• 입력: 32,000 Hz mono, 2.0초 (64,000 샘플) → AugmentMelSTFT 128 mel
• 학습 데이터: retrina0678/miimo-audio-dataset
• 체크포인트 크기: 17MB

성능 (held-out test, 5-fold)

클래스별 recall (5-fold)

전체 5-fold pooled confusion matrix에서 glass_break → gunshot 오분류가 36건으로 가장 큰 오차 원인이다. 파열음 계열이라 2초 창에서 혼동되는 것으로 보인다.

출처별 recall

파일 구성

best_model.pt        최종 체크포인트 (fold 2, best by macro_recall)
config.json          학습 하이퍼파라미터
labels.json          클래스 순서 / label2id
all_metrics.json     fold별 전체 지표
kfold_summary.csv    fold별 요약
recall_by_source.csv 출처별 recall
report.md            상세 리포트 (혼동행렬 포함)
fold_01..05/         fold별 best.pt + 예측·혼동행렬

best_model.pt 는 dict이고 키는 다음과 같다: model_state_dict, config, labels, label2id, id2label, fold, epoch, val_metrics

사용법

EfficientAT 저장소가 필요하다.

git clone https://github.com/fschmid56/EfficientAT
pip install torch torchaudio huggingface_hub

import sys, torch, torchaudio
from huggingface_hub import hf_hub_download

sys.path.insert(0, "EfficientAT")
from models.mn.model import get_model as get_mn
from models.preprocess import AugmentMelSTFT
from helpers.utils import NAME_TO_WIDTH

ckpt_path = hf_hub_download("retrina0678/miimo-efficientat-target4", "best_model.pt")
ckpt = torch.load(ckpt_path, map_location="cpu", weights_only=False)
labels = ckpt["labels"]                      # ['baby_cry','bicycle','glass_break','gunshot']

model = get_mn(num_classes=len(labels), pretrained_name="mn10_as",
               width_mult=NAME_TO_WIDTH("mn10_as"), head_type="mlp")
model.load_state_dict(ckpt["model_state_dict"])
model.eval()

# 학습과 동일한 전처리 — freqm/timem 은 추론 시 0 으로 둔다
mel = AugmentMelSTFT(n_mels=128, sr=32000, win_length=800, hopsize=320, freqm=0, timem=0)
mel.eval()

wav, sr = torchaudio.load("clip.wav")
if sr != 32000:
    wav = torchaudio.functional.resample(wav, sr, 32000)
wav = wav.mean(0, keepdim=True)[:, :64000]   # mono, 2초

with torch.no_grad():
    logits = model(mel(wav).unsqueeze(1))
    if isinstance(logits, (tuple, list)):
        logits = logits[0]
    probs = logits.flatten(1).softmax(-1)[0]

for lbl, p in sorted(zip(labels, probs.tolist()), key=lambda x: -x[1]):
    print(f"{lbl:<12} {p:.4f}")

학습 설정

데이터 누수 방지: 같은 원본 음원에서 나온 클립은 50% 오버랩 + 증강으로 서로 겹치므로, 클립이 아니라 source_file 단위(group_id)로 분할했다.

클래스 균형

최소 클래스(bicycle 3,747)에 맞춰 클래스당 3,747개로 downsample → 총 14,988 클립.

한계

• 2초 고정창이라 그보다 긴 이벤트의 문맥은 못 본다.
• glass_break recall이 0.936으로 가장 낮고 fold 간 편차(std 0.031)도 크다. gunshot 과의 혼동이 주 원인.
• 학습 데이터가 AI Hub 중심이라 녹음 환경이 다른 실사용 환경에서는 성능이 떨어질 수 있다. recall_by_source.csv 참고.
• 4개 클래스만 다루고, 그 외 소리는 가장 가까운 클래스로 강제 분류된다. 실사용 시 확률 임계값(threshold)을 두고 reject 처리하는 것을 권한다.

라이선스

⚠️ 상업적 이용 불가.

학습 데이터에 ESC-50(CC BY-NC 3.0)과 AI Hub 제공 데이터(재배포 제한)가 포함되어 있다. 이 가중치는 해당 데이터에서 파생되었으므로 원 데이터의 제약을 그대로 승계한다.

• 상업적 용도로는 사용할 수 없다.
• 백본 mn10_as 자체의 라이선스는 EfficientAT 저장소를 따른다.
• 자세한 출처는 데이터셋 카드를 참고.

인용

EfficientAT: F. Schmid, K. Koutini, G. Widmer.
"Efficient Large-Scale Audio Tagging via Transformer-to-CNN Knowledge Distillation." ICASSP 2023.

ESC-50: K. J. Piczak. "ESC: Dataset for Environmental Sound Classification." ACM MM 2015.