Downloads · 30 days
29
16% of all-time downloads
hhim8826/qwen3-asr-lora-ja-anime-v3
qwen3-asr-lora-ja-anime-v3 is a automatic speech recognition model from hhim8826. Use it when you need speech turned into text. It is set up for peft. The card lists the license as other.
Qwen/Qwen3-ASR-1.7B-hf 的 LoRA 微調版本, 針對日文動漫/視覺小說配音的說話風格、語氣詞、標點慣例與角色專有名詞做適應。 訓練資料為 hhim8826/japanese-anime-speech-v2-split。
Downloads · 30 days
29
16% of all-time downloads
All-time downloads
180
Public
Repo size
81.2 MB
Likes
1
Public
Click a slice to open those files.
.safetensors69.8 MB · 86%
From the Hugging Face model README
Qwen/Qwen3-ASR-1.7B-hf 的 LoRA 微調版本, 針對日文動漫/視覺小說配音的說話風格、語氣詞、標點慣例與角色專有名詞做適應。 訓練資料為 hhim8826/japanese-anime-speech-v2-split。
音訊編碼器(audio_tower)維持凍結,只微調語言模型的 attention 與 MLP 投影層。
請用 beam search(
num_beams=4)。這不只是為了準確度 —— 貪婪解碼在少數非語言發聲上會陷入重複迴圈,把 raw CER 從 0.18 拉到 0.28。 beam search 從根本消除了這個問題(詳見「解碼設定」)。
測試集:japanese-anime-speech-v2-split 的 test split 隨機抽 100 筆(seed 42)。
Base 與 LoRA 使用同一個 GenerationConfig 物件(num_beams=4、無任何懲罰項、
無早停),跑前比對設定指紋與逐筆 prompt token hash,確認差異只來自模型權重。
| raw CER | normalized CER | yomi CER | |
|---|---|---|---|
| Base(未微調) | 0.2914 | 0.1856 | 0.1290 |
| 本 adapter | 0.1813 | 0.1349 | 0.0927 |
| 相對改善 | −37.8% | −27.3% | −28.2% |
逐筆配對(normalized):38 筆變好 / 15 筆變差 / 47 筆持平。
日文 ASR 只看一個 CER 會把不同性質的錯誤混在一起,所以分三層報告:
擬聲/語氣詞(逐字稿不含漢字者)的「正確答案」本身是編劇的任意選擇 ——
ふぅんううっ 和 ふぇぇんっ 聽起來一樣,寫哪個都不算錯,但 CER 會算你錯。
這類樣本只佔 15% 的字數卻吃掉約 32% 的錯誤,混在一起報會稀釋真實的改善幅度:
| 一般台詞(n=74, 1777 字) | raw | normalized | yomi |
|---|---|---|---|
| Base | 0.2324 | 0.1415 | 0.0848 |
| 本 adapter | 0.1452 | 0.1010 | 0.0585 |
| 擬聲/語氣詞(n=26, 313 字) | raw | normalized | yomi |
|---|---|---|---|
| Base | 0.6262 | 0.4699 | 0.4659 |
| 本 adapter | 0.3866 | 0.3534 | 0.3534 |
一般台詞上,讀音層與字形層都有改善:讀音 0.0848 → 0.0585(−31%), 字形(normalized − yomi)0.0567 → 0.0425(−25%)。
num_beams 掃描(本 adapter,同一組 100 筆):
| num_beams | raw | normalized | yomi | 備註 |
|---|---|---|---|---|
| 1(貪婪,無早停) | 0.2794 | 0.2089 | 0.1570 | 2 筆陷入重複迴圈 |
| 1(貪婪 + 重複早停) | 0.1923 | 0.1446 | 0.1025 | |
| 2 | 0.1871 | 0.1392 | 0.0959 | |
| 4(建議) | 0.1813 | 0.1349 | 0.0927 | raw 最佳 |
| 8 | 0.1823 | 0.1344 | 0.0894 | 讀音最佳,但 raw 反而變差 |
建議num_beams=4:raw 最佳,normalized 只輸 beam 8 千分之 0.5,成本卻是一半。
只在乎讀音正確(例如語音檢索)才考慮 8 —— 但注意 beam 8 的字形層反而退步
(0.0425 → 0.0450),搜尋變寬後模型偏向語言模型認為更通順的寫法。
beam search 只對微調後的模型有效。Base 從貪婪換到 beam 4 幾乎沒有變化 (raw 0.2880 → 0.2914),因為它的主要錯誤是「對非語言音訊輸出空字串」, 那是模型有信心的選擇,加寬搜尋救不回來。
import torch
from peft import PeftModel
from transformers import AutoProcessor, AutoModelForMultimodalLM
BASE = "Qwen/Qwen3-ASR-1.7B-hf"
ADAPTER = "hhim8826/qwen3-asr-lora-ja-anime-v3"
processor = AutoProcessor.from_pretrained(ADAPTER)
# dtype:Turing(T4、sm_75)沒有 bf16 tensor core,用 fp16 才有加速。
# torch.cuda.is_bf16_supported() 從 PyTorch 2.4 起會把「模擬支援」也算成 True,不可信。
cc = torch.cuda.get_device_capability()
dtype = torch.bfloat16 if cc[0] >= 8 else torch.float16
model = AutoModelForMultimodalLM.from_pretrained(BASE, dtype=dtype, device_map={"": 0})
model = PeftModel.from_pretrained(model, ADAPTER)
model.eval()
inputs = processor.apply_transcription_request(
audio="path/to/audio.wav", language="Japanese"
)
inputs = {k: v.to(model.device) for k, v in inputs.items()}
prompt_len = inputs["input_ids"].shape[1]
with torch.autocast(device_type="cuda", dtype=dtype), torch.no_grad():
generated = model.generate(
**inputs,
max_new_tokens=200,
do_sample=False,
num_beams=4, # 重要:貪婪解碼會在少數樣本上陷入重複迴圈
early_stopping=True,
)
text = processor.tokenizer.decode(generated[0, prompt_len:], skip_special_tokens=True)
print(text.split("<asr_text>", 1)[-1].strip())
音訊需為 16 kHz。長音檔建議先用 VAD(例如 Silero VAD)切段後逐段轉錄。
貪婪解碼在非語言發聲(喘息等)上會陷入重複迴圈 —— 100 筆中有 1 筆輸出膨脹到參考文本的 10 倍長(連續 66 次重複), 單這一筆就佔了全部錯誤的一半。這時需要自訂停止條件:
from transformers import StoppingCriteria, StoppingCriteriaList
class RepeatLoopStoppingCriteria(StoppingCriteria):
"""同一段 token 連續重複超過 K 次就停止生成。
只在「超過 K 次」時介入,K 次以內完全不干預,所以資料集裡
合法的重複(これと、これと、これと)不會被砍掉。
"""
def __init__(self, prompt_len: int, max_repeat: int = 6, max_n: int = 8):
self.prompt_len, self.K, self.max_n = prompt_len, max_repeat, max_n
def _row_loops(self, seq) -> bool:
for n in range(1, self.max_n + 1):
need = n * self.K
if seq.shape[0] < need:
return False
tail = seq[-need:]
if bool((tail.reshape(self.K, n) == tail[:n]).all()):
return True
return False
def __call__(self, input_ids, scores, **kwargs) -> bool:
rows = input_ids[:, self.prompt_len:]
return all(self._row_loops(rows[i]) for i in range(rows.shape[0]))
# generate(..., num_beams=1,
# stopping_criteria=StoppingCriteriaList(
# [RepeatLoopStoppingCriteria(prompt_len, max_repeat=6)]))
不要改用 repetition_penalty 或 no_repeat_ngram_size。這個資料集本身就有大量
合法重複(これと、これと、これと / はぁっ…はぁっ…はぁっ),那兩個參數是全域性的,
會把正確答案一起砍掉。
Qwen/Qwen3-ASR-1.7B-hf^(?!.*audio_tower).*\.(q_proj|k_proj|v_proj|o_proj|gate_proj|up_proj|down_proj)$
(?!.*audio_tower) 是必要的:audio encoder 內也有同名的 q_proj / k_proj / v_proj,
只能靠路徑排除,否則會誤傷凍結的音訊編碼器0:224;謀反は晴景さまを…)test split 尾段,與評測抽樣區間錯開)
上實際做貪婪解碼並計算 normalized CER,取最低者。
本版本釋出的是 step 7500 / 9988(dev normalized CER 0.1144);
訓練到最後一步反而退步到 0.1290。用
eval_loss挑 checkpoint 在這個任務上會挑錯 —— teacher forcing 的 loss 看不到自迴歸生成時的重複迴圈。早期版本就出現過 loss 一路下降、CER 反而變差的情況。
はい → あ…はい、さん? → そう?。100 筆中 21 筆參考長度 ≤ 6 字,
這些樣本的 CER 分母很小,一兩個字的差異就是 50%。親玉 → オヤダマ。| 版本 | LoRA 範圍 | raw CER | 說明 |
|---|---|---|---|
| v1 | attention | 0.2014 | 2 epochs、lr 1.5e-4(貪婪 + 重複早停) |
| v2 | attention | 0.2048 | 從 v1 暖啟動再訓練,無實質改善 |
| v3 | attention + MLP | 0.1813 | 本版本(beam 4) |
v2 的結論是:只微調 attention 的 LoRA 已經收斂,再餵同樣的資料不會有進展。 改動 target_modules 需要重新訓練(adapter 形狀不同,無法暖啟動)。
訓練資料集 japanese-anime-speech-v2-split 授權為 GPL,
使用或散布本 adapter 前請自行確認授權相容性。