anime-whisper-ggml

anime-whisper-ggml

このモデルは、litagin/anime-whisperをwhisper.cppを使ってggml変換・量子化を行ったモデルです。

推論の動作自体は確認していますが、文字起こし結果がややおかしくなる問題を抱えています（先頭に謎の文字が入るなど）。解決策等分かる方いれば教えてください。

変換手順

大本のモデルであるkotoba-tech/kotoba-whisper-v2.0-ggmlのREADMEを参考に、以下のような手順で変換・量子化しています。

# clone OpenAI whisper and whisper.cpp
git clone https://github.com/openai/whisper
git clone https://github.com/ggerganov/whisper.cpp

# get the models
cd whisper.cpp/models
huggingface-cli download litagin/anime-whisper --local-dir ./anime-whisper

# convert to ggml
python ./convert-h5-to-ggml.py ./anime-whisper/ ../../whisper .
mv ggml-model.bin ggml-anime-whisper.bin

# quantize ggml model
cd ../
cmake -B build -DGGML_CUDA=1
cmake --build build -j --config Release
./build/bin/quantize models/ggml-anime-whisper.bin models/ggml-anime-whisper-q8_0.bin q8_0