Downloads · 30 days
0
Hellohihihih/qwen35-audio-graft-avqa
qwen35-audio-graft-avqa is a machine learning model from Hellohihihih. Use it for the machine learning task on the model card, and read the license before you ship it in a product. It is set up for transformers.
이 리포지토리는 Qwen/Qwen3.5-9B backbone에 openai/whisper-medium hidden state를 soft-token으로 graft하기 위한 실험용 adapter checkpoint입니다. 전체 Qwen backbone weight를 포함하지 않습니다. 즉, standalone 모델이 아니라 base model + audio encoder + audio gr…
Downloads · 30 days
0
Access
Public
Updated Jun 10, 2026
Repo size
39 MB
Likes
0
Public
Click a slice to open those files.
.json20 MB · 51%
From the Hugging Face model README
이 리포지토리는 Qwen/Qwen3.5-9B backbone에 openai/whisper-medium hidden state를 soft-token으로 graft하기 위한 실험용 adapter checkpoint입니다. 전체 Qwen backbone weight를 포함하지 않습니다. 즉, standalone 모델이 아니라 base model + audio encoder + audio graft adapter 조합으로 로드해야 합니다.
Qwen/Qwen3.5-9Bopenai/whisper-mediumJoysw909/AVQAaudio_graft.pt: audio projector, audio start/end soft token, 설정값tokenizer/: tokenizer filestraining_config.json: 학습 설정qwen_lora/: Qwen LoRA가 켜진 경우에만 존재저VRAM Kaggle 환경을 고려해 기본값은 다음과 같습니다.
이 checkpoint는 연구용 prototype입니다.
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, WhisperFeatureExtractor, WhisperModel
ckpt = torch.load("audio_graft.pt", map_location="cpu")
base_model_id = ckpt["qwen_model_id"]
audio_encoder_id = ckpt["audio_encoder_id"]
# 이 노트북의 QwenAudioGraft 클래스 정의를 함께 사용하세요.
이 모델은 Kaggle notebook qwen35_audio_graft_avqa_kaggle 계열에서 생성되었습니다.
주요 설정은 training_config.json에 기록되어 있습니다.