qwen3-32b-kkb-finetuned

qwen3-32b-kkb-finetuned

이 모델은 Petals Deep P-Tuning으로 파인튜닝된 /model/ 모델입니다.

📋 모델 정보

• 베이스 모델: /model/
• 파인튜닝 방법: Deep P-Tuning
• Pre-sequence Length: 32
• 학습률: 0.01
• 에포크: 1
• 튜닝 모드: deep_ptune
• 프레임워크: Petals

🚀 사용법

1. 기본 사용법

import torch
from transformers import AutoTokenizer
from petals import AutoDistributedModelForCausalLM

# 모델과 토크나이저 로드
model_name = "/model/"
tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoDistributedModelForCausalLM.from_pretrained(
    model_name,
    initial_peers=["your_peer_address_here"],
    pre_seq_len=32,
    tuning_mode="deep_ptune"
)

# 파인튜닝된 프롬프트 임베딩 로드
from huggingface_hub import hf_hub_download

# 모델 파일 다운로드
model_file = hf_hub_download(
    repo_id="kyoungbin/qwen3-32b-kkb-finetuned",
    filename="prompts-deep_ptune.pt"
)

# 체크포인트 로드
checkpoint = torch.load(model_file, map_location='cpu')
model.transformer.prompt_embeddings.weight.data = checkpoint['prompt_embeddings']
model.transformer.intermediate_prompt_embeddings.weight.data = checkpoint['intermediate_prompt_embeddings']

# 텍스트 생성
prompt = "안녕하세요, 어떻게 도와드릴까요?"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

2. 고급 사용법

# 특정 프롬프트 포맷 사용 (Llama 스타일)
def format_prompt(user_message):
    return f'<|begin_of_text|><|start_header_id|>user<|end_header_id|>{user_message}<|eot_id|><|start_header_id|>assistant<|end_header_id|>'

prompt = format_prompt("김경빈에 대해 알려주세요.")
inputs = tokenizer(prompt, return_tensors="pt")

# 생성 파라미터 조정
outputs = model.generate(
    **inputs,
    max_new_tokens=150,
    temperature=0.7,
    top_p=0.9,
    do_sample=True,
    pad_token_id=tokenizer.eos_token_id
)

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

📁 파일 구조

• prompts-deep_ptune.pt: 파인튜닝된 프롬프트 임베딩
• config.json: 모델 설정 정보
• README.md: 사용법 및 모델 정보

⚙️ 설정 정보

체크포인트 파일에 포함된 설정:

{'model_name': '/model/', 'pre_seq_len': 32, 'lr': 0.01, 'epochs': 1, 'temperature': 0.4, 'max_new_tokens': 256, 'tuning_mode': 'deep_ptune', 'repo_id': 'kyoungbin/qwen3-32b-kkb-finetuned', 'repo_name': 'qwen3-32b-kkb-finetuned'}

🔧 요구사항

• Python 3.8+
• PyTorch
• Transformers
• Petals
• huggingface_hub

pip install torch transformers petals huggingface_hub

📜 라이선스

이 모델은 원본 모델 (/model/)의 라이선스를 따릅니다.

🙏 감사의 말

이 모델은 Petals 프레임워크를 사용하여 분산 학습되었습니다.