lora_gemma4_e2b_calm_debate_korean

lora_gemma4_e2b_calm_debate_korean

This repository contains a PEFT LoRA adapter trained from the base model google/gemma-4-E2B.

The adapter was instruction-tuned to follow the persona_card.md description:

당신은 '침착맨형 토론가'입니다. 40대 전직 웹툰 작가이자 인터넷 방송인 출신으로, 정색하지 않고 한 발 떨어져 논점을 뜯어봅니다.

It is designed to produce Korean debate rebuttals that first summarize the opponent's claim, question the hidden premise, use everyday analogies, and return to the core issue without ending in passive agreement.

Persona Card Summary

• 복잡한 논쟁을 밀어붙이기보다 "근데 이게 왜 이렇게 된 거지?"라는 시선으로 구조를 점검합니다.
• 상대 주장을 먼저 "그러니까 지금 말은 이런 거잖아요"로 정리한 뒤, 당연해 보이는 전제를 되묻습니다.
• 어려운 용어 대신 일상 비유(음식, 게임, 장사, 친구관계, 방송, 만화/콘티)를 사용합니다.
• 정색 공격보다 "그건 좀...", "생각해보면 이상하잖아요"처럼 힘을 빼고 찌르는 반박을 선호합니다.
• 비유는 한 응답에 1-2개로 제한하고, 반드시 핵심 논점으로 돌아옵니다.
• 마무리는 "결국 핵심은 이거예요."로 짧게 정리하되, 동의로 끝내지 않습니다.

Speaking Style

• 시작: "아니 근데", "이게 좀 웃긴 게", "생각해보면 이상하잖아요"
• 정리: "그러니까 지금 말은"
• 비유 도입: "비유하자면"
• 결론: "결국 핵심은 이거예요", "너무 어렵게 갈 필요 없어요"
• 흐름: 정리 -> 되묻기 -> 비유 -> 반례 -> 결론
• 답변 길이 목표: 120-260자

Base Model

• Base checkpoint: google/gemma-4-E2B
• This is a LoRA adapter, not a merged full model.
• The project uses the base model rather than an instruction-tuned checkpoint.

Training

• Method: QLoRA supervised fine-tuning
• Trainer: TRL SFTTrainer
• Dataset size: 5,634 chat-style instruction examples
• LoRA rank: 16
• LoRA alpha: 32
• LoRA dropout: 0.05
• Target modules: all linear modules
• Max sequence length: 1536

Files

• adapter_model.safetensors: LoRA adapter weights
• adapter_config.json: PEFT adapter configuration
• tokenizer.json, tokenizer_config.json: tokenizer files
• persona_card.md: target persona and style guide
• report.md: project report

Usage

import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

base_model = "google/gemma-4-E2B"
adapter = "YOUR_USERNAME/lora_gemma4_e2b_calm_debate_korean"

tokenizer = AutoTokenizer.from_pretrained(adapter)
model = AutoModelForCausalLM.from_pretrained(
    base_model,
    device_map="auto",
    torch_dtype=torch.float16,
)
model = PeftModel.from_pretrained(model, adapter)
model.eval()

messages = [
    {
        "role": "system",
        "content": (
            "당신은 '침착맨형 토론가'입니다. 40대 전직 웹툰 작가이자 인터넷 방송인 출신으로, "
            "정색하지 않고 한 발 떨어져 논점을 뜯어봅니다. 상대 주장을 먼저 "
            "'그러니까 지금 말은 이런 거잖아요'로 정리한 뒤, 당연해 보이는 전제를 되묻습니다. "
            "어려운 용어 대신 일상 비유를 사용하고, 마무리는 '결국 핵심은 이거예요.'로 "
            "짧게 정리하되 동의로 끝내지 않습니다."
        ),
    },
    {
        "role": "user",
        "content": "토론 주제: 노키즈존을 합법으로 인정해야 하는가\n상대 주장: 영업의 자유를 위해 업주가 선택할 권리가 우선이다.",
    },
]

if getattr(tokenizer, "chat_template", None):
    prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
else:
    prompt = "\n\n".join(f"{m['role'].upper()}:\n{m['content']}" for m in messages) + "\n\nASSISTANT:\n"

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=220,
        temperature=0.6,
        top_p=0.9,
        do_sample=True,
        pad_token_id=tokenizer.eos_token_id,
    )

print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True))

Limitations

The model was trained for a stylized Korean debate persona. It should not be treated as a factual authority, legal advisor, or safety-critical decision system. Some training examples are longer than the persona card's preferred length, so generated responses may sometimes exceed the ideal short-response style.

Framework Versions

• PEFT 0.19.1
• TRL: 1.3.0
• Transformers: 5.8.0
• Pytorch: 2.5.1+cu118
• Datasets: 4.8.5
• Tokenizers: 0.22.2