Soichi-gemma4-31B-FT

Soichi-gemma4-31B-FT

unsloth/gemma-4-31B-it-unsloth-bnb-4bitを僕のツイートデータ約1万件ちょっとを用いてQLoRAにてSFTしたものです。関わってるユーザー名は一樹くん(@L_port8000など)、あきのはらそうや(@soyaakinohara3など)以外は伏せています。 また、会話形式にする上での補完はQwen3.5-9Bを使用しています。

概要

• ベースモデル: unsloth/gemma-4-31B-it-unsloth-bnb-4bit
• 手法: QLoRA (rank=16, alpha=16, target: q/k/v/o/gate/up/down_proj) ローカルのRTX 3090で。
• 学習データ: 個人の Twitter (X) 投稿約 12,000 件（会話ペア形式に変換）
• 目的: 特定人物の語調・文体・意見傾向を模倣するキャラクター LoRA

使い方

llama-cppとかでggufを使うか直接ロードするかしてください。

from unsloth import FastModel

model, tokenizer = FastModel.from_pretrained(
    "soichi1208/Soichi-gemma4-31B-FT",
    load_in_4bit=True,
    max_seq_length=512,
)
FastModel.for_inference(model)

prompt=input("このSoichiに、何をお聞きかね?:")

messages = [{"role": "user", "content": prompt}]
inputs = tokenizer.apply_chat_template(
    messages, tokenize=True, add_generation_prompt=True, return_tensors="pt"
).to(model.device)

outputs = model.generate(
    inputs,
    max_new_tokens=100,
    do_sample=True,
    temperature=0.9,
    repetition_penalty=1.2,
    pad_token_id=tokenizer.eos_token_id,
)
print(tokenizer.decode(outputs[0][inputs.shape[1]:], skip_special_tokens=True))

謝辞

• Unsloth (https://github.com/unslothai/unsloth) — 高速ファインチューニング
• TRL (https://github.com/huggingface/trl) — SFTTrainer
• Google — Gemma 4 ベースモデル
• Qwen3.5-9B-gguf(https://huggingface.co/unsloth/Qwen3.5-9B-GGUF)

---