elyza-local-llm

ELYZA-tasks-100-TV 向けローカルLLM

概要

このリポジトリには、ELYZA-tasks-100-TVベンチマークのために開発されたローカルLLMが含まれています。すべての入力データと推論処理はローカル環境で完結し、外部サーバーへのデータ送信は行いません。

モデルの特徴

• モデル名: SuzukiTa29/elyza-local-llm
• ベースモデル: gemma-2-27b-pytorch
• 微調整手法: LoRAおよびDPO
• 量子化: 4ビット量子化 (nf4)

使用方法

1. 環境の準備

以下のライブラリをインストールしてください。

pip install -U transformers==4.46.3 bitsandbytes accelerate datasets peft==0.13.2 trl==0.12.1

### 2. モデルとトークナイザー読み込み 
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

model_id = "your-username/elyza-local-llm"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")
model = PeftModel.from_pretrained(model, model_id)

### 3. 推論の実行
import torch

prompt = "仕事の熱意を取り戻すためのアイデアを5つ挙げてください。"
inputs = tokenizer.encode(f"### 指示:\n{prompt}\n### 回答:\n", return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model.generate(
        inputs,
        max_new_tokens=100,
        do_sample=True,
        temperature=0.7,
        top_p=0.9,
        repetition_penalty=1.2,
        pad_token_id=tokenizer.eos_token_id
    )

response = tokenizer.decode(outputs[0], skip_special_tokens=True).replace(f"### 指示:\n{prompt}\n### 回答:\n", "").strip()
print(response)

### 4. JSONLファイルの生成
{"task_id": 0, "output": "1. 新しいプロジェクトに挑戦することで、モチベーションを高める。 2. 定期的に休憩を取り、リフレッシュする。 3. 同僚と協力して目標を達成する喜びを共有する。 4. 自分のスキルを磨き、成長を実感する。 5. 仕事の成果を具体的に評価し、達成感を得る。"}
...

### 注意事項
このモデルはローカル環境での使用を前提としています。データのプライバシーを保護するため、外部サーバーへのデータ送信は行いません。
モデルの使用に際しては、ライセンスを遵守してください。


### License
MIT License