Downloads · 30 days
0
nigo1973/llm-jp-3-13b-it_lora-DPO-1208_and_prompt_engineering
llm-jp-3-13b-it_lora-DPO-1208_and_prompt_engineering is a machine learning model from nigo1973. Use it for the machine learning task on the model card, and read the license before you ship it in a product.
Downloads · 30 days
0
Access
Public
Updated Dec 25, 2024
Repo size
501 MB
Likes
0
Public
Click a slice to open those files.
.safetensors501 MB · 99%
From the Hugging Face model README
LB: 2.88
llm-jp-3-13b-itに ichikara-instruction-003-001-1をSFTしたモデルを作成。 このモデルに、aya-ja-evol-instruct-calm3-dpo-maskedのDPOを行い、 さらに"weblab-GENIAC/aya-ja-nemotron-dpo-masked”のDPOを行いました。
ここで作成したモデルで推定する、Prompt Engineeringも用いた。
from unsloth import FastLanguageModel
import torch
max_seq_length = 2048 # Choose any! We auto support RoPE Scaling internally!
dtype = None # None for auto detection. Float16 for Tesla T4, V100, Bfloat16 for Ampere+
load_in_4bit = True # Use 4bit quantization to reduce memory usage. Can be False.
model, tokenizer = FastLanguageModel.from_pretrained(
model_name = "nigo1973/llm-jp-3-13b-it_DPO-aya-ja-evol-instruct-calm3-dpo-masked", # 自分がUnslothを使ってFTして、loraだけアップロードしているモデル
max_seq_length = max_seq_length,
dtype = dtype,
load_in_4bit = load_in_4bit,
token = HF_TOKEN,
)
from huggingface_hub import login
# 生成したトークンをペースト
login(HF_TOKEN)#weblab-GENIAC/aya-ja-nemotron-dpo-maskedのデータセットを読み込みためにログインしておく。
from datasets import load_dataset
# データセットをロード
ds = load_dataset("weblab-GENIAC/aya-ja-nemotron-dpo-masked")
# フィルタリング関数を定義
def filter_short_examples(example):
return (
len(example['prompt']) <= 2000 and
len(example['chosen']) <= 2000 and
len(example['rejected']) <= 2000
)
# トレーニングデータをフィルタリング
filtered_train = ds['train'].filter(filter_short_examples)
# データセットをトレーニング用と評価用に分割 (80%をトレーニング用、20%を評価用)
train_size = int(0.8 * len(filtered_train)) # トレーニングデータのサイズ
eval_size = len(filtered_train) - train_size # 評価データのサイズ
# インデックスを順序通りに生成 (ランダム性なし)
train_indices = list(range(train_size)) # トレーニング用インデックス
eval_indices = list(range(train_size, len(filtered_train))) # 評価用インデックス
# トレーニングデータと評価データを選択
train_dataset = filtered_train.select(train_indices)
eval_dataset = filtered_train.select(eval_indices)
# データセットのサイズを出力
print(f"トレーニングデータセットのサイズ: {len(train_dataset)}")
print(f"評価データセットのサイズ: {len(eval_dataset)}")
# One must patch the DPO Trainer first!
from unsloth import PatchDPOTrainer
PatchDPOTrainer()
from transformers import TrainingArguments
from trl import DPOTrainer, DPOConfig
from unsloth import is_bfloat16_supported
dpo_trainer = DPOTrainer(
model = model,
ref_model = None,
args = DPOConfig(
per_device_train_batch_size = 2,
gradient_accumulation_steps = 4,
warmup_ratio = 0.1,
num_train_epochs = 1,
learning_rate = 5e-6,
fp16 = not is_bfloat16_supported(),
bf16 = is_bfloat16_supported(),
logging_steps = 1,
optim = "adamw_8bit",
weight_decay = 0.0,
lr_scheduler_type = "linear",
seed = 42,
output_dir = "outputs",
report_to = "none", # Use this for WandB etc
),
beta = 0.1,
train_dataset = use_dataset, #raw_datasets["train"],
# eval_dataset = raw_datasets["test"],
tokenizer = tokenizer,
max_length = 2048,
max_prompt_length = 1024,
)
dpo_trainer.train()
# ELYZA-tasks-100-TVの読み込み。事前にファイルをアップロードしてください
# データセットの読み込み。
# omnicampusの開発環境では、左にタスクのjsonlをドラッグアンドドロップしてから実行。
import json
datasets = []
with open("/content/elyza-tasks-100-TV_0.jsonl", "r") as f:
item = ""
for line in f:
line = line.strip()
item += line
if item.endswith("}"):
datasets.append(json.loads(item))
item = ""
# 学習したモデルを用いてタスクを実行
from tqdm import tqdm
# 推論するためにモデルのモードを変更
FastLanguageModel.for_inference(model)
results = []
for dt in tqdm(datasets):
input = dt["input"]
prompt = f"""### システム設定
あなたは質問に正確に答えるアシスタントです。以下の制約に従って回答してください:
制約:
- 質問の意図を正確に理解し、必要な情報を漏れなく提供
- 不要な情報は含めない
- 文脈の一貫性を維持
- わからない場合は「わかりません」と明確に述べる
回答品質基準:
- 明確性:曖昧な表現を避け、具体的な説明を含める
- 論理性:主張と根拠を明確に区別し、段階的に説明
- 実用性:実践的で実行可能な情報を提供
回答形式:
1. 主要な回答:質問への直接的な回答
2. 補足説明:必要な場合のみ追加の文脈や例を提供
3. 注意点:該当する場合のみ制限事項や課題を記載
### 指示
{input}
### 回答
"""
inputs = tokenizer([prompt], return_tensors = "pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens = 512, use_cache = True, do_sample=False, repetition_penalty=1.2)
prediction = tokenizer.decode(outputs[0], skip_special_tokens=True).split('\n### 回答')[-1]
results.append({"task_id": dt["task_id"], "input": input, "output": prediction})
# jsonlで保存
new_model_id = "llm-jp-3-13b-it_lora-DPO-1208_and_prompt_engineering" #Fine-Tuningしたモデルにつけたい名前、it: Instruction Tuning
with open(f"{new_model_id}_output.jsonl", 'w', encoding='utf-8') as f:
for result in results:
json.dump(result, f, ensure_ascii=False)
f.write('\n')
#modelをhugging faceにアップロード
# LoRAアダプタだけ保存
model.push_to_hub_merged(
"llm-jp-3-13b-it_lora-DPO-1208_and_prompt_engineering",#保存するモデルの名前
tokenizer=tokenizer,
save_method="lora",#loraだけ保存
token=HF_TOKEN,
private=True
)