qwen2.5-dbbench-dpo

-----------------------------

環境変数の設定

-----------------------------

下記の値を書き換えることで、コード本体を編集せずに設定を変更できます。

1. モデル・データセット関連

os.environ["SFT_BASE_MODEL"] = "Qwen/Qwen2.5-7B-Instruct" os.environ["SFT_DATASET_ID"] = "u-10bei/sft_alfworld_trajectory_dataset,u-10bei/sft_alfworld_trajectory_dataset_v2,u-10bei/sft_alfworld_trajectory_dataset_v3,u-10bei/sft_alfworld_trajectory_dataset_v4,u-10bei/sft_alfworld_trajectory_dataset_v5,u-10bei/dbbench_sft_dataset_react,u-10bei/dbbench_sft_dataset_react_v2,u-10bei/dbbench_sft_dataset_react_v3,u-10bei/dbbench_sft_dataset_react_v4" # 複数のデータセットを使う場合はカンマ区切りで指定: "dataset1,dataset2,dataset3" os.environ["SFT_OUT_LORA_DIR"] = "/content/lora_agentbench_qwen3_4b"

2. 学習の基本パラメータ

os.environ["SFT_SEED"] = "3407" os.environ["SFT_VAL_RATIO"] = "0.05" os.environ["SFT_MAX_SEQ_LEN"] = "4096"

3. LoRA (アダプタ) 設定

os.environ["SFT_LORA_R"] = "64" os.environ["SFT_LORA_ALPHA"] = "128" os.environ["SFT_LORA_DROPOUT"] = "0" os.environ["SFT_LORA_TARGET_MODULES"] = "q_proj,k_proj,v_proj,o_proj,gate_proj,up_proj,down_proj"

4. ハイパーパラメータ

os.environ["SFT_EPOCHS"] = "1" os.environ["SFT_PER_DEVICE_TRAIN_BS"] = "16" os.environ["SFT_PER_DEVICE_EVAL_BS"] = "16" os.environ["SFT_GRAD_ACCUM"] = "1" os.environ["SFT_LR"] = "2e-6" os.environ["SFT_WARMUP_RATIO"] = "0.1" os.environ["SFT_WEIGHT_DECAY"] = "0.05"

5. ステップ・保存設定

os.environ["SFT_MAX_STEPS"] = "-1" # -1でエポックベース。動作確認時は 10 などに。 os.environ["SFT_LOGGING_STEPS"] = "10" os.environ["SFT_EVAL_STEPS"] = "5" os.environ["SFT_SAVE_STEPS"] = "100" os.environ["SFT_SAVE_TOTAL_LIMIT"] = "2"

6. 特殊学習設定 (CoTマスク・アップサンプリング)

os.environ["SFT_MASK_COT"] = "0" # "1" で有効, "0" で無効 os.environ["SFT_TRUNCATE_COT"] = "0" # "1" で有効（マーカー前トークンをpad_tokenで置換）, "0" で無効 os.environ["SFT_OUTPUT_MARKERS"] = "Action:,Output:,OUTPUT:,Final:,Answer:,Result:,Response:" os.environ["SFT_OUTPUT_LEARN_MODE"] = "from_marker" # "after_marker" または "from_marker" os.environ["SFT_USE_UPSAMPLING"] = "0" # "1" で有効, "0" で無効 # データ2 専用 os.environ["SFT_UPSAMPLE_RULES"] = '{"dbbench":{"aggregation-MAX":3.0,"counting":2.5,"comparison":2.5,"aggregation-SUM":2.0,"INSERT":2.0,"ranking":1.5}}'

7. DPO設定（SFT_TRAIN_MODE=dpo のとき有効）

os.environ["SFT_TRAIN_MODE"] = "dpo" # "sft" or "dpo" os.environ["SFT_DPO_DATASET_ID"] = "kiratan/dbbench_dpo" # HF dataset id or local jsonl path os.environ["SFT_DPO_TARGET_TYPES"] = "INSERT" # 例: "INSERT,UPDATE"（metadata.typeで抽出） os.environ["SFT_DPO_BETA"] = "0.1" os.environ["SFT_DPO_EPOCHS"] = "1" os.environ["SFT_DPO_LR"] = "1e-6" os.environ["SFT_DPO_PER_DEVICE_TRAIN_BS"] = "8" os.environ["SFT_DPO_PER_DEVICE_EVAL_BS"] = "8" os.environ["SFT_DPO_GRAD_ACCUM"] = "2" os.environ["SFT_DPO_WARMUP_RATIO"] = "0.05" os.environ["SFT_DPO_WEIGHT_DECAY"] = "0.01" os.environ["SFT_DPO_MAX_PROMPT_LEN"] = "1536" os.environ["SFT_DPO_MAX_LEN"] = "2048" os.environ["SFT_DPO_LOSS_TYPE"] = "sigmoid" # sigmoid/ipo 等（trlの対応範囲に依存） os.environ["SFT_DPO_MIN_ROWS"] = "64"

print("環境変数の設定が完了しました。")

どちらを学習するか選択

TASK = "dbbench" # "dbbench" or "alfworld" or "mixed"

タスクごとの設定

TASK_CONFIGS = { "dbbench": { "datasets": [ "u-10bei/dbbench_sft_dataset_react", "u-10bei/dbbench_sft_dataset_react_v2", "u-10bei/dbbench_sft_dataset_react_v3", "u-10bei/dbbench_sft_dataset_react_v4" ], "output_dir": "./lora_adapters/dbbench", "include_types": ["INSERT", "UPDATE", "other","comparison","counting","ranking","aggregation-SUM","aggregation-MIN","aggregation-MAX","aggregation-AVG"] }, "alfworld": { "datasets": [ "u-10bei/sft_alfworld_trajectory_dataset", "u-10bei/sft_alfworld_trajectory_dataset_v2", "u-10bei/sft_alfworld_trajectory_dataset_v3", "u-10bei/sft_alfworld_trajectory_dataset_v4", "u-10bei/sft_alfworld_trajectory_dataset_v5" ], "output_dir": "./lora_adapters/alfworld" }, "mixed": { "datasets": [ # DBBench "u-10bei/dbbench_sft_dataset_react", "u-10bei/dbbench_sft_dataset_react_v2", "u-10bei/dbbench_sft_dataset_react_v3", "u-10bei/dbbench_sft_dataset_react_v4", # ALFWorld "u-10bei/sft_alfworld_trajectory_dataset", "u-10bei/sft_alfworld_trajectory_dataset_v2", "u-10bei/sft_alfworld_trajectory_dataset_v3", "u-10bei/sft_alfworld_trajectory_dataset_v4", "u-10bei/sft_alfworld_trajectory_dataset_v5" ], "output_dir": "./lora_adapters/mixed" } }

環境変数を設定

config = TASK_CONFIGS[TASK] os.environ["SFT_DATASET_ID"] = ",".join(config["datasets"]) os.environ["SFT_OUT_LORA_DIR"] = config["output_dir"]

メタデータフィルタリング設定（オプション）

if "exclude_types" in config: os.environ["SFT_EXCLUDE_TYPES"] = json.dumps(config["exclude_types"]) print(f" Excluding types: {config['exclude_types']}") elif "include_types" in config: os.environ["SFT_INCLUDE_TYPES"] = json.dumps(config["include_types"]) print(f" Including only types: {config['include_types']}") else: # フィルタリングなし os.environ["SFT_EXCLUDE_TYPES"] = "" os.environ["SFT_INCLUDE_TYPES"] = ""

print(f"✅ Task selected: {TASK}") print(f" Datasets: {len(config['datasets'])} datasets") print(f" Output: {config['output_dir']}")