pi05_libero_plus_t1_lora_v15b_btlc_vis

pi05_libero_plus_t1_lora_v15b_btlc_vis

π0.5(pi05)ベースの Vision-Language-Action ポリシー。LIBERO-plus の視覚摂動タスク(背景テクスチャ / 照明変化)への頑健化を目的とした LoRA fine-tune で、PARC 2026 予選 Track 1 の提出モデル(内部呼称 v15b)。LoRA はマージ済みで、通常の PI05Policy チェックポイントとしてそのままロードできる。

English summary: A LoRA fine-tune of π0.5 (lerobot/pi05_libero_finetuned_v044) for robustness to background-texture and lighting perturbations in LIBERO-plus manipulation tasks. LoRA weights are merged; load directly with lerobot's PI05Policy.

モデル概要

設計のポイント

1. 視覚 LoRA — lerobot の既定 peft 設定は action expert のみを適応し、視覚エンコーダは事前学習からの継承に留まる。本モデルは freeze_vision_encoder=false とし、SigLIP の attention にも LoRA を適用した。背景テクスチャ・照明という「知覚側」の摂動に対する頑健性は、この視覚適応が主要因であることを層別の切り分け実験(視覚のみ / 言語塔のみ)で確認している。
2. BT/LC 選別データ — 学習 500 本は Background Textures / Light Conditions 変種のデモから約 50:50 で選別(30 ベースタスク、弱点タスクへ傾斜配分)。評価変種と視覚的に一致するデモは除外し、カテゴリ分布のみを揃えた。
3. サービング構成 — n_action_steps=10(10 ステップごとに再計画)+ action EMA β=0.3(軌道平滑化、jerk 約 −14%)。画像は学習時と整合する 128×128 で入力する。

使い方

from lerobot.configs import PreTrainedConfig
from lerobot.policies.pi05.modeling_pi05 import PI05Policy

model_id = "Kaito-F/pi05_libero_plus_t1_lora_v15b_btlc_vis"
cfg = PreTrainedConfig.from_pretrained(model_id)
cfg.n_action_steps = 10
policy = PI05Policy.from_pretrained(model_id, config=cfg)
policy.eval()
# 観測(画像 2 視点 + 状態 + 指示)を前処理して policy.select_action(...) を呼ぶ。
# 出力 action 列に EMA(β=0.3)を掛けると軌道が滑らかになる(任意)。

lerobot v0.6.0 系で動作確認済み。前処理・後処理は同リポジトリ同梱の processor(policy_preprocessor.json / policy_postprocessor.json)を make_pre_post_processors で適用する。

制限事項

• LIBERO-plus(MuJoCo/robosuite、Franka Panda)のシミュレーション分布に特化しており、実機や他シミュレータへの転移は未検証。
• 頑健化の対象は背景テクスチャと照明変化のみ(視点変化・レイアウト変化・言語言い換えは対象外)。
• 学習時の LoRA ターゲット正規表現のうち time-MLP 系(action_time_mlp_*)は実モジュール名(time_mlp_*)と一致せず、当該層は実質未適応(視覚 q/v・expert q/v・射影層は適応済み)。

ライセンス・出典

ベースモデル(π0.5 / PaliGemma 系)および lerobot/libero_plus データセットの各ライセンス・利用条件に従う。π0.5: Physical Intelligence、LIBERO-plus: 原著者ら、学習フレームワーク: lerobot。