fol-v02-origin-qwen2.5-3

fol-v02-origin-qwen2.5-3

Repo: Laplaces-Red-Devils/fol-v02-origin-qwen2.5-3

LoRA SFT — dịch premises NL → premises FOL (JSON premises_fol trong completion).

Tóm tắt kết quả (tự động)

Bản đầy đủ nằm trong experiment_artifacts/ trên repo này.

Trainer (train_metrics.json)

• eval_loss: 0.146114
• epoch: 7
• eval_runtime: 33.7884
• eval_samples_per_second: 2.279
• eval_exact_match_rate: 0
• eval_fol_bleu: 0.546959
• eval_le_score: 0.207446
• eval_rm_score: 0.343251
• eval_steps_per_second: 2.279

FOL greedy exact match (fol_eval_metrics.json)

Siêu tham số (từ experiment_log.json)

• model: Qwen/Qwen2.5-3B-Instruct
• max_seq_length: 2048
• num_train_epochs: 25
• load_in_8bit: True
• use_unsloth: True
• unsloth_load_in_4bit: False
• gradient_accumulation_steps: 8

Benchmark test (trước / sau FT)

Độ trễ greedy (fol_inference_latency.json)

• split: test — n: 30
• trung bình: 62.579 s / mẫu (σ ≈ 33.49 s)

Artifacts

Trong experiment_artifacts/:

• experiment_log.json — siêu tham số (gần configs/fol_model.yaml), fol_eval_* sau eval greedy, fol_inference_latency_benchmark nếu bật benchmark.
• train_metrics.json — metrics cuối từ Trainer.
• fol_eval_metrics.json — exact match FOL (nếu có).
• fol_inference_latency.json — trung bình thời gian greedy một mẫu (sau FT, nếu có).
• fol_hub_reload_eval.json — sau push: tải merged từ Hub, greedy trên N mẫu test ngẫu nhiên + exact-match trên đúng N mẫu (CLI).

Biến môi trường: prefix FOL_* (xem FolSFTConfig trong services/config_fol.py).

Xác minh sau khi tải merged từ Hub

Tải lại merged từ Laplaces-Red-Devils/fol-v02-origin-qwen2.5-3 rồi chỉ greedy trên N mẫu test ngẫu nhiên; bảng dưới là exact-match trên đúng N mẫu đó. JSON đủ: experiment_artifacts/fol_hub_reload_eval.json.

Exact match (N mẫu test ngẫu nhiên)

Xem trước mẫu test ngẫu nhiên (README: 2 / 20 — terminal + JSON có đủ)

Mẫu 1 (split_index=14)

• gold (rút gọn): {"premises_fol": ["∀x(HasGPA(x))", "∀x(¬AttendsLectures(x) → ¬ImprovesGPA(x))", "∀x(SubmitsAssignments(x) → ImprovesGPA(x))", "∃x(HonorRoll(x))", "∀x(HighGPA(x) → EligibleForScholarship(x))", "∀x(HighGPA(x) → HonorRoll(x))", "∀x((HighGPA(x) …
• pred (rút gọn): {"premises_fol": ["∀x (HasGPA(x))", "∀x (¬AttendsLectures(x) → ¬ImprovesGPA(x))", "∀x (SubmitsAssignmentsOnTime(x) → ImprovesGPA(x))", "∃x (OnHonorRoll(x))", "∀x (HighGPA(x) → EligibleForScholarship(x))", "∀x (HighGPA(x) → OnHonorRoll(x))", …

Mẫu 2 (split_index=3)

• gold (rút gọn): {"premises_fol": ["∀x (∀h ((clinical_hours(x, h) ∧ h ≥ 500) → advanced_practice(x)))", "clinical_hours(john, 600)", "registered_nurse(john)", "∀x ((registered_nurse(x) ∧ advanced_practice(x)) → can_prescribe(x))"]} …
• pred (rút gọn): {"premises_fol": ["∀x (completed_500_hours(x) → advanced_practice_certification(x))", "completed_500_hours(John)", "registered_nurse(John)", "∀x (advanced_practice_certification(x) → authorized_prescribe_medication(x))"]} …