d1-poker-ev-psych-v7

D1 — Tiny Poker Model (EV + Psych + λ=f(n))

⚠️ D1 KHÔNG phải là LLM / language model. Nó là một mạng nơ-ron nhỏ (MLP, 281,577 params ≈ 1.1 MB) học ra quyết định chơi poker bằng EV kết hợp phân tích tâm lý đối thủ theo hướng AISTATS09 (Data Biased Robust Counter Strategies). Không có tokenizer, không sinh text — input là vector feature 148 chiều mô tả một "spot" poker, output là EV dự đoán, xác suất fold của đối thủ (p_fold), và policy hành động.

Version: v3 (2026-08-03) — nâng từ v2 (17.6K params) lên 281K params + data g1 (13,838 spots) + pot-control serve-time (chống raise-war).

Model card tổng quan

Ý tưởng thiết kế

Dựa trên AISTATS09 – Data Biased Robust Counter Strategies (Ganzfried & Sandholm): khi chưa rõ đối thủ thì chơi chiến thuật robust (EV thuần), càng quan sát được đối thủ thì càng nghiêng sang exploit.

• λ = f(n) là input (feature 147) và đồng thời là gate: feature stats đối thủ (feature 141–146: vpip/pfr/af/f2c…) bị nhân với λ trước khi vào backbone. λ≈0 → model không nhìn thấy stats đối thủ → chơi EV/robust thuần; λ≈1 → thấy đầy đủ → khai thác tâm lý.
• psych_head dự đoán p_fold (xác suất đối thủ fold khi gặp c-bet) — hồi quy liên tục trên soft label f2c/100, đúng tinh thần AISTATS09 là dùng tần suất hành động quan sát được thay vì lớp persona rời rạc.
• policy_head trộn backbone + EV dự đoán + p_fold + λ → chọn hành động (fold/check/call/raise).

Huấn luyện

• 13,838 spots từ dataset A9 (spot generator 6-max) + spots_g1_retry_early (~3.4k spots mới), 40 epochs.
• Split train/val: 11,762 / 2,076.
• Loss: CE(policy) + γ·CE(ev_best) + α·MSE(ev) + β·BCE(p_fold) với EV-guided policy loss (γ=0.5) — policy head bị ép theo nhãn argmax EV proxy trên legal, không chỉ copy teacher (fix "quên value-bet" 2026-08-03).
• Kết quả (val):
  • policy_acc 76.8% (chọn đúng hành động trong 4 legal)
  • ev_best_acc 73.1% (độ khớp với hành động EV-tối ưu — model học "ra quyết định bằng EV")
  • psych_mae 0.019 (~sai số 2 điểm f2c % — psych head thực sự học được tín hiệu; so với nhãn persona 2 lớp trước đây val ~49% = đoán mò)
  • ev_mae_scaled 0.055

Lưu ý params: tăng 17.6K → 281K KHÔNG tạo đột phá bb/100 (bottleneck là dữ liệu 13.8k spots) nhưng giảm variance rõ (station std 1.81→0.65) và tăng raise% (aggressive hơn) — xem bảng benchmark dưới.

Chi tiết: train_report.json

Benchmark (self-play heads-up)

Giao thức: 15 seeds × 500 hands/matchup, đấu 4 bot baseline, so sánh chế độ adaptive (λ=f(n) thật, tăng theo số tay quan sát) vs λ=0 (robust thuần, không xem stats đối thủ). Kết quả bb/100 (mean±std):

Bằng chứng ADAPTATION (điểm chính)

Model adaptive đổi chiến thuật theo HUD đối thủ đo thật (tracker đo f2c khi gặp bet postflop):

→ Model biết "đối thủ fold thì bluff nhiều" (raise 67.3% vs foldheavy nhưng chỉ 14.5% vs station không bao giờ fold); λ=0 chơi một kiểu với tất cả.

λ ramp thật theo số tay quan sát: first-50 λ≈0.12 → last-50 λ≈0.97–1.0. raise% theo block λ khớp hoàn hảo: vs random/potodds/station raise hạ dần khi λ tăng (63.6→27.2% / 52.4→11.3% / 58.7→13.2%), vs foldheavy giữ cao (64.2→69.7%) — model học "thăm dò lúc chưa rõ, khai thác khi đã rõ".

⚠️ Adaptation ≠ improvement: trước EV-guided fix, adaptive rất passive vs potodds/station (check nhiều) — vs station λ0 (+20.76) thắng đậm adaptive (+10.94). Sau fix (2026-08-03), adaptive vs station lên +20.58 (chênh λ0 chỉ 0.9) — model đã học value-bet song song với tránh bluff vào đối thủ không fold. Bằng chứng đáng tin cậy nhất là λ ramp + action distribution đổi theo đối thủ.

Trận A9 thật (4 trận × 100 hands, API /decide)

Đấu heads-up vs A9 production (LLM ~2B params finetune, latency ~3.4s vs D1 23ms):

Pot-control serve-time (fix raise-war 2026-08-03, không cần retrain):

• Cùng street re-raise ≥3 lần & eq<0.90 → hạ raise xuống call/check (≥5 lần thì cấm raise bất kể eq, trừ all-in).
• Đã đầu tư ≥50% stack → cấm fold.
• Kết quả: max re-raise/street 8–10 → 3–4, hết "fold sau khi commit 77BB", hết hand −91BB/2 hand của v3 gốc.

Chi tiết đầy đủ: benchmark_report.json

Các file trong repo

Cách dùng

Load Keras model

import tensorflow as tf

model = tf.keras.models.load_model("model.keras")
# Input: (batch, 148) float32 — vector từ features.encode_spot()
# Output: [policy(4), ev_bb(4), psych_logit(1)] (split output)

Load TFLite int8 (edge, 307 KB)

import numpy as np
import tensorflow as tf

interp = tf.lite.Interpreter(model_path="model_int8.tflite")
interp.allocate_tensors()
inp = interp.get_input_details()[0]
out = interp.get_output_details()

x = np.random.rand(1, 148).astype(np.float32)
interp.set_tensor(inp["index"], x)
interp.invoke()
policy, ev, psych_logit = [interp.get_tensor(o["index"])[0] for o in out]

Parity Keras ↔ TFLite int8 đã verify: action + λ-gating khớp nhau.

Feature encoding (148 chiều)

Vector được tạo từ một "spot" gồm: stack/pot/to_call/spr/pot_odds, street, position, hole cards, board, legal actions, action history, stats đối thủ (vpip/pfr/af/f2c…) — và λ (số tay quan sát). Công thức encode đầy đủ trong features.py của repo nguồn (xem phần "Repo nguồn").

Giới hạn trung thực

1. EV là proxy, chưa phải solver EV: ev = eq·(pot+2X) − X (xấp xỉ bằng equity Monte-Carlo + cấu trúc pot), không phải rollout đầy đủ.
2. Chỉ min-raise sizing — model chưa học bet sizing; mọi raise đều min.
3. Benchmark heads-up, model train trên spot 6-max — kết luận chỉ có giá trị trong miền đó.
4. Adaptive ≠ thắng λ0 vs mọi đối thủ (foldheavy adaptive std ±10).
5. psych_head dự đoán p_fold tốt (MAE 2 điểm) nhưng chưa dùng p_fold để chọn sizing — đó là bước tiếp theo.
6. Pot-control là rule serve-time chưa học trong model — bước tiếp theo là đưa vào loss/feature để model tự học.
7. Params 281K > 17.6K không tạo đột phá bb/100 (bottleneck là dữ liệu 13.8k spots) — lợi ích chính là ổn định hơn (std giảm).

Repo nguồn

Code đầy đủ (train, benchmark, D1 decider, 43 unit tests, verify TFLite parity) nằm tại thư mục tf_model/ trong repo github.com/braitoli/finetune-poker-model (nhánh eval/sixway_selfplay_summary). Design doc: docs/2026-08-02-tiny-tf-ev-psych-design.md.

---

Model D1 — prototype nghiên cứu. Được tạo 2026-08-02 bởi braitoli.