k3-a40-bootstrap

Endpoint Anthropic pour Claude Code, sur une seule A40

Un pod RunPod à 0,44 $/h qui sert l'API Anthropic (/v1/messages), au choix avec Qwen3-Coder-30B ou Kimi-Linear-48B, à 575 tok/s en mono-flux sur de l'édition de code — le régime réel d'un agent.

ANTHROPIC_BASE_URL=https://<podId>-8080.proxy.runpod.net
ANTHROPIC_API_KEY=peu-importe

Ce qui est mesuré

Les deux franchissent 500 tok/s sur une seule A40 : Qwen en mono-flux grâce à la spéculation, Kimi en agrégé dès 16 flux — la spéculation y étant inutilisable puisqu'elle corrompt le code.

Les 575 tok/s dépassent d'un facteur 4,4 le plafond mémoire d'un décodage classique (~130 tok/s mesuré) : c'est la spéculation n-gram qui émet 17,16 tokens en moyenne par lecture des poids, parce qu'en édition de code la sortie est largement prédictible depuis le prompt.

Les fichiers

Les artefacts Kimi-K3 (k3_bootstrap.sh, Kimi-K3-DSpark-BF16.gguf, fix_dspark_arch.py, les binaires llama.cpp) restent présents ; voir RESULTS.md pour savoir pourquoi cette piste a été abandonnée sur A40.

Ce qui n'a pas marché, et qu'il ne faut pas refaire

• Kimi-K3 auto-hébergé sur A40 est dominé sur tous les axes : 7,3 tok/s pour 2,20 $/h et ~85 $/1M, contre 29,2 tok/s et ~16 $/1M pour l'API officielle. Il n'achète ni le prix ni la qualité.
• Optimiser les kernels MoE ne donnait rien parce que le mur était ailleurs : llama.cpp sérialise les couches entre GPU, et le décodage tournait à 7 % du plafond de bande passante. Fused SiTU : 0 %. Warp-row : +1,2 %.
• La spéculation n-gram sur Kimi-Linear corrompt le code de façon reproductible (fibonacci(n-1(n-1)), alors que l'échantillonnage par rejet devrait être sans perte. Elle y est désactivée par défaut.
• --enable-prefix-caching doit être demandé explicitement. Sans le flag, Kimi-Linear donne 1,04× entre prefill froid et chaud, ce qui ressemble à une limite d'architecture hybride ; avec, il donne 4,74×. J'ai d'abord conclu à tort que vLLM ne savait pas cacher au-dessus d'un état récurrent.
• Le taux d'acceptation n'est pas la métrique à suivre : il chute de 68 % à 27 % pendant que le débit monte de 40 %. Ce qui compte est le nombre de tokens émis par passe avant.

Le compromis à connaître

La spéculation gagne en mono-flux et perd en agrégé — les brouillons consomment le budget de batch. Aucun réglage ne gagne partout :

un seul utilisateur (Claude Code)   speculation n=24  ->   575 tok/s, 0,21 $/1M
service multi-utilisateurs          speculation OFF   -> 1 166 tok/s, 0,105 $/1M

Le défaut du dépôt est la spéculation, la cible étant Claude Code.