speculative-decoding

Serveur d'inférence spéculative LLM pour matériel grand public et hétérogène

Implémentation officielle d'EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) et EAGLE-3 (NeurIPS'25).

Vitesse 3x plus rapide sur MLX | Qwen 3.8 27B | Décodage spéculatif MTP natif sur Apple Silicon sans drafter externe.

Moteur d'inférence LLM à grande échelle.

Boîte à outils de compression de modèles conçue pour une meilleure utilisabilité, exhaustivité et efficacité.

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

Collection organisée d'articles, de rapports techniques, de frameworks et d'outils pour la distillation on-policy (OPD) des grands modèles de langage

Moteur d'inférence en Rust pur

Décodage LLM jusqu'à 4 fois plus rapide sur Apple Silicon, sans perte. Portage MLX natif du décodage spéculatif DSpark de DeepSeek et DFlash de z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, Ornith-1.0, Bonsai-27B ternaire.

From teacher to tiles — a from-scratch LLM distillation & serving engine: custom Triton/CUDA kernels, FSDP distillation, paged-KV continuous batching, speculative decoding, a Rust gateway, a JAX oracle, and interpretability tooling.