speculative-decoding

適用於消費級與異質硬體的 LLM 推測式推論伺服器

EAGLE-1 (ICML'24)、EAGLE-2 (EMNLP'24) 與 EAGLE-3 (NeurIPS'25) 的官方實作。

在 Apple Silicon 上透過 MLX 實現快 3 倍的速度 | Qwen 3.8 27B | 原生 MTP 推測解碼，無需外部草稿模型。

大規模 LLM 推論引擎

為提升易用性、完整性與效率而設計的模型壓縮工具包。

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

大型語言模型策略內蒸餾（OPD）的精選論文、技術報告、框架與工具集合

純 Rust 推論引擎

在 Apple Silicon 上實現高達 4 倍更快的 LLM 解碼，無損。原生 MLX 移植 DeepSeek 的 DSpark 與 z-lab 的 DFlash 推測解碼 — Gemma-4、Qwen3.8、Muse-Glimmer、Nemotron、Ornith-1.0、三進制 Bonsai-27B。

從教師模型到模型切片——從零開始的 LLM 蒸餾與服務引擎：包含自訂 Triton/CUDA 核心、FSDP 蒸餾、paged-KV 連續批次處理、推測解碼、Rust 閘道、JAX 預測器與可解釋性工具。