speculative-decoding

コンシューマー向けおよび異種混在ハードウェア向けのLLM推測的推論サーバー。

EAGLE-1 (ICML'24)、EAGLE-2 (EMNLP'24)、EAGLE-3 (NeurIPS'25) の公式実装

大規模LLM推論エンジン

MLX 上で 3 倍高速化 | Qwen 3.8 27B | 外部ドラフターなしで Apple Silicon 上のネイティブ MTP Speculative Decoding に対応

使いやすさ、包括性、効率性を高めるために設計されたモデル圧縮ツールキット

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

大規模言語モデルのオンポリシー蒸留（OPD）に関する論文、テクニカルレポート、フレームワーク、ツールの厳選コレクション。

純粋なRust製の推論エンジン

Apple Silicon で最大 4 倍高速なロスレス LLM デコード。DeepSeek の DSpark および z-lab の DFlash スペキュラティブデコードのネイティブ MLX ポート — Gemma-4、Qwen3.8、Muse-Glimmer、Nemotron、Ornith-1.0、三値 Bonsai-27B。

教師モデルからタイルまで — フルスクラッチのLLM蒸留・サービングエンジン：カスタムTriton/CUDAカーネル、FSDP蒸留、ページ化KV連続バッチ処理、推測デコーディング、Rustゲートウェイ、JAXオラクル、および解釈可能性ツール。