speculative-decoding

Server inferensi spekulatif LLM untuk perangkat konsumen dan heterogen

Implementasi Resmi dari EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24), dan EAGLE-3 (NeurIPS'25).

Mesin inferensi LLM berskala besar

Kecepatan 3x lebih cepat pada MLX | Qwen 3.8 27B | Native MTP Speculative Decoding pada Apple Silicon tanpa Drafter eksternal.

Toolkit kompresi model yang direkayasa untuk kemudahan penggunaan, kelengkapan, dan efisiensi yang ditingkatkan.

Qwen3.8-27B pada satu RTX 3090 dengan vLLM: ~1.000 tok/s pada 64 konkuren (GEMM tensor-core int8, status fp16 DeltaNet), ~114 tok/s pengguna tunggal pada sampling default / ~124 greedy (draft MTP, vocab draft output sendiri, lm_head int4 terkalibrasi, verifikasi attention split-KV), konteks 150k-262k; patch, skrip requant, benchmark

Koleksi makalah, laporan teknis, framework, and alat pilihan untuk on-policy distillation (OPD) pada model bahasa besar

Mesin Inferensi Pure Rust

Dekode LLM hingga 4x lebih cepat di Apple Silicon, tanpa kehilangan data. Port MLX asli dari DSpark DeepSeek & DFlash speculative decoding z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0, ternary Bonsai-27B.

Dari guru ke tile — mesin distilasi & penyajian LLM dari awal: kernel Triton/CUDA kustom, distilasi FSDP, batching kontinu paged-KV, dekoding spekulatif, gateway Rust, oracle JAX, dan alat interpretabilitas.