speculative-decoding

Máy chủ suy luận phỏng đoán LLM cho phần cứng tiêu dùng và không đồng nhất

Triển khai chính thức của EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) và EAGLE-3 (NeurIPS'25).

Công cụ suy luận LLM quy mô lớn

Tốc độ nhanh hơn 3x trên MLX | Qwen 3.8 27B | Giải mã dự đoán MTP gốc trên Apple Silicon mà không cần trình nháp ngoài.

Bộ công cụ nén mô hình được thiết kế để nâng cao tính dễ sử dụng, tính toàn diện và hiệu quả.

Qwen3.8-27B chạy trên một card RTX 3090 duy nhất với vLLM: ~1.000 tok/s ở mức 64 luồng đồng thời (int8 tensor-core GEMMs, trạng thái fp16 DeltaNet), ~114 tok/s cho người dùng đơn lẻ ở chế độ lấy mẫu mặc định / ~124 greedy (MTP drafts, từ vựng dự đoán đầu ra riêng, lm_head int4 đã hiệu chỉnh, split-KV verify attention), ngữ cảnh 150k-262k; bao gồm các bản vá, tập lệnh tái lượng tử hóa và các bài kiểm tra hiệu năng.

Bộ sưu tập các bài báo, báo cáo kỹ thuật, khung làm việc và công cụ được tuyển chọn cho việc chưng cất theo chính sách (OPD) của các mô hình ngôn ngữ lớn

Công cụ suy luận (Inference Engine) viết bằng Rust thuần

Giải mã LLM nhanh hơn tới 4 lần trên Apple Silicon, không mất dữ liệu. Bản port MLX gốc của DSpark từ DeepSeek và DFlash từ z-lab cho giải mã suy đoán — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0, ternary Bonsai-27B.

Từ mô hình giáo viên đến mô hình tối ưu — engine chưng cất & phục vụ LLM từ đầu: các kernel Triton/CUDA tùy chỉnh, chưng cất FSDP, phân trang KV batching liên tục, giải mã suy đoán, gateway Rust, oracle JAX và công cụ diễn giải.