speculative-decoding
speculative-decoding टैग वाली ट्रैक की गई ओपन सोर्स रिपॉजिटरी, स्टार के हिसाब से क्रमबद्ध।
मिलते-जुलते विषय
वे विषय जो अक्सर एक ही रिपॉजिटरी पर speculative-decoding के साथ आते हैं।
हाल में उभरे
पिछले 90 दिनों में बनी और speculative-decoding टैग वाली रिपॉजिटरी।
- #1
vLLM के साथ सिंगल RTX 3090 पर Qwen3.8-27B: 64 समवर्ती पर ~1,000 tok/s (int8 tensor-core GEMMs, fp16 DeltaNet state), डिफ़ॉल्ट सैंपलिंग पर ~114 tok/s सिंगल-यूज़र / ~124 ग्रीडी (MTP ड्राफ्ट, own-output draft vocab, कैलिब्रेटेड int4 lm_head, split-KV verify attention), 150k-262k संदर्भ; पैच, रीक्वांट स्क्रिप्ट, बेंचमार्क
★ 1,197 - #2
Apple Silicon पर 4 गुना तेज़ LLM डिकोडिंग, बिना किसी नुकसान के। DeepSeek के DSpark और z-lab के DFlash स्पेक्युलेटिव डिकोडिंग का नेटिव MLX पोर्ट — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0, टर्नरी Bonsai-27B।
★ 640 - #3
Qwen3.8-27B (bf16) on a free Kaggle TPU: OpenAI-compatible endpoint, 262k context, ~130 tok/s, works with Claude Code, Codex, Opencode and Pi.
★ 146
- #1★ 2,829+16पिछले 7 दिनों में स्टार का बदलाव
- #2
EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24), और EAGLE-3 (NeurIPS'25) का आधिकारिक कार्यान्वयन।
★ 2,521+7पिछले 7 दिनों में स्टार का बदलाव - #3
MLX पर 3x तेज़ गति | Qwen 3.8 27B | बिना किसी बाहरी ड्राफ्टर के Apple Silicon पर नेटिव MTP स्पेकुलेटिव डिकोडिंग।
★ 1,944+173पिछले 7 दिनों में स्टार का बदलाव - #4★ 1,847+3पिछले 7 दिनों में स्टार का बदलाव
- #5★ 1,619+58पिछले 7 दिनों में स्टार का बदलाव
- #6
vLLM के साथ सिंगल RTX 3090 पर Qwen3.8-27B: 64 समवर्ती पर ~1,000 tok/s (int8 tensor-core GEMMs, fp16 DeltaNet state), डिफ़ॉल्ट सैंपलिंग पर ~114 tok/s सिंगल-यूज़र / ~124 ग्रीडी (MTP ड्राफ्ट, own-output draft vocab, कैलिब्रेटेड int4 lm_head, split-KV verify attention), 150k-262k संदर्भ; पैच, रीक्वांट स्क्रिप्ट, बेंचमार्क
★ 1,197+316पिछले 7 दिनों में स्टार का बदलाव - #7
लार्ज लैंग्वेज मॉडल्स के ऑन-पॉलिसी डिस्टिलेशन (OPD) के लिए पेपर्स, तकनीकी रिपोर्ट्स, फ्रेमवर्क्स और टूल्स का एक क्यूरेटेड संग्रह
★ 791+31पिछले 7 दिनों में स्टार का बदलाव - #8★ 675+3पिछले 7 दिनों में स्टार का बदलाव
- #9
Apple Silicon पर 4 गुना तेज़ LLM डिकोडिंग, बिना किसी नुकसान के। DeepSeek के DSpark और z-lab के DFlash स्पेक्युलेटिव डिकोडिंग का नेटिव MLX पोर्ट — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0, टर्नरी Bonsai-27B।
★ 640+25पिछले 7 दिनों में स्टार का बदलाव - #10
शून्य से निर्मित LLM डिस्टिलेशन और सर्विंग इंजन: कस्टम Triton/CUDA कर्नेल, FSDP डिस्टिलेशन, पेज्ड-KV कंटीन्यूअस बैचिंग, सट्टा डिकोडिंग, एक Rust गेटवे, एक JAX ओरेकल और व्याख्यात्मकता उपकरण।
★ 566+30पिछले 7 दिनों में स्टार का बदलाव
