मुख्य सामग्री पर जाएँ
buildradar
Sign in

patchy631/time-to-first-token

@patchy631

LLM इन्फरेंस सर्विंग और ऑप्टिमाइज़ेशन के लिए 10-सप्ताह, 30-मिनट-प्रति-दिन का रोडमैप। vLLM, SGLang, क्वांटाइज़ेशन, स्पेक्युलेटिव डिकोडिंग, बेंचमार्किंग।

स्टार
881
फ़ोर्क
103
भाषा
HTML
लाइसेंस
Apache-2.0
आख़िरी push
3 सप्ताह पहले
HTMLllmllm-inferencevllmmlopsroadmaplearning-resourcessglang

अभी कोई संबंधित intel नहीं

यह रिपॉजिटरी radar द्वारा ट्रैक किए जाने वाले किसी भी स्रोत में अभी तक नहीं आई है। कलेक्टर एक शेड्यूल पर चलता है — जब यह इस रिपॉजिटरी को कवर करे तब वापस देखें।