साइन इन करें

vllm-project/vllm

LLM के लिए एक हाई-थ्रूपुट और मेमोरी-कुशल इन्फेरेंस और सर्विंग इंजन

↗ GitHub पर खोलें

स्टार

90,817

फ़ोर्क

21,619

भाषा

Python

लाइसेंस

Apache-2.0

आख़िरी push

1 सप्ताह पहले

Python openai llm cuda gpt transformer pytorch deepseek qwen llama inference kimi qwen3 tpu llm-serving model-serving moe deepseek-v3 amd gpt-oss blackwell

Hacker News सर्वश्रेष्ठ2 सप्ताह पहले

vLLM v0.28.0

mrrrcs द्वारा107 अंक38 टिप्पणियाँचर्चा → GitHub रिपॉजिटरी: vllm-project/vllm