vllm
vllm टैग वाली ट्रैक की गई ओपन सोर्स रिपॉजिटरी, स्टार के हिसाब से क्रमबद्ध।
- #31
Prometheus और GPT4 के साथ अपने LLM के रिस्पॉन्स का मूल्यांकन करें 💯
★ 1,111+4पिछले 7 दिनों में स्टार का बदलाव - #32
C++ और CUDA में अपना खुद का उच्च-प्रदर्शन LLM इन्फेरेंस इंजन बनाएं - vLLM का एक छोटा संस्करण
★ 1,094+15पिछले 7 दिनों में स्टार का बदलाव - #33★ 968+64पिछले 7 दिनों में स्टार का बदलाव
- #34★ 936+17पिछले 7 दिनों में स्टार का बदलाव
- #35
LLM नोट्स, जिसमें मॉडल इन्फरेंस, ट्रांसफॉर्मर मॉडल संरचना और LLM फ्रेमवर्क कोड विश्लेषण नोट्स शामिल हैं।
★ 890+1पिछले 7 दिनों में स्टार का बदलाव - #36
LLM इन्फरेंस सर्विंग और ऑप्टिमाइज़ेशन के लिए 10-सप्ताह, 30-मिनट-प्रति-दिन का रोडमैप। vLLM, SGLang, क्वांटाइज़ेशन, स्पेक्युलेटिव डिकोडिंग, बेंचमार्किंग।
★ 882+77पिछले 7 दिनों में स्टार का बदलाव - #37
एक स्थानीय, ऑफलाइन (प्रारंभिक सेटअप के बाद), पोर्टेबल OCR सॉफ़्टवेयर जो DeepSeek-OCR-2 AI का उपयोग करके सीधे आपकी मशीन पर इमेज और PDF फ़ाइलों को प्रोसेस कर सकता है।
★ 874+3पिछले 7 दिनों में स्टार का बदलाव - #38
Debian पर अपना स्थानीय और पूरी तरह से निजी LLM सर्वर सेटअप करने के लिए एंड-टू-एंड डॉक्यूमेंटेशन। इसमें चैट, वेब सर्च, RAG, मॉडल मैनेजमेंट, MCP सर्वर, इमेज जनरेशन और TTS की सुविधा है।
★ 834-2पिछले 7 दिनों में स्टार का बदलाव - #39
Discord को अपना LLM फ्रंटएंड बनाएं - किसी भी OpenAI संगत API (OpenRouter, Ollama और अन्य) का समर्थन करता है।
★ 830+4पिछले 7 दिनों में स्टार का बदलाव - #40
संवादात्मक डेटा खोज और विश्लेषण के लिए Language Models (LLMs) द्वारा संचालित एक Python लाइब्रेरी।
★ 787+1पिछले 7 दिनों में स्टार का बदलाव - #41
[EMNLP 2024 & AAAI 2026] LLMs, VLMs और वीडियो जेनरेटिव मॉडल सहित बड़े मॉडलों को कंप्रेस करने के लिए एक शक्तिशाली टूलकिट।
★ 747+4पिछले 7 दिनों में स्टार का बदलाव - #42
Pure Rust + CUDA LLM इन्फरेंस इंजन — कोई PyTorch नहीं, OpenAI-compatible, Qwen3 से Kimi-K2 तक सर्व करता है
★ 676+18पिछले 7 दिनों में स्टार का बदलाव - #43
LLM अनुमान (inference) प्रणालियों के लिए सटीक, बड़े पैमाने पर और विस्तार योग्य सिम्युलेटर
★ 673+5पिछले 7 दिनों में स्टार का बदलाव - #44
EfficientSAM3 प्रोग्रेसिव नॉलेज डिस्टिलेशन के माध्यम से SAM3 को हल्के, एज-फ्रेंडली मॉडल में कंप्रेस करता है, जो तेज़ प्रॉम्प्टेबल कॉन्सेप्ट सेगमेंटेशन और ट्रैकिंग के लिए है।
★ 667+9पिछले 7 दिनों में स्टार का बदलाव - #45
SparkTTS, OrpheusTTS आदि मॉडल के आधार पर, उच्च गुणवत्ता वाली चीनी वाक् संश्लेषण और ध्वनि क्लोनिंग सेवाएँ प्रदान करता है।
★ 613+1पिछले 7 दिनों में स्टार का बदलाव - #46
[CVPR 2025] RoboBrain: रोबोटिक मैनिपुलेशन के लिए एक एकीकृत ब्रेन मॉडल। आधिकारिक रिपॉजिटरी
★ 564+0पिछले 7 दिनों में स्टार का बदलाव - #47★ 554+1पिछले 7 दिनों में स्टार का बदलाव
- #48
vLLM सर्वर (www.github.com/vllm-project/vllm) को प्रबंधित और इंटरैक्ट करने के लिए एक आधुनिक वेब इंटरफेस। यह GPU और CPU दोनों मोड का समर्थन करता है, जिसमें macOS Apple Silicon और OpenShift/Kubernetes पर एंटरप्राइज़ परिनियोजन के लिए विशेष अनुकूलन शामिल हैं।
★ 530+8पिछले 7 दिनों में स्टार का बदलाव - #49
Self-hosted AI agent OS. Your memory, chat, agents, and files stay on hardware you own, offline by default, cloud by choice. Offline AI memory (taOSmd), self-hosted multi-framework group chat, a full web desktop + app store, and auto-clustering across the consumer hardware you already have (Orange/Raspberry Pi, Mac mini, gaming PC).
★ 519+14पिछले 7 दिनों में स्टार का बदलाव - #50
Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility across vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini & more. Industry-first gRPC pipeline, KV cache-aware routing, chat history, tokenization caching, Responses API, embeddings, WASM plugins, MCP, and multi-tenant auth.
★ 512—पिछले 7 दिनों में स्टार का बदलाव - #51
Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton
★ 507—पिछले 7 दिनों में स्टार का बदलाव - #52★ 505-1पिछले 7 दिनों में स्टार का बदलाव
