llm-inference

शुद्ध Java में Llama 3+ इन्फरेंस

LeaderWorkerSet: पॉड्स के समूह को रेप्लिकेशन की एक इकाई के रूप में तैनात करने के लिए एक API

LLM-PowerHouse: क्यूरेटेड ट्यूटोरियल, सर्वोत्तम प्रथाओं और कस्टम प्रशिक्षण व अनुमान के लिए कोड के माध्यम से LLMs की क्षमता को अनलॉक करें।

LLMFlows - सरल, स्पष्ट और पारदर्शी LLM ऐप्स।

USP: लॉन्ग कॉंटेक्स्ट ट्रांसफॉर्मर मॉडल ट्रेनिंग और इन्फेडरेंस के लिए यूनिफाइड (यानि हाइब्रिड, 2D) सीक्वेंस पैरेलल अटेंशन

Pure Rust + CUDA LLM इन्फरेंस इंजन — कोई PyTorch नहीं, OpenAI-compatible, Qwen3 से Kimi-K2 तक सर्व करता है

शुद्ध Rust इन्फेरेंस इंजन

Apple Silicon पर 4 गुना तेज़ LLM डिकोडिंग, बिना किसी नुकसान के। DeepSeek के DSpark और z-lab के DFlash स्पेक्युलेटिव डिकोडिंग का नेटिव MLX पोर्ट — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0, टर्नरी Bonsai-27B।

Official SGLang × Datawhale course on LLM inference (中英双语): understand inference, build a mini-sglang from scratch, then read the real SGLang source and land your first PR. 《从零手搓SGLang》：读懂推理，手搓 mini-sglang，吃透 SGLang 源码。

Rust में RDNA-नेटिव LLM इन्फरेंस इंजन

Rockchip NPU के लिए Ollama का विकल्प: अनुकूलित NPU सपोर्ट (rkllm) के साथ Rockchip डिवाइस पर AI और डीप लर्निंग मॉडल चलाने के लिए एक कुशल समाधान

Yet Another Language Model: C++/CUDA में LLM अनुमान, I/O को छोड़कर कोई लाइब्रेरी नहीं

ओपन-सोर्स स्थानीय AI SDK - बिना क्लाउड, बिना API कुंजियों के डिवाइस पर AI चलाएं। GGUF, RAG, इमेज, म्यूजिक और वीडियो जनरेशन, स्पीच-टू-टेक्स्ट, P2P इन्फर्न्स और बहुत कुछ समर्थित है। क्रॉस-प्लेटफ़ॉर्म: Linux, macOS, Windows, Android, iOS।

AI असिस्टेंट के साथ न्यूनतम वेब-सर्चिंग प्लेटफ़ॉर्म जो सीधे आपके ब्राउज़र से चलता है।

git worktrees के साथ समानांतर में बड़ी संख्या में कोडिंग एजेंट चलाने के लिए CLI।

लोकल AI असिस्टेंट

LLM (लार्ज लैंग्वेज मॉडल) फाइन-ट्यूनिंग

कैंपस प्लेसमेंट, इंटर्नशिप के लिए एक बेहतरीन प्रोजेक्ट, जो आपको शून्य से LLama2/3 और Qwen2.5 का समर्थन करने वाला लार्ज मॉडल इन्फरेंस फ्रेमवर्क बनाना सिखाता है।

स्टेटिक suckless सिंगल बैच CUDA-only qwen3-0.6B मिनी इन्फेरेंस इंजन

Self-hosted AI agent OS. Your memory, chat, agents, and files stay on hardware you own, offline by default, cloud by choice. Offline AI memory (taOSmd), self-hosted multi-framework group chat, a full web desktop + app store, and auto-clustering across the consumer hardware you already have (Orange/Raspberry Pi, Mac mini, gaming PC).

LLMs के लिए एक लो-लेटेंसी और हाई-थ्रूपुट सर्विंग इंजन

Krasis एक हाइब्रिड LLM रनटाइम है जो सीमित VRAM वाले उपभोक्ता-ग्रेड हार्डवेयर पर बड़े मॉडलों को कुशलतापूर्वक चलाने पर केंद्रित है

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton

vLLM का उपयोग करके LLM सर्व करने के लिए एक कमांड-लाइन इंटरफ़ेस टूल