llamacpp

कोड पूर्णता (और अधिक?) के लिए LLMs का उपयोग करने वाला LSP सर्वर

मेरी पुस्तक "A Hands-On Guide to Fine-Tuning LLMs with PyTorch and Hugging Face" का आधिकारिक रिपॉजिटरी।

Debian पर अपना स्थानीय और पूरी तरह से निजी LLM सर्वर सेटअप करने के लिए एंड-टू-एंड डॉक्यूमेंटेशन। इसमें चैट, वेब सर्च, RAG, मॉडल मैनेजमेंट, MCP सर्वर, इमेज जनरेशन और TTS की सुविधा है।

शुद्ध Java में Llama 3+ इन्फरेंस

आज Android पर उपलब्ध सबसे उन्नत, पूरी तरह से ऑफ़लाइन क्लाइंट-साइड AI सूट।

🤖 LLMs के लिए TUI

llama-cpp-agent फ्रेमवर्क Large Language Models (LLMs) के साथ आसानी से बातचीत करने के लिए डिज़ाइन किया गया एक टूल है। उपयोगकर्ताओं को LLM मॉडल के साथ चैट करने, संरचित फ़ंक्शन कॉल निष्पादित करने और संरचित आउटपुट प्राप्त करने की अनुमति देता है। JSON आउटपुट और फ़ंक्शन कॉल के लिए फ़ाइन-ट्यून न किए गए मॉडल के साथ भी काम करता है।

Yet Another Language Model: C++/CUDA में LLM अनुमान, I/O को छोड़कर कोई लाइब्रेरी नहीं

Go विथ योर ओन इंटेलिजेंस - Go एप्लिकेशन जो हार्डवेयर एक्सेलेरेशन का उपयोग करके स्थानीय इन्फरेंस के लिए सीधे llama.cpp को एकीकृत करते हैं

Visual Studio Code और Continue एक्सटेंशन के साथ Code Llama का उपयोग करें। GitHub Copilot का एक स्थानीय LLM विकल्प।

स्टेटिक suckless सिंगल बैच CUDA-only qwen3-0.6B मिनी इन्फेरेंस इंजन

llama.cpp का उपयोग करके एम्बेडेड वेक्टर सर्च और सिमेंटिक एम्बेडिंग के लिए Go लाइब्रेरी।

Claude Code CLI का उपयोग करके कुशल कोड इंटरैक्शन के लिए HTTP प्रॉक्सी के रूप में कार्य करने वाले CLI टूल Lynkr के साथ अपने वर्कफ़्लो को सुव्यवस्थित करें।

Browser Operator - The AI browser with built in Multi-Agent platform! Open source alternative to ChatGPT Atlas, Perplexity Comet, Dia and Microsoft CoPilot Edge Browser