llamacpp

Jan ChatGPT का एक ओपन सोर्स विकल्प है जो आपके कंप्यूटर पर 100% ऑफ़लाइन चलता है।

आपका AI दूसरा दिमाग। सेल्फ-होस्ट करने योग्य। वेब या अपने दस्तावेज़ों से उत्तर प्राप्त करें। कस्टम एजेंट बनाएं, स्वचालन शेड्यूल करें, गहन शोध करें। किसी भी ऑनलाइन या स्थानीय LLM को अपने पर्सनल, स्वायत्त AI (gpt, claude, gemini, llama, qwen, mistral) में बदलें। शुरुआत करें - मुफ़्त।

छोटे, विशिष्ट मॉडल के साथ एंटरप्राइज़ RAG पाइपलाइन बनाने के लिए एकीकृत फ़्रेमवर्क

एक सेल्फ-होस्टेड, ऑफ़लाइन, ChatGPT जैसा चैटबॉट। Llama 2 द्वारा संचालित। 100% निजी, कोई भी डेटा आपके डिवाइस से बाहर नहीं जाता है। नया: Code Llama समर्थन!

स्थानीय रूप से AI चलाने के लिए प्रोडक्शन-रेडी टूलकिट

कोड की एक ही लाइन बदलकर किसी भी LLM के लिए GPT को स्वैप करें। Xinference आपको क्लाउड, ऑन-प्रिमाइस या अपने लैपटॉप पर ओपन-सोर्स, स्पीच और मल्टीमॉडल मॉडल चलाने की अनुमति देता है — यह सब एक एकीकृत, प्रोडक्शन-रेडी इन्फेरेंस API के माध्यम से।

मोबाइल, पहनने योग्य उपकरणों, स्मार्ट होम और रोबोट के लिए क्वांटाइजेशन, कर्नेल, रनटाइम और अनुमान इंजन।

⚡ प्योर-Rust WebGPU इन्फेरेंस इंजन — OpenAI-API संगत, GGUF नेटिव, किसी भी GPU पर चलता है। कोई Python नहीं। कोई llama.cpp नहीं। सिंगल बाइनरी।

किसी भी स्थानीय OpenAI/Anthropic संगत सर्वर - llama.cpp, vllm, आदि के लिए विश्वसनीय मॉडल स्वैपिंग

स्थानीय टूल से लैस आपके टर्मिनल में आपका एजेंट: कोड लिखता है, टर्मिनल का उपयोग करता है, वेब ब्राउज़ करता है। इसके शीर्ष पर अपना खुद का लगातार स्वायत्त एजेंट बनाएं!

कला की स्थिति Natural Language Processing

आपके स्थानीय डिवाइस पर LLM (🦙LLaMA/LLaVA) को कुशलतापूर्वक चलाने के लिए एक C#/.NET लाइब्रेरी।

The most no-nonsense, locally or API-hosted AI code completion plugin for Visual Studio Code - like GitHub Copilot but 100% free.

AGiXT एक गतिशील AI एजेंट स्वचालन प्लेटफ़ॉर्म है जो विभिन्न AI प्रदाताओं में निर्देश प्रबंधन और जटिल कार्य निष्पादन को सहजता से व्यवस्थित करता है। अनुकूली मेमोरी, स्मार्ट सुविधाओं और एक बहुमुखी प्लगइन सिस्टम को मिलाकर, AGiXT कुशल और व्यापक AI समाधान प्रदान करता है।

LSP-AI एक ओपन-सोर्स भाषा सर्वर है जो AI-संचालित कार्यक्षमता के लिए बैकएंड के रूप में कार्य करता है, जिसे सॉफ्टवेयर इंजीनियरों की सहायता करने और उन्हें सशक्त बनाने के लिए डिज़ाइन किया गया है, न कि उन्हें बदलने के लिए।

RamaLama एक ओपन-सोर्स डेवलपर टूल है जो किसी भी स्रोत से AI मॉडल की स्थानीय सर्विसिंग को सरल बनाता है और कंटेनरों की परिचित भाषा के माध्यम से उत्पादन में अनुमान के लिए उनके उपयोग को सुविधाजनक बनाता है।

Bonsai डेमो

Rust में तुरंत, नियंत्रित और स्थानीय प्री-ट्रेन किए गए AI मॉडल

टेक्स्ट-टू-स्पीच, RAG, और LLMs। सब कुछ स्थानीय!

VLLM, Sglang, llama.cpp, exllamav3 के लिए कंट्रोल पैनल

बड़े पैमाने पर LLMs (और VLMs) को सेल्फ-होस्ट करने के लिए ओपन-सोर्स LLM/VLM लोड बैलेंसर और सर्विंग प्लेटफॉर्म 🏓🦙 llm-d, Docker Model Runner जैसे प्रोजेक्ट्स का एक विकल्प, लेकिन ggml इकोसिस्टम के इर्द-गिर्द बने कम गतिशील भागों और सरल डिप्लॉयमेंट के साथ। CPU और GPU पर चलता है।

एक मूल macOS ऐप में अपने पसंदीदा LLaMA मॉडल के साथ चैट करें

एजेंटों के लिए स्थानीय AI ऐप और इन्फेरेंस इंजन। ओपन-वेट LLMs को स्थानीय रूप से चलाएं - निजी, आपके कंप्यूटर पर 100% ऑफ़लाइन। हमारे Discord से जुड़ें: https://discord.com/invite/8wGSsvmg4V

Python, LangChain और LangGraph का उपयोग करके प्रोडक्शन-रेडी LLM एप्लिकेशन और उन्नत एजेंट बनाएं। यह LangChain के साथ जनरेटिव AI पर पुस्तक के लिए साथी रिपॉजिटरी है।

किसी भी LLM के लिए token/s और GPU मेमोरी आवश्यकता की गणना करें। llama.cpp/ggml/bnb/QLoRA क्वांटाइजेशन का समर्थन करता है

.NET में Ollama का उपयोग करने का सबसे आसान तरीका

🌌 अपने पसंदीदा पात्रों को एक आत्मा दें। Soul of Waifu एक डेस्कटॉप रोलप्ले और AI साथी ऐप है जिसमें Live2D/VRM अवतार, वॉयस चैट और स्थानीय LLM शामिल हैं। इमर्सिव चैट, RPG एडवेंचर्स और अपने डेस्कटॉप पर एक साथ विकसित हों।

llama.cpp के लिए WebAssembly बाइंडिंग - ब्राउज़र पर LLM अनुमान को सक्षम करना

प्रीकंप्यूटेड एम्बेडिंग और उन्नत समानता उपायों का उपयोग करके सिमेंटिक टेक्स्ट खोज के लिए एक FastAPI सेवा, जिसमें textract के माध्यम से विभिन्न फ़ाइल प्रकारों के लिए अंतर्निहित समर्थन है।

Android पर स्थानीय रूप से, ऑन-डिवाइस किसी भी GGUF SLMs/LLMs को चलाना।