llamacpp

Jan adalah alternatif sumber terbuka untuk ChatGPT yang berjalan 100% luring di komputer Anda.

Otak kedua AI Anda. Dapat di-self-host. Dapatkan jawaban dari web atau dokumen Anda. Bangun agen kustom, jadwalkan otomatisasi, lakukan riset mendalam. Ubah LLM online atau lokal apa pun menjadi AI otonom pribadi Anda (gpt, claude, gemini, llama, qwen, mistral). Mulai secara gratis.

Kerangka kerja terpadu untuk membangun pipeline RAG perusahaan dengan model kecil yang terspesialisasi

Chatbot mirip ChatGPT yang di-host sendiri dan offline. Ditenagai oleh Llama 2. 100% privat, tanpa data yang meninggalkan perangkat Anda. Baru: Dukungan Code Llama!

Toolkit siap produksi untuk menjalankan AI secara lokal

Ganti GPT dengan LLM apa pun hanya dengan mengubah satu baris kode. Xinference memungkinkan Anda menjalankan model open-source, ucapan, dan multimodal di cloud, on-premise, atau laptop Anda — semuanya melalui satu API inferensi terpadu yang siap untuk produksi.

Kuantisasi, kernel, runtime, dan mesin inferensi untuk perangkat seluler, perangkat yang dapat dikenakan, rumah pintar, dan robot.

⚡ Mesin inferensi WebGPU berbasis Pure-Rust — Kompatibel dengan OpenAI-API, mendukung GGUF secara native, berjalan di GPU apa pun. Tanpa Python. Tanpa llama.cpp. Berupa biner tunggal.

Pertukaran model yang andal untuk server lokal yang kompatibel dengan OpenAI/Anthropic - llama.cpp, vllm, dll

Agen Anda di terminal, dilengkapi dengan alat lokal: menulis kode, menggunakan terminal, dan menjelajahi web. Buat agen otonom persisten Anda sendiri di atasnya!

State of the Art Natural Language Processing.

Pustaka C#/.NET untuk menjalankan LLM (🦙LLaMA/LLaVA) di perangkat lokal Anda secara efisien.

The most no-nonsense, locally or API-hosted AI code completion plugin for Visual Studio Code - like GitHub Copilot but 100% free.

AGiXT adalah platform otomatisasi Agen AI dinamis yang mengorkestrasi manajemen instruksi dan eksekusi tugas kompleks di berbagai penyedia AI secara mulus. Dengan menggabungkan memori adaptif, fitur cerdas, dan sistem plugin yang serbaguna, AGiXT menghadirkan solusi AI yang efisien dan komprehensif.

LSP-AI adalah server bahasa sumber terbuka yang berfungsi sebagai backend untuk fungsionalitas berbasis AI, dirancang untuk membantu dan memberdayakan insinyur perangkat lunak, bukan menggantikan mereka.

RamaLama adalah alat pengembang open-source yang menyederhanakan penyajian lokal model AI dari sumber apa pun dan memfasilitasi penggunaannya untuk inferensi dalam produksi, semuanya melalui bahasa kontainer yang sudah dikenal.

Demo Bonsai

Model AI pra-latih lokal yang instan dan dapat dikontrol dalam Rust.

Text-To-Speech, RAG, dan LLM. Semuanya berjalan secara lokal!

Panel kontrol untuk VLLM, Sglang, llama.cpp, exllamav3

Load balancer dan platform penyajian LLM/VLM open-source untuk hosting mandiri LLM (dan VLM) dalam skala besar 🏓🦙 Alternatif untuk proyek seperti llm-d, Docker Model Runner, dll tetapi dengan komponen yang lebih sedikit dan penerapan sederhana yang dibangun di sekitar ekosistem ggml. Berjalan di CPU dan GPU.

Mengobrol dengan model LLaMA favorit Anda dalam aplikasi native macOS

Aplikasi AI lokal dan mesin inferensi untuk agen. Jalankan LLM bobot-terbuka secara lokal — privat, 100% offline di komputer Anda. Bergabunglah dengan Discord kami: https://discord.com/invite/8wGSsvmg4V

Membangun aplikasi LLM yang siap produksi dan agen tingkat lanjut menggunakan Python, LangChain, and LangGraph. Ini adalah repositori pendamping untuk buku tentang AI generatif dengan LangChain.

Menghitung token/s & kebutuhan memori GPU untuk LLM apa pun. Mendukung kuantisasi llama.cpp/ggml/bnb/QLoRA

Cara termudah menggunakan Ollama di .NET

🌌 Berikan jiwa pada karakter favorit Anda. Soul of Waifu adalah aplikasi desktop roleplay & pendamping AI yang menampilkan avatar Live2D/VRM, obrolan suara & LLM lokal. Berkembang bersama melalui obrolan imersif, petualangan RPG, dan desktop Anda.

Binding WebAssembly untuk llama.cpp - Memungkinkan inferensi LLM di dalam peramban

Layanan FastAPI untuk pencarian teks semantik menggunakan embedding yang telah dihitung sebelumnya dan ukuran kemiripan tingkat lanjut, dengan dukungan bawaan untuk berbagai jenis file melalui textract.

Menjalankan GGUF SLM/LLM apa pun secara lokal, langsung di perangkat Android