llama-cpp

Distribusikan dan jalankan LLM dengan satu file.

Aplikasi dikte macOS tercepat dengan STT on-device dan model peningkatan AI yang dilatih khusus. Tersedia build untuk Windows! Alternatif lokal untuk Wispr Flow.

Chatbot mirip ChatGPT yang di-host sendiri dan offline. Ditenagai oleh Llama 2. 100% privat, tanpa data yang meninggalkan perangkat Anda. Baru: Dukungan Code Llama!

Ganti GPT dengan LLM apa pun hanya dengan mengubah satu baris kode. Xinference memungkinkan Anda menjalankan model open-source, ucapan, dan multimodal di cloud, on-premise, atau laptop Anda — semuanya melalui satu API inferensi terpadu yang siap untuk produksi.

Model SenseVoiceSmall sumber terbuka untuk ASR bahasa Mandarin, Kanton, Inggris, Jepang, dan Korea, identifikasi bahasa, pengenalan emosi, dan deteksi peristiwa audio.

Ubah PC, Mac, atau perangkat Linux Anda menjadi server AI. Inferensi LLM, UI obrolan, suara, agen, alur kerja, RAG, dan pembuatan gambar.

Pustaka C#/.NET untuk menjalankan LLM (🦙LLaMA/LLaVA) di perangkat lokal Anda secara efisien.

Platform Keterampilan Kamera AI Sumber Terbuka, AI NVR & Pengawasan CCTV. Analisis video VLM lokal dengan Qwen, DeepSeek, SmolVLM, LLaVA, YOLO26. Agen kamera keamanan berbasis LLM — memantau, memahami, mengingat, dan menjaga rumah Anda melalui Telegram, Discord, atau Slack. Keterampilan AI yang dapat dipasang. OpenAI, Google, Anthropic, atau AI lokal. Berjalan di Mac Mini & AI PC.

Pisau lipat Swiss untuk AI offline. Mengobrol, melihat, berbicara, dan menghasilkan gambar di ponsel atau Mac Anda — mendukung LLM GGUF, visi, pengenalan suara Whisper, Stable Diffusion, pemanggilan alat, dan server jaringan lokal. Berjalan di CPU, GPU, atau NPU Anda. Tanpa akun, tanpa kunci API, data tidak keluar dari perangkat Anda.

Server inferensi spekulatif LLM untuk perangkat konsumen dan heterogen

Maid adalah aplikasi sumber terbuka gratis untuk berinteraksi dengan model llama.cpp secara lokal, serta model Anthropic, DeepSeek, Ollama, Mistral, dan OpenAI secara jarak jauh.

AI Agent Local First. Dioptimalkan untuk model AI lokal. Jendela konteks panjang. Pemanggilan alat yang tepat. Berjalan secara pribadi di perangkat Anda.

Framework Python untuk pemanggilan tool LLM yang di-host sendiri dan alur kerja agentic multi-langkah

Jalankan model AI secara lokal di mesin Anda dengan binding node.js untuk llama.cpp. Terapkan skema JSON pada output model di tingkat generasi

Buat karakter di Unity dengan LLM!

Bicaralah dengan Mac Anda, kueri dokumen Anda, tidak perlu cloud. AI suara di perangkat + RAG

Keluarga model ASR berbasis LLM open-source untuk bahasa Mandarin, dialek, aksen, dan ucapan multilingual, lengkap dengan runtime FunASR, vLLM, streaming, dan llama.cpp.

Rumah yang nyaman untuk LLM Anda.

llama.go mirip seperti llama.cpp dalam Golang murni!

Binding React Native untuk llama.cpp

Membangun dan menjalankan agen AI menggunakan Docker Compose. Kumpulan contoh siap pakai untuk mengorkestrasi LLM sumber terbuka, alat, dan runtime agen.

Cotabby adalah pelengkapan otomatis AI lokal untuk seluruh Mac Anda. Sumber terbuka. Di perangkat. Di mana pun Anda mengetik.

Monitor sistem Apple Silicon tanpa Sudoless (GUI SwiftUI native) dengan pelacakan ANE / Media Engine / bandwidth memori

Alat penerjemah layar real-time Android sumber terbuka tanpa ROOT, cocok untuk game, novel visual, dan manga. Mendukung OCR perangkat dan cloud, LLM offline, berbagai layanan terjemahan, dan text-to-speech (TTS), dengan terjemahan yang langsung ditampilkan di layar.

Agen koding minimalis berbasis terminal yang ditulis dalam C.

Wawancara evaluasi mandiri untuk pembuat kode AI

Node ComfyUI untuk model vision-language: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Ditambah deteksi open-vocabulary, segmentasi SAM2/SAM3, penalaran temporal video, GGUF melalui llama.cpp, dan API LLM/VLM yang dihost.

GraphRAG-rs adalah implementasi Rust berperforma tinggi dan mutakhir dari GraphRAG (Retrieval Augmented Generation berbasis grafik) yang membangun grafik pengetahuan dari dokumen dan memungkinkan kueri bahasa alami dengan ekstraksi entitas yang dapat dikonfigurasi dan integrasi LLM lokal

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp