local-llm

Framework agen AI pribadi yang sangat ringan, sumber terbuka, dan dapat di-host sendiri dalam Python dengan WebUI, alat, memori, MCP, alur kerja multi-agen, otomatisasi, dan aplikasi obrolan.

Distribusikan dan jalankan LLM dengan satu file.

~95% pada SimpleQA (misalnya Qwen3.6-27B pada 3090). Mendukung semua LLM lokal dan cloud (llama.cpp, Ollama, Google, ...). 10+ mesin pencari - arXiv, PubMed, dokumen pribadi Anda. Semuanya Lokal & Terenkripsi.

Framework orkestrasi agen AI TypeScript dengan alur kerja dinamis. Deskripsikan tujuannya, bukan grafiknya: koordinator merencanakan DAG tugas saat runtime dan menjalankannya di LLM mana pun (Claude, ChatGPT, Gemini, DeepSeek, atau model lokal).

Platform AI suara open-source. Alternatif self-hosted untuk Vapi dan Retell. On-premise, BYOK untuk Speech to Speech atau LLM/STT/TTS, dengan pembuat alur kerja visual, dukungan native MCP, dan teleponi.

AI kesehatan yang mengutamakan lokal: NER klinis & de-identifikasi PII HIPAA yang berjalan 100% pada perangkat. 2.200+ model medis, 21 bahasa, Apple MLX + Python, tanpa cloud, data pasien tidak meninggalkan jaringan Anda. Apache-2.0

Fine-tune LLM dari satu file YAML. Streaming layer melatih model 8B pada GPU laptop 4 GB.

Manfaatkan LLM dengan Pemrograman Multi-Agen

Mesin AI lokal tercepat untuk Apple Silicon. 4.2x lebih cepat dari Ollama, TTFT di-cache 0.08s, pemanggilan alat 100%. 17 parser alat, cache prompt, pemisahan penalaran, perutean cloud. Pengganti langsung OpenAI. Berfungsi dengan Claude Code, Cursor, Aider.

Buku catatan AI pribadi. Atur file & halaman web serta buat catatan darinya. Open source, lokal & data terbuka, pilihan model terbuka (termasuk lokal).

Jalankan Claude Code 100% di perangkat dengan AI lokal di Apple Silicon. Server Anthropic-API asli MLX. 6 model termasuk Muse-Glimmer 30B (sekarang multimodal — membaca gambar), Gemma 4 31B, Qwen 3.5 122B (65 tok/s), DeepSeek V4 Flash (1M ctx). Pribadi, offline, siap untuk airgap. Dibangun untuk alur kerja NDA / hukum / kesehatan.

Server web Go mandiri yang ringkas dengan dukungan untuk Lua, Teal, Markdown, HTTP/2, QUIC, Redis, TypeScript, React 19 tanpa npm, SQLite, dan PostgreSQL.

Daftar pilihan platform, alat, praktik, dan sumber daya luar biasa yang membantu menjalankan LLM secara lokal

Sebuah kerangka kerja yang dioptimalkan untuk LLM berukuran lebih kecil

AI Agent Local First. Dioptimalkan untuk model AI lokal. Jendela konteks panjang. Pemanggilan alat yang tepat. Berjalan secara pribadi di perangkat Anda.

Terjemahkan buku dan dokumen lengkap dengan Ollama, OpenAI (kompatibel), Gemini, Mistral, Poe, atau OpenRouter. Mempertahankan pemformatan. Melanjutkan dari bagian terakhir yang Anda tinggalkan. Tanpa batas ukuran file.

Endpoint API text-to-speech gratis dan berkualitas tinggi sebagai pengganti OpenAI, Azure, atau ElevenLabs

AI multimodal waktu nyata pada perangkat dengan fitur yang mirip dengan GPT-Live

Server inferensi LLM yang kompatibel dengan OpenAI dan Anthropic berkinerja tinggi untuk Apple Silicon. Dilengkapi MLX asli, continuous batching, model multimodal, pemanggilan alat MCP, dan dukungan Claude Code.

Row-Bot - Kedaulatan AI Pribadi. Asisten AI lokal dengan alat terintegrasi, grafik pengetahuan pribadi, suara, visi, shell, otomatisasi peramban, tugas terjadwal, pelacakan kesehatan, dan saluran pesan. Jalankan secara lokal melalui Ollama atau tambahkan model cloud opsional. Data Anda tetap berada di perangkat Anda.

Aplikasi AI lokal dan mesin inferensi untuk agen. Jalankan LLM bobot-terbuka secara lokal — privat, 100% offline di komputer Anda. Bergabunglah dengan Discord kami: https://discord.com/invite/8wGSsvmg4V

Fine-tune LLM di Mac Anda dengan Apple Silicon. SFT, DPO, GRPO, Vision, TTS, STT, Embedding, dan fine-tuning OCR — secara native di MLX. API yang kompatibel dengan Unsloth.

Studio AI lokal siap pakai: obrolan tanpa sensor, pembuatan gambar & video, agen koding. Menjalankan LLM abliterated + ComfyUI 100% secara offline. Satu penginstal, tanpa Docker, tanpa cloud.

🌌 Berikan jiwa pada karakter favorit Anda. Soul of Waifu adalah aplikasi desktop roleplay & pendamping AI yang menampilkan avatar Live2D/VRM, obrolan suara & LLM lokal. Berkembang bersama melalui obrolan imersif, petualangan RPG, dan desktop Anda.

Ouroboros — agen AI yang dapat menciptakan dirinya sendiri. Lahir 16 Feb 2026.

WUPHF memungkinkan Anda membuat kantor pribadi yang berisi rekan tim AI yang berkolaborasi melalui konteks bersama. Mendukung Claude Code, Codex, OpenClaw, OpenCode, LLM lokal.

Qwen3.8-27B pada satu RTX 3090 dengan vLLM: ~1.000 tok/s pada 64 konkuren (GEMM tensor-core int8, status fp16 DeltaNet), ~114 tok/s pengguna tunggal pada sampling default / ~124 greedy (draft MTP, vocab draft output sendiri, lm_head int4 terkalibrasi, verifikasi attention split-KV), konteks 150k-262k; patch, skrip requant, benchmark

Server MCP Pencarian Web sederhana yang dihosting secara lokal untuk digunakan dengan LLM lokal

Synthadoc: Mesin kompilasi pengetahuan LLM open-source yang mengubah dokumen mentah menjadi wiki terstruktur berbasis lokal. Alternatif RAG tradisional yang transparan dan dapat dibaca manusia, yang dapat dikelola dan ditingkatkan secara mandiri tanpa menggunakan alat apa pun.

Server inferensi LLM native untuk Apple Silicon. Kompatibel dengan API OpenAI + Anthropic. Tanpa Python. Termasuk aplikasi macOS MLX Core dengan obrolan, mode agen, dan pemanggilan alat.