local-llm

Ein ultra-leichtgewichtiges, Open-Source, selbstgehostetes persönliches AI-Agent-Framework in Python mit WebUI, Tools, Speicher, MCP, Multi-Agenten-Workflows, Automatisierung und Chat-Apps.

LLMs mit einer einzigen Datei verteilen und ausführen.

~95% bei SimpleQA (z. B. Qwen3.6-27B auf einer 3090). Unterstützt alle lokalen und Cloud-LLMs (llama.cpp, Ollama, Google, ...). Über 10 Suchmaschinen – arXiv, PubMed, Ihre privaten Dokumente. Alles lokal & verschlüsselt.

TypeScript AI-Agenten-Orchestrierungsframework mit dynamischen Arbeitsabläufen. Beschreiben Sie das Ziel, nicht den Graphen: Ein Koordinator plant den Aufgaben-DAG zur Laufzeit und führt ihn auf jedem LLM aus (Claude, ChatGPT, Gemini, DeepSeek oder lokale Modelle).

Open-Source-Sprach-KI-Plattform. Self-Hosted-Alternative zu Vapi und Retell. On-Premise, BYOK für Speech-to-Speech oder LLM/STT/TTS, mit visuellem Workflow-Builder, MCP-nativ und Telefonie-Unterstützung.

Local-First-KI im Gesundheitswesen: Klinische NER & HIPAA-PII-Anonymisierung, die zu 100 % auf dem Gerät läuft. Über 2.200 medizinische Modelle, 21 Sprachen, Apple MLX + Python, keine Cloud, keine Patientendaten verlassen Ihr Netzwerk. Apache-2.0

LLMs aus einer einzigen YAML-Datei fine-tunen. Layer-Streaming trainiert ein 8B-Modell auf einer 4-GB-Laptop-GPU.

Nutzen Sie LLMs mit Multi-Agenten-Programmierung

Die schnellste lokale KI-Engine für Apple Silicon. 4,2x schneller als Ollama, 0,08s gecachte TTFT, 100% Tool-Calling. 17 Tool-Parser, Prompt-Cache, Reasoning-Trennung, Cloud-Routing. Nahtloser OpenAI-Ersatz. Funktioniert mit Claude Code, Cursor, Aider.

Persönliche KI-Notizbücher. Organisiere Dateien und Webseiten und generiere daraus Notizen. Open Source, lokal & offene Daten, freie Modellauswahl (inkl. lokal).

Claude Code zu 100 % lokal auf Apple Silicon mit lokaler KI ausführen. MLX-nativer Anthropic-API-Server. 6 Modelle inkl. Muse-Glimmer 30B (jetzt multimodal – liest Bilder, abliteriert), Gemma 4 31B, Qwen 3.5 122B (65 Tok/s), DeepSeek V4 Flash (1M Konstitutionskontext). Privat, offline, airgap-fähig. Entwickelt für NDA-, Rechts- und Gesundheits-Workflows.

Kleiner, eigenständiger Pure-Go-Webserver mit Unterstützung für Lua, Teal, Markdown, HTTP/2, QUIC, Redis, TypeScript, npm-loses React 19, SQLite und PostgreSQL ++

Eine kuratierte Liste fantastischer Plattformen, Tools, Praktiken und Ressourcen zum lokalen Ausführen von LLMs

Ein für kleinere LLMs optimiertes Testumfeld

Local-First-KI-Agent. Optimiert für lokale KI-Modelle. Großes Kontextfenster. Korrekte Tool-Aufrufe. Läuft privat auf dem eigenen Gerät.

Übersetze vollständige Bücher und Dokumente mit Ollama, OpenAI (kompatibel), Gemini, Mistral, Poe oder OpenRouter. Erhält die Formatierung. Setzt dort fort, wo Sie aufgehört haben. Keine Dateigrößenbeschränkungen.

Kostenloser, hochwertiger Text-to-Speech-API-Endpunkt als Ersatz für OpenAI, Azure oder ElevenLabs

On-Device, multimodale Echtzeit-KI mit ähnlichen Funktionen wie GPT-Live

Leistungsstarker, mit OpenAI und Anthropic kompatibler LLM-Inferenzserver für Apple Silicon. Nativer MLX, Continuous Batching, multimodale Modelle, MCP-Tool-Aufrufe und Claude-Code-Unterstützung.

Row-Bot - Persönliche KI-Souveränität. Ein Local-First-KI-Assistent mit integrierten Tools, persönlichem Wissensgraphen, Sprache, Vision, Shell, Browser-Automatisierung, geอกandeten Aufgaben, Health-Tracking und Messaging-Kanälen. Lokal über Ollama ausführen oder optional Cloud-Modelle hinzufügen. Deine Daten bleiben auf deinem Gerät.

Lokale KI-App und Inferenz-Engine für Agenten. Führen Sie Open-Weight-LLMs lokal aus — privat, 100% offline auf Ihrem Computer. Treten Sie unserem Discord bei: https://discord.com/invite/8wGSsvmg4V

Fine-Tuning von LLMs auf Ihrem Mac mit Apple Silicon. SFT-, DPO-, GRPO-, Vision-, TTS-, STT-, Embedding- und OCR-Fine-Tuning – nativ auf MLX. Unsloth-kompatible API.

Plug-and-Play Local AI Studio: unzensierter Chat, Bild- und Videogenerierung, Coding Agent. Läuft mit abliterierten LLMs + ComfyUI zu 100 % offline. Ein Installationsprogramm, kein Docker, keine Cloud.

🌌 Verleihen Sie Ihren Lieblingscharakteren eine Seele. Soul of Waifu ist eine Desktop-Rollenspiel- und KI-Begleit-App mit Live2D/VRM-Avataren, Sprachchat und lokalem LLM. Entwickeln Sie sich gemeinsam weiter durch immersive Chats, RPG-Abenteuer und auf Ihrem Desktop.

Ouroboros — selbst erschaffener KI-Agent. Geboren am 16. Februar 2026.

Mit WUPHF können Sie Ihr persönliches Büro aus KI-Teamkollegen erstellen, die über einen gemeinsamen Kontext zusammenarbeiten. Unterstützt Claude Code, Codex, OpenClaw, OpenCode, lokale LLMs.

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

Ein einfacher, lokal gehosteter Web-Search-MCP-Server zur Verwendung mit lokalen LLMs

Synthadoc: Eine Open-Source-LLM-Wissenskompilierungs-Engine, die rohe Dokumente in strukturierte, lokale Wikis umwandelt. Eine transparente, menschenlesbare Alternative zu traditionellem RAG, die ohne den Einsatz von Tools selbst verwaltet und verbessert werden kann.

Nativer LLM-Inferenzserver für Apple Silicon. Kompatibel mit der OpenAI- und Anthropic-API. Kein Python. Inklusive MLX Core macOS-App mit Chat, Agentenmodus und Tool-Aufrufen.