llama-cpp

LLMs mit einer einzigen Datei verteilen und ausführen.

Schnellste und einzige macOS-Diktierapp mit On-Device-STT und speziell trainiertem KI-Erweiterungsmodell. Windows-Build verfügbar! Eine lokale Alternative zu Wispr Flow. Schreib uns auf X für ein Osterei 😉 - https://x.com/fluidvoiceapp

Ein selbst gehosteter, offlinefähiger Chatbot im ChatGPT-Stil. Unterstützt durch Llama 2. 100 % privat, es verlässt kein Daten Ihr Gerät. Neu: Code Llama-Unterstützung!

Ersetzen Sie GPT durch ein beliebiges LLM, indem Sie nur eine einzige Codezeile ändern. Mit Xinference können Sie Open-Source-, Sprach- und multimodale Modelle in der Cloud, on-premise oder auf Ihrem Laptop ausführen – alles über eine einheitliche, produktionsbereite Inferenz-API.

Open-Source-Modell SenseVoiceSmall für ASR in Mandarin, Kantonesisch, Englisch, Japanisch und Koreanisch, Spracherkennung, Emotionserkennung und Audio-Ereigniserkennung.

Verwandeln Sie Ihren PC, Mac oder Linux-Rechner in einen KI-Server. LLM-Inferenz, Chat-UI, Sprache, Agenten, Workflows, RAG und Bildgenerierung.

Eine C#/.NET-Bibliothek zum effizienten Ausführen von LLMs (🦙LLaMA/LLaVA) auf Ihrem lokalen Gerät.

Open-Source-KI-Kamera-Fähigkeitenplattform, KI-NVR & CCTV-Überwachung. Lokale VLM-Videoanalyse mit Qwen, DeepSeek, SmolVLM, LLaVA, YOLO26. KI-gestützter Agenten-Sicherheitskamera-Agent – überwacht, versteht, erinnert sich und schützt Ihr Zuhause über Telegram, Discord oder Slack. Erweiterbare KI-Fähigkeiten. OpenAI, Google, Anthropic oder lokale KI. Läuft auf Mac Mini & AI-PCs.

Das Schweizer Taschenmesser für Offline-KI. Chatten, sehen, sprechen und Bilder generieren auf deinem Smartphone oder Mac – GGUF-LLMs, Vision, Whisper-Sprache-zu-Text, Stable Diffusion, Tool-Aufrufe und lokale Netzwerkserver. Läuft auf CPU, GPU oder NPU. Kein Konto, kein API-Key, null Daten verlassen dein Gerät.

LLM-Inferenzserver für spekulatives Sampling auf Consumer- und heterogener Hardware

Maid ist eine freie Open-Source-Anwendung für die lokale Interaktion mit llama.cpp-Modellen sowie für dieリモート-Interaktion mit Modellen von Anthropic, DeepSeek, Ollama, Mistral und OpenAI.

Local-First-KI-Agent. Optimiert für lokale KI-Modelle. Großes Kontextfenster. Korrekte Tool-Aufrufe. Läuft privat auf dem eigenen Gerät.

Ein Python-Framework für selbst gehostetes LLM-Tool-Calling und mehrstufige agentische Workflows.

Führe KI-Modelle lokal auf deinem Rechner aus mit Node.js-Bindings für llama.cpp. Erzwinge ein JSON-Schema für die Modellausgabe auf Generierungsebene.

Erstellen Sie Charaktere in Unity mit LLMs!

Mit dem Mac sprechen, Dokumente abfragen, keine Cloud erforderlich. Sprach-KI auf dem Gerät + RAG

Open-Source-LLM-basiertes ASR-Modellfamilie für Chinesisch, Dialekte, Akzente und mehrsprachige Sprache, mit FunASR, vLLM, Streaming- und llama.cpp-Runtimes.

Ein gemütliches Zuhause für Ihre LLMs.

llama.go ist wie llama.cpp in purem Golang!

React-Native-Binding für llama.cpp

KI-Agenten mit Docker Compose erstellen und ausführen. Eine Sammlung einsatzbereiter Beispiele zur Orchestrierung von Open-Source-LLMs, Tools und Agent-Runtimes.

Cotabby ist eine lokale KI-Autovervollständigung für Ihren gesamten Mac. Open Source. Auf dem Gerät. Überall, wo Sie tippen.

Sudoloser Apple Silicon Systemmonitor (native SwiftUI GUI) mit ANE-, Media Engine- und Speicherbandbreiten-Tracking

Open-Source-Tool für Android ohne Root-Zugriff zur Echtzeit-Bildschirmübersetzung, geeignet für Spiele, Visual Novels und Mangas. Unterstützt On-Device- und Cloud-OCR, Offline-LLMs, verschiedene Übersetzungsdienste sowie Text-to-Speech (TTS), wobei Übersetzungen direkt auf dem Bildschirm angezeigt werden.

A minimalist, terminal-native coding agent written in C.

Selbstevaluierungs-Interview für KI-Programmierer.

ComfyUI-Knoten für Vision-Language-Modelle: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Plus Open-Vocabulary-Erkennung, SAM2/SAM3-Segmentierung, Video-Temporal-Reasoning, GGUF über llama.cpp und gehostete LLM/VLM-APIs.

GraphRAG-rs ist eine leistungsstarke, hochmoderne Rust-Implementierung von GraphRAG (Graph-basierte Retrieval Augmented Generation), die Wissensgraphen aus Dokumenten erstellt und Abfragen in natürlicher Sprache mit konfigurierbarer Entitätsextraktion und lokaler LLM-Integration ermöglicht.

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp