llamacpp

LSP-Server, der LLMs für die Code-Vervollständigung (und mehr?) nutzt

Offizielles Repository meines Buches „A Hands-On Guide to Fine-Tuning LLMs with PyTorch and Hugging Face“

End-to-End-Dokumentation zur Einrichtung eines eigenen, lokalen und vollständig privaten LLM-Servers auf Debian. Ausgestattet mit Chat, Websuche, RAG, Modellverwaltung, MCP-Servern, Bildgenerierung und TTS.

Llama-3+-Inferenz in reinem Java

Die fortschrittlichste, vollständig offline arbeitende clientseitige KI-Suite für Android.

🤖 TUI für LLMs

Das llama-cpp-agent-Framework ist ein Tool zur einfachen Interaktion mit Large Language Models (LLMs). Es ermöglicht Benutzern, mit LLM-Modellen zu chatten, strukturierte Funktionsaufrufe auszuführen und strukturierte Ausgaben zu erhalten. Funktioniert auch mit Modellen, die nicht für JSON-Ausgaben und Funktionsaufrufe fine-getuned wurden.

Yet Another Language Model: LLM-Inferenz in C++/CUDA, ohne externe Bibliotheken außer für I/O.

Go mit eigener Intelligenz – Go-Anwendungen, die llama.cpp direkt für lokale Inferenz mittels Hardwarebeschleunigung integrieren.

Code Llama mit Visual Studio Code und der Continue-Erweiterung nutzen. Eine lokale LLM-Alternative zu GitHub Copilot.

Statische, minimalistische Single-Batch-Inferenz-Engine für qwen3-0.6B, ausschließlich für CUDA

Go-Bibliothek für eingebettete Vektorsuche und semantische Embeddings unter Verwendung von llama.cpp

Optimieren Sie Ihren Workflow mit Lynkr, einem CLI-Tool, das als HTTP-Proxy für effiziente Code-Interaktionen mit der Claude Code CLI dient.

Browser Operator - The AI browser with built in Multi-Agent platform! Open source alternative to ChatGPT Atlas, Perplexity Comet, Dia and Microsoft CoPilot Edge Browser