gpt-oss

Einstieg mit Kimi-K2.6, GLM-5.2, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma und anderen Modellen

Ein hocheffizientes und speichereffizientes Inferenz- und Serving-Engine für LLMs

SGLang ist ein hochleistungsfähiges Serving‑Framework für große Sprach‑ und multimodale Modelle.

[MLsys2026]: RAG on Everything mit LEANN. Profitieren Sie von 97 % Speichereinsparung und führen Sie eine schnelle, präzise und 100 % private RAG-Anwendung auf Ihrem persönlichen Gerät aus.

Einfaches Fine-Tuning, Evaluierung und Deployment von Qwen, Gemma oder anderen Open-Weight-LLMs!

Führe moderne LLMs und VLMs lokal auf Qualcomm-Geräten über NPU, GPU und CPU mit wenigen Zeilen Code aus.

Eine Trainings-Engine der nächsten Generation für extrem große MoE-Modelle

Eine native macOS-App, mit der Benutzer mit einem lokalen LLM chatten können, das auf Informationen aus Dateien, Ordnern und Websites auf dem Mac zugreifen kann, ohne zusätzliche Software zu installieren. Unterstützt durch llama.cpp.

Ein leistungsstarkes Zotero-KI- und MCP-Plugin mit ChatGPT, Gemini 3.6, Claude Fable 5, Claude Sonnet 5, DeepSeek V4, Grok, OpenRouter, Kimi k3, GLM 5.2, SiliconFlow, GPT-oss, Gemma 4, Qwen 3.7

TokenSpeed ist eine lichtschnelle LLM-Inferenz-Engine.

Lokale KI-App und Inferenz-Engine für Agenten. Führen Sie Open-Weight-LLMs lokal aus — privat, 100% offline auf Ihrem Computer. Treten Sie unserem Discord bei: https://discord.com/invite/8wGSsvmg4V

Leichte Agenten-Workstation für Codex CLI + Claude Code – mit Task-Scheduler, Git Worktree und Fernsteuerung

🚀 Native PyTorch-Bibliothek für das verteilte Training von LLMs/VLMs mit integrierter Hugging-Face-Unterstützung

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp