llm-inference

Llama-3+-Inferenz in reinem Java

LeaderWorkerSet: Eine API zur Bereitstellung einer Gruppe von Pods als Replikationseinheit

LLM-PowerHouse: Schöpfen Sie das Potenzial von LLMs durch kuratierte Tutorials, Best Practices und sofort einsatzbereiten Code für benutzerdefiniertes Training und Inferenz voll aus.

LLMFlows – Einfache, explizite und transparente LLM-Apps

USP: Unified (bzw. Hybrid, 2D) Sequence Parallel Attention für das Training und die Inferenz von Long-Context-Transformer-Modellen

Reines Rust + CUDA LLM-Inferenz-Engine — kein PyTorch, OpenAI-kompatibel, bedient Qwen3 bis Kimi-K2

Reine Rust-Inferenz-Engine

Bis zu 4-fach schnellere LLM-Dekodierung auf Apple Silicon, verlustfrei. Natives MLX-Port von DeepSeek DSpark & z-lab DFlash speculative decoding – Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, Ornith-1.0, ternary Bonsai-27B.

RDNA-native LLM-Inferenz-Engine in Rust.

Ollama-Alternative für Rockchip NPU: Eine effiziente Lösung zum Ausführen von KI- und Deep-Learning-Modellen auf Rockchip-Geräten mit optimierter NPU-Unterstützung (rkllm)

面向大模型开发者的 SGLang 系统化开源教程：从推理基础与环境搭建开始，逐步学习模型部署、结构化生成、服务开发和性能优化， 结合实战案例带你从 0 到 1 掌握 SGLang，构建高性能 LLM 推理应用

Yet Another Language Model: LLM-Inferenz in C++/CUDA, ohne externe Bibliotheken außer für I/O.

Open-Source-lokales KI-SDK – Führen Sie KI geräteintern ohne Cloud, ohne API-Schlüssel aus. Unterstützt GGUF, RAG, Bild-, Musik- und Videoerstellung, Sprache-zu-Text, P2P-Inferenz und mehr. Plattformübergreifend: Linux, macOS, Windows, Android, iOS.

Minimalistische Websuchplattform mit einem KI-Assistenten, der direkt im Browser läuft. Demo: https://felladrin-minisearch.hf.space

CLI zur parallelen Ausführung einer Vielzahl von Coding-Agents mit git worktrees.

Lokaler KI-Assistent

LLM (Large Language Model) Fine-Tuning.

Ein Projekt für Praktika und Berufseinstieg, das Sie Schritt für Schritt bei der Implementierung eines LLM-Inferenz-Frameworks mit Unterstützung für Llama2/3 und Qwen2.5 anleitet.

Statische, minimalistische Single-Batch-Inferenz-Engine für qwen3-0.6B, ausschließlich für CUDA

Self-hosted AI agent OS. Your memory, chat, agents, and files stay on hardware you own, offline by default, cloud by choice. Offline AI memory (taOSmd), self-hosted multi-framework group chat, a full web desktop + app store, and auto-clustering across the consumer hardware you already have (Orange/Raspberry Pi, Mac mini, gaming PC).

Eine Serving-Engine mit niedriger Latenz und hohem Durchsatz für LLMs

Krasis ist eine hybride LLM-Laufzeitumgebung, die auf den effizienten Betrieb größerer Modelle auf Hardware mit begrenztem VRAM für Endverbraucher spezialisiert ist.

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton

Ein Kommandozeilen-Tool zur Bereitstellung von LLMs mittels vLLM.