vllm

Bewerten Sie die Antworten Ihres LLM mit Prometheus und GPT4 💯

Baue deine eigene performante LLM-Inferenz-Engine in C++ und CUDA – eine kleinere Version von vLLM

Multimodales RL-Trainingsframework für Diffusions- und Omni-Modelle

UniRL ist ein Framework für das Reinforcement Learning multimodaler Einheitsmodelle

LLM-Notizen einschließlich Modellinferenz, Transformer-Modellstruktur und Quellcodeanalyse von LLM-Frameworks.

Ein 10-wöchiger, 30 Minuten pro Tag umfassender Fahrplan für LLM-Inferenz-Serving und -Optimierung. vLLM, SGLang, Quantisierung, spekulatives Decoding, Benchmarking.

Eine lokale, nach der Ersteinrichtung offline nutzbare, portable OCR-Software zur Verarbeitung von Bildern und PDF-Dateien unter Verwendung von DeepSeek-OCR-2 AI (läuft direkt auf deinem Computer).

End-to-End-Dokumentation zur Einrichtung eines eigenen, lokalen und vollständig privaten LLM-Servers auf Debian. Ausgestattet mit Chat, Websuche, RAG, Modellverwaltung, MCP-Servern, Bildgenerierung und TTS.

Machen Sie Discord zu Ihrem LLM-Frontend – Unterstützt jede OpenAI-kompatible API (OpenRouter, Ollama und mehr)

Eine Python-Bibliothek, angetrieben von Sprachmodellen (LLMs), für die konversationelle Datenerkennung und -analyse.

[EMNLP 2024 & AAAI 2026] Ein leistungsstarkes Toolkit zur Komprimierung großer Modelle einschließlich LLMs, VLMs und Video-Generierungsmodellen.

Reines Rust + CUDA LLM-Inferenz-Engine — kein PyTorch, OpenAI-kompatibel, bedient Qwen3 bis Kimi-K2

Präziser, skalierbarer und erweiterbarer Simulator für LLM-Inferenzsysteme

EfficientSAM3 komprimiert SAM3 durch progressive Wissensdestillation in leichtgewichtige, Edge-freundliche Modelle für schnelle, prompt-basierte Konzeptsegmentierung und -verfolgung.

Bietet hochwertige chinesische Sprachsynthese und Stimmklon-Dienste auf Basis von Modellen wie SparkTTS und OrpheusTTS.

[CVPR 2025] RoboBrain: Ein einheitliches Gehirnmodell für die Roboter-Manipulation von abstrakt bis konkret. Offizielles Repository.

Crater ist eine Cloud-native Plattform für KI-Training und Inferenz.

Ein modernes Web-Interface zur Verwaltung und Interaktion mit vLLM-Servern. Unterstützt GPU- und CPU-Modi mit speziellen Optimierungen für Apple Silicon unter macOS sowie für Enterprise-Deployments auf OpenShift/Kubernetes.

Self-hosted AI agent OS. Your memory, chat, agents, and files stay on hardware you own, offline by default, cloud by choice. Offline AI memory (taOSmd), self-hosted multi-framework group chat, a full web desktop + app store, and auto-clustering across the consumer hardware you already have (Orange/Raspberry Pi, Mac mini, gaming PC).

Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility across vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini & more. Industry-first gRPC pipeline, KV cache-aware routing, chat history, tokenization caching, Responses API, embeddings, WASM plugins, MCP, and multi-tenant auth.

Ein Kommandozeilen-Tool zur Bereitstellung von LLMs mittels vLLM.

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton