llm-serving

Ein hocheffizientes und speichereffizientes Inferenz- und Serving-Engine für LLMs

Ray ist ein AI-Rechen-Engine. Ray besteht aus einem Core-Distributed-Runtime und einer Reihe von AI-Bibliotheken zur Beschleunigung von ML-Workloads.

Dieses Projekt zielt darauf ab, Prinzipien und praktische Erfahrungen zu großen Modellen zu teilen (großmodellengineering, großmodell-Anwendungen)

TensorRT LLM bietet Benutzern eine benutzerfreundliche Python-API zum Definieren von Large Language Models (LLMs) und unterstützt modernste Optimierungen zur effizienten Inferenz auf NVIDIA-GPUs. TensorRT LLM enthält zudem Komponenten zum Erstellen von Python- und C++-Runtimes, die die Inferenzausführung performant steuern.

Führen Sie beliebige Open-Source-LLMs wie DeepSeek und Llama als OpenAI-kompatiblen API-Endpunkt in der Cloud aus.

Die KI-Compute-Plattform für führende Teams. SkyPilot verwandelt fragmentierte KI-Rechenleistung in einen einzigen KI-Supercomputer, sodass fortschrittliche KI-Teams benutzerdefinierte Intelligenz schneller entwickeln können.

Der einfachste Weg, KI-Apps und -Modelle bereitzustellen – Erstellen Sie Modell-Inferenz-APIs, Job-artige Warteschlangen, LLM-Apps, Multi-Modell-Pipelines und mehr!

Ein GPU-Cluster-Manager für hochleistungsfähiges KI-Modell-Serving (vLLM, SGLang) und bedarfsgesteuerte GPU-Instanzen mit SSH-Zugang.

Superduper: End-to-End-Framework zum Erstellen benutzerdefinierter KI-Anwendungen und Agents.

Multi-LoRA-Inferenzserver, der auf Tausende von feinabgestimmten LLMs skaliert

Leistungsstarkes Inferenz- und Bereitstellungs-Toolkit für LLMs und VLMs auf Basis von PaddlePaddle

Hochleistungs-Inferenz-Framework für große Sprachmodelle, mit Fokus auf Effizienz, Flexibilität und Verfügbarkeit.

Von der Community gepflegtes Hardware-Plugin für vLLM auf Ascend

MoBA: Mixture of Block Attention für LLMs mit langem Kontext

AICI: Prompts als (Wasm)-Programme

Open-Source-Forschungsplattform für kontinuierliche Inferenz-Benchmarks — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 & bald™ TPUv6e/v7/Trainium2/3

Parallax ist ein verteiltes Model-Serving-Framework, mit dem Sie überall Ihr eigenes KI-Cluster aufbauen können

RTP-LLM: Alibabas leistungsstarke LLM-Inferenz-Engine für vielfältige Anwendungen.

Virtualisierter Elastic KV Cache für dynamisches GPU-Sharing und mehr

Ein durchsatzorientiertes Hochleistungs-Serving-Framework für LLMs

Eine hochoptimierte LLM-Inferenz-Beschleunigungs-Engine für Llama und dessen Varianten.

Ein Hochleistungs-Framework für die Bereitstellung von ML-Modellen mit dynamischem Batching und CPU/GPU-Pipelines zur vollständigen Ausnutzung Ihrer Rechenmaschine

♾️ Private Agenten-Flotte mit Spec Coding. Jeder Agent erhält seinen eigenen GPU-beschleunigten Desktop. Führen Sie Claude, Codex, Gemini und offene Modelle auf einem vollständigen privaten AI Stack aus ♾️

Reines Rust + CUDA LLM-Inferenz-Engine — kein PyTorch, OpenAI-kompatibel, bedient Qwen3 bis Kimi-K2

LLM (Large Language Model) Fine-Tuning.