Eigentümer · vllm-project

vllm-project

Erfasste Open-Source-Repos von vllm-project, sortiert nach Sternen.

11 Repos

#1
vllm ↗@vllm-projectPython
Ein hocheffizientes und speichereffizientes Inferenz- und Serving-Engine für LLMs
★ 90.817+402Sterne-Änderung der letzten 7 Tage
#2
vllm-omni ↗@vllm-projectPython
Ein Framework für effiziente Modellinferenz mit Omnimodalitätsmodellen
★ 6.593+136Sterne-Änderung der letzten 7 Tage
#3
semantic-router ↗@vllm-projectGo
Ein programmierbarer Mixture-of-Models-Router für heterogene LLM-Inferenz
★ 5.506+101Sterne-Änderung der letzten 7 Tage
#4
aibrix ↗@vllm-projectGo
Kosteneffiziente und steckbare Infrastrukturkomponenten für die GenAI-Inferenz
★ 5.053+10Sterne-Änderung der letzten 7 Tage
#5
llm-compressor ↗@vllm-projectPython
Transformers-kompatible Bibliothek zur Anwendung verschiedener Komprimierungsalgorithmen auf LLMs für ein optimiertes Deployment mit vLLM
★ 3.753+17Sterne-Änderung der letzten 7 Tage
#6
vllm-ascend ↗@vllm-projectC++
Von der Community gepflegtes Hardware-Plugin für vLLM auf Ascend
★ 2.749+19Sterne-Änderung der letzten 7 Tage
#7
production-stack ↗@vllm-projectPython
Das Referenzsystem von vLLM für die K8S-native, clusterweite Bereitstellung mit community-gesteuerter Leistungsoptimierung
★ 2.550+13Sterne-Änderung der letzten 7 Tage
#8
vllm-metal ↗@vllm-projectPython
Von der Community gewartetes Hardware-Plugin für vLLM auf Apple Silicon
★ 1.679+22Sterne-Änderung der letzten 7 Tage
#9
guidellm ↗@vllm-projectPython
Evaluieren und optimieren Sie Ihre LLM-Bereitstellungen für reale Inferenzanforderungen
★ 1.573+20Sterne-Änderung der letzten 7 Tage
#10
recipes ↗@vllm-projectJavaScript
Häufige Rezepte zum Ausführen von vLLM
★ 1.009+12Sterne-Änderung der letzten 7 Tage
#11
speculators ↗@vllm-projectPython
Eine einheitliche Bibliothek zum Erstellen, Evaluieren und Speichern von Algorithmen zur spekulativen Dekodierung für LLM-Inferenz in vLLM
★ 809+27Sterne-Änderung der letzten 7 Tage

← Zurück zur Eigentümer-Rangliste