Thema · distributed-inference

distributed-inference

Erfasste Open-Source-Repos mit dem Tag distributed-inference, sortiert nach Sternen.

Repos

Sterne gesamt

17.366

Sterne im Schnitt

4.342

Anteil

0,00%

Themen, die häufig gemeinsam mit distributed-inference am selben Repo auftauchen.

Neue Aufsteiger

Repos, die in den letzten 90 Tagen erstellt und mit distributed-inference getaggt wurden.

In den letzten 90 Tagen kam kein neues Repo mit diesem Thema dazu.

#1
flashinfer ↗@flashinfer-aiPython
FlashInfer: Kernel-Bibliothek für LLM-Serving
★ 6.321+68Sterne-Änderung der letzten 7 Tage
#2
gpustack ↗@gpustackPython
Ein GPU-Cluster-Manager für hochleistungsfähiges KI-Modell-Serving (vLLM, SGLang) und bedarfsgesteuerte GPU-Instanzen mit SSH-Zugang.
★ 5.593+32Sterne-Änderung der letzten 7 Tage
#3
llm-d ↗@llm-dShell
Erzielen Sie modernste Inferenzleistung mit modernen Beschleunigern auf Kubernetes
★ 4.390+225Sterne-Änderung der letzten 7 Tage
#4
sglang-omni ↗@sgl-projectPython
SGLang-Omni ermöglicht hochleistungsfähiges Serving für TTS-, ASR-, Sprach- und Omni-Modelle.
★ 1.100+107Sterne-Änderung der letzten 7 Tage