Topik · distributed-inference

distributed-inference

Repositori open source terpantau bertanda distributed-inference, diurutkan berdasarkan bintang.

Repositori

Total bintang

17.366

Rata-rata bintang

4.342

Porsi

0,00%

Topik yang sering muncul berdampingan dengan distributed-inference di repositori yang sama.

Yang sedang naik

Repositori yang dibuat dalam 90 hari terakhir dan bertanda distributed-inference.

Tidak ada repositori baru bertanda topik ini dalam 90 hari terakhir.

#1
flashinfer ↗@flashinfer-aiPython
FlashInfer: Pustaka Kernel untuk LLM Serving
★ 6.321+38Perubahan bintang dalam 7 hari terakhir
#2
gpustack ↗@gpustackPython
Manajer klaster GPU untuk penyajian model AI berkinerja tinggi (vLLM, SGLang) dan instans GPU yang dapat diakses via SSH sesuai permintaan.
★ 5.593+21Perubahan bintang dalam 7 hari terakhir
#3
llm-d ↗@llm-dShell
Capai performa inferensi mutakhir dengan akselerator modern di Kubernetes
★ 4.390+69Perubahan bintang dalam 7 hari terakhir
#4
sglang-omni ↗@sgl-projectPython
SGLang-Omni mendukung penyajian berkinerja tinggi untuk model TTS, ASR, ucapan, dan omni.
★ 1.118+143Perubahan bintang dalam 7 hari terakhir