Tema · distributed-inference
distributed-inference
Repositorios de código abierto monitorizados etiquetados con distributed-inference, ordenados por estrellas.
Repositorios
4
Estrellas totales
17.366
Estrellas de media
4342
Proporción
0,00%
Temas relacionados
Temas que aparecen con frecuencia junto a distributed-inference en un mismo repositorio.
Emergentes recientes
Repositorios creados en los últimos 90 días, etiquetados con distributed-inference.
No hay repositorios nuevos con este tema en los últimos 90 días.
- #1
FlashInfer: Biblioteca de kernels para servir LLM
★ 6321+38Variación de estrellas de los últimos 7 días - #2
Un administrador de clústeres de GPU para el servicio de modelos de IA de alto rendimiento (vLLM, SGLang) e instancias de GPU accesibles por SSH bajo demanda.
★ 5593+21Variación de estrellas de los últimos 7 días - #3
Logra un rendimiento de inferencia de última generación con aceleradores modernos en Kubernetes
★ 4390+69Variación de estrellas de los últimos 7 días - #4
SGLang-Omni permite un servicio de alto rendimiento para modelos de TTS, ASR, voz y modelos omni.
★ 1118+143Variación de estrellas de los últimos 7 días
