跳到主要内容
buildradar
Sign in
主题 · distributed-inference

distributed-inference

标记 distributed-inference 主题、收录中的开源项目,按星标数排序。

项目数
4
总星标数
17,366
平均星标数
4,342
占比
0.00%

常跟 distributed-inference 一起出现在同一个项目上的主题。

近期新秀

近 90 天内创建、标记 distributed-inference 主题的项目。

近 90 天内还没有新项目标记这个主题。

  • flashinfer@flashinfer-ai

    FlashInfer:大型语言模型服务的内核库

    6,321+38近 7 天星标变化
  • gpustack@gpustack

    一个 GPU 集群管理器,用于高效能 AI 模型服务(vLLM、SGLang)以及按需可 SSH 访问的 GPU 实例。

    5,593+21近 7 天星标变化
  • llm-d@llm-d

    在 Kubernetes 上使用现代加速器实现最先进的推理性能

    4,390+69近 7 天星标变化
  • sglang-omni@sgl-project

    SGLang-Omni 为 TTS、ASR、语音与全能模型提供高性能服务。

    1,118+143近 7 天星标变化
← 返回主题列表