跳到主要内容
buildradar
Sign in
主题 · inference-optimization

inference-optimization

标记 inference-optimization 主题、收录中的开源项目,按星标数排序。

项目数
4
总星标数
4,917
平均星标数
1,229
占比
0.00%

常跟 inference-optimization 一起出现在同一个项目上的主题。

近期新秀

近 90 天内创建、标记 inference-optimization 主题的项目。

  • llm-inference-engineering@amitshekhariitbhu

    Learn LLM Inference Engineering step by step - from KV cache, PagedAttention, and continuous batching to vLLM, SGLang, and GPUs.

    221
  • XNNPACK@google

    适用于移动设备、服务器与 Web 的高性能浮点数神经网络推理算子

    2,439+2近 7 天星标变化
  • efficient-dl-systems@mryab

    高效深度学习系统课程教材

    1,031+2近 7 天星标变化
  • BladeDISC@alibaba

    BladeDISC 是一个用于机器学习工作负载的端到端动态形状编译器 (Dynamic Shape Compiler) 项目。

    932+0近 7 天星标变化
  • krasis@brontoguana

    Krasis 是一款混合型 LLM 运行时,专注于在消费级 VRAM 受限的硬件上高效执行大型模型。

    519+2近 7 天星标变化
← 返回主题列表