llm-serving

高吞吐量且内存效率高的 LLM 推理与服务引擎

Ray 是一个 AI 计算引擎，包含核心分布式运行时和加速机器学习工作负载的 AI 库套件

本项目旨在分享大模型相关技术原理以及实战经验（大模型工程化、大模型应用落地）

TensorRT LLM 为用户提供易用的 Python API 来定义大型语言模型（LLM），并支持最先进的优化，以在 NVIDIA GPU 上高效执行推理。TensorRT LLM 还包含创建 Python 和 C++ 运行时的组件，以高性能方式编排推理执行。

在云端将任何开源 LLM（如 DeepSeek、Llama）作为兼容 OpenAI 的 API 端点运行。

前沿团队的 AI 计算平台。SkyPilot 将分散的 AI 计算整合为一台 AI 超级计算机，让前沿 AI 团队更快构建定制智能

最简便的 AI 应用与模型服务方式 ─ 构建模型推理 API、作业队列、LLM 应用、多模型流水线等

一个 GPU 集群管理器，用于高效能 AI 模型服务（vLLM、SGLang）以及按需可 SSH 访问的 GPU 实例。

Superduper：端到端框架，用于构建自定义 AI 应用与代理

可扩展至数千个微调LLM的Multi-LoRA推理服务器

基于 PaddlePaddle 的高效 LLM 与 VLM 推理与部署工具包

专注于高效、灵活与可用性的高性能大型语言模型推理框架。

社区维护的 vLLM on Ascend 硬件插件

MoBA：长文本 LLM 的区块注意力混合模型

AICI：将提示词作为 (Wasm) 程序

开源持续推理基准研究平台 — Kimi K3 2.8T、MiniMax M3、DeepSeekv4、GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 ＆ 即将推出™ TPUv6e/v7/Trainium2/3

Parallax 是一个分布式模型服务框架，让您随处构建自己的 AI 集群

RTP-LLM：阿里巴巴针对多元应用打造的高性能 LLM 推理引擎。

用于动态 GPU 共享及更高应用的虚拟化弹性 KV 缓存

一个针对 LLM 打造、以高吞吐量为导向的高性能服务框架

针对 Llama 及其变体的高度最佳化 LLM 推理加速引擎。

高性能的 ML 模型服务框架，提供动态批处理和 CPU/GPU 流水线以充分发挥算力

具备规格编码的私有代理舰队。每个代理皆拥有专属的 GPU 加速桌面，可在完整的私有 AI 堆栈上执行 Claude、Codex、Gemini 及开放模型

纯 Rust + CUDA LLM 推理引擎 — 无需 PyTorch，兼容 OpenAI，支持 Qwen3 至 Kimi-K2 服务

LLM (大型语言模型) 微调