llm-serving

高吞吐量且記憶體效率高的 LLM 推理與服務引擎

Ray 是一個 AI 計算引擎，包含核心分散式執行環境與加速機器學習工作負載的 AI 函式庫套件

本項目旨在分享大模型相關技術原理以及實戰經驗（大模型工程化、大模型應用落地）

TensorRT LLM 為使用者提供易於使用的 Python API 來定義大型語言模型（LLM），並支援最先進的最佳化，以在 NVIDIA GPU 上高效執行推論。TensorRT LLM 亦包含建立 Python 與 C++ 執行環境的元件，以高效方式協調推論執行。

在雲端將任何開源 LLM（如 DeepSeek、Llama）作為兼容 OpenAI 的 API 端點運行。

前沿團隊的 AI 計算平台。SkyPilot 將分散的 AI 計算整合為一台 AI 超級電腦，讓前沿 AI 團隊更快構建自訂智慧

最簡便的 AI 應用與模型服務方式 ─ 建立模型推論 API、工作佇列、LLM 應用、多模型流水線等

一個 GPU 叢集管理器，用於高效能 AI 模型服務（vLLM、SGLang）以及按需可 SSH 存取的 GPU 實例。

Superduper：端到端框架，用於構建自訂 AI 應用與代理

可擴展至數千個微調LLM的Multi-LoRA推理伺服器

基於 PaddlePaddle 的高效 LLM 與 VLM 推理與部署工具包

專注於高效、靈活與可用性的高性能大型語言模型推論框架。

社群維護的 vLLM on Ascend 硬體外掛程式

MoBA：長文本 LLM 的區塊注意力混合模型

AICI：將提示詞作為 (Wasm) 程式

開源持續推論基準研究平台 — Kimi K3 2.8T、MiniMax M3、DeepSeekv4、GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 ＆ 即將推出™ TPUv6e/v7/Trainium2/3

Parallax 是一個分散式模型服務框架，讓您隨處建構自己的 AI 叢集

RTP-LLM：阿里巴巴針對多元應用打造的高效能 LLM 推論引擎。

用於動態 GPU 共用及更高應用的虛擬化彈性 KV 快取

一個針對 LLM 打造、以高吞吐量為導向的高效能服務框架

針對 Llama 及其變體的高度最佳化 LLM 推論加速引擎。

高效能的 ML 模型服務框架，提供動態批次處理與 CPU/GPU 管線，充分發效能。

具備規格編碼的私有代理艦隊。每個代理皆擁有專屬的 GPU 加速桌面，可在完整的私有 AI 堆疊上執行 Claude、Codex、Gemini 及開放模型

純 Rust + CUDA LLM 推論引擎 — 無需 PyTorch，相容 OpenAI，支援 Qwen3 至 Kimi-K2 服務

LLM (大型語言模型) 微調