model-serving

高吞吐量且記憶體效率高的 LLM 推理與服務引擎

最簡便的 AI 應用與模型服務方式 ─ 建立模型推論 API、工作佇列、LLM 應用、多模型流水線等

高效模型推理框架，支援全模態模型

標準化的分散式生成式與預測式 AI 推論平台，支援在 Kubernetes 上以多框架擴展部署

開源個人雲端作業系統，為始終在線代理設計

本倉庫將分享有關將深度學習模型部署到生產環境的實用筆記與參考資料。

🚀 Awesome System for Machine Learning ⚡️ AI System Papers and Industry Practice. ⚡️ System for Machine Learning, LLM (Large Language Model), GenAI (Generative AI). 🍻 OSDI, NSDI, SIGCOMM, SoCC, MLSys, etc. 🗃️ Llama3, Mistral, etc. 🧑‍💻 Video Tutorials.

LightLLM 是一個基於 Python 的 LLM（大型語言模型）推理與服務框架，以輕量化設計、易於擴展與高速性能著稱

FEDML - 用於大規模分散式訓練、模型部署與聯邦學習的統一且具擴充性的機器學習函式庫。跨雲排程器 FEDML Launch 進一步支援在任何 GPU 雲端或地端叢集上執行任何 AI 任務。基於此函式庫建構的 TensorOpera AI (https://TensorOpera.ai) 是您的大規模生成式 AI 平台。

可擴展至數千個微調LLM的Multi-LoRA推理伺服器

專注於高效、靈活與可用性的高性能大型語言模型推論框架。

社群維護的 vLLM on Ascend 硬體外掛程式

OpenLake 是一個高效能儲存引擎，用於實現高效的 LLM 推論與 GPU 訓練

🏕️ 適用於人類與 agents 的可重現開發環境

AICI：將提示詞作為 (Wasm) 程式

MLRun 是一個開源 MLOps 平台，用於在整個生命週期中快速構建與管理持續 ML 應用程式。MLRun 可整合至您的開發與 CI/CD 環境中，並自動化交付生產資料、ML 管道與線上應用程式。

來自 CNCF 的開源 DevOps 工具，用於將 AI/ML 模型、資料集、程式碼和組態打包並進行版本控制成 OCI Artifact。

RTP-LLM：阿里巴巴針對多元應用打造的高效能 LLM 推論引擎。

Hopsworks - 具備特徵儲存庫的資料密集型 AI 平台

在生產環境中提供 AI/ML 模型服務的最簡單方式

SGLang-Omni 為 TTS、ASR、語音與全能模型提供高效能服務。

一個針對 LLM 打造、以高吞吐量為導向的高效能服務框架

為使用 OpenVINO™ 優化之模型所設計的可擴充推論伺服器

針對 Llama 及其變體的高度最佳化 LLM 推論加速引擎。

高效能的 ML 模型服務框架，提供動態批次處理與 CPU/GPU 管線，充分發效能。

人人皆可使用的無伺服器 LLM 推論服務

針對傳統 ML 模型的 Ollama。能將 XGBoost、LightGBM、scikit-learn、CatBoost 與 ONNX 模型轉為原生 C99 推論程式碼的 AOT 編譯器。只需一個指令載入、一個指令提供服務。比 Python 推論快 336 倍。

純 Rust + CUDA LLM 推論引擎 — 無需 PyTorch，相容 OpenAI，支援 Qwen3 至 Kimi-K2 服務

用於部署生產級機器學習模型的 FastAPI 骨架應用程式。

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton