model-serving

高吞吐量且内存效率高的 LLM 推理与服务引擎

最简便的 AI 应用与模型服务方式 ─ 构建模型推理 API、作业队列、LLM 应用、多模型流水线等

高效模型推理框架，支持全模态模型

标准化的分布式生成式与预测式 AI 推理平台，支持在 Kubernetes 上进行多框架可扩展部署

开源个人云端操作系统，为始终在线代理设计

本仓库将分享有关将深度学习模型部署到生产环境的实用笔记与参考资料。

🚀 Awesome System for Machine Learning ⚡️ AI System Papers and Industry Practice. ⚡️ System for Machine Learning, LLM (Large Language Model), GenAI (Generative AI). 🍻 OSDI, NSDI, SIGCOMM, SoCC, MLSys, etc. 🗃️ Llama3, Mistral, etc. 🧑‍💻 Video Tutorials.

LightLLM 是一个基于 Python 的 LLM（大型语言模型）推理与服务框架，以轻量化设计、易于扩展与高速性能著称

FEDML - 用于大规模分布式训练、模型部署与联邦学习的统一且具扩展性的机器学习库。跨云调度器 FEDML Launch 进一步支持在任何 GPU 云或本地集群上运行任何 AI 任务。基于此库构建的 TensorOpera AI (https://TensorOpera.ai) 是您的大规模生成式 AI 平台。

可扩展至数千个微调LLM的Multi-LoRA推理服务器

专注于高效、灵活与可用性的高性能大型语言模型推理框架。

社区维护的 vLLM on Ascend 硬件插件

OpenLake 是一个高性能存储引擎，用于高效的 LLM 推理和 GPU 训练

🏕️ 适用于人类与 agents 的可复现开发环境

AICI：将提示词作为 (Wasm) 程序

MLRun 是一个开源 MLOps 平台，用于在整个生命周期中快速构建与管理持续 ML 应用程序。MLRun 可集成到您的开发与 CI/CD 环境中，并自动化交付生产数据、ML 管道和在线应用程序。

来自 CNCF 的开源 DevOps 工具，用于将 AI/ML 模型、数据集、代码和配置打包并进行版本控制成 OCI Artifact。

RTP-LLM：阿里巴巴针对多元应用打造的高性能 LLM 推理引擎。

Hopsworks - 具备特征存储库的数据密集型 AI 平台

在生产环境中提供 AI/ML 模型服务的最简单方式

SGLang-Omni 为 TTS、ASR、语音与全能模型提供高性能服务。

一个针对 LLM 打造、以高吞吐量为导向的高性能服务框架

为使用 OpenVINO™ 优化之模型所设计的可扩展推理服务器

针对 Llama 及其变体的高度最佳化 LLM 推理加速引擎。

高性能的 ML 模型服务框架，提供动态批处理和 CPU/GPU 流水线以充分发挥算力

人人皆可使用的无服务器 LLM 推理服务

针对传统 ML 模型的 Ollama。能将 XGBoost、LightGBM、scikit-learn、CatBoost 与 ONNX 模型转为原生 C99 推论代码的 AOT 编译器。只需一个指令加载、一个指令提供服务。比 Python 推论快 336 倍。

纯 Rust + CUDA LLM 推理引擎 — 无需 PyTorch，兼容 OpenAI，支持 Qwen3 至 Kimi-K2 服务

用于部署生产级机器学习模型的 FastAPI 骨架应用程式。