serving

Ray 是一个 AI 计算引擎，包含核心分布式运行时和加速机器学习工作负载的 AI 库套件

弹性且高性能的机器学习模型服务系统

云原生批处理系统（CNCF 项目）

一个 MLOps 框架，用于打包、部署、监控与管理数千个生产机器学习模型

在 Apple Silicon 上学习 LLM 推理系统，为系统工程师打造小型 vLLM + Qwen

本仓库将分享有关将深度学习模型部署到生产环境的实用笔记与参考资料。

一个最小化的 Python 框架，用于构建自定义 AI 推理服务器，完全控制逻辑、批次与扩展

基于 PaddlePaddle 的高效 LLM 与 VLM 推理与部署工具包

构建生产级 RAG 型 LLM 应用程序的全面指南。

一个多模态向量数据库，在结构化与非结构化数据上支持使用统一 SQL（兼容 MySQL）进行 upsert 与向量查询，同时满足高并发与超低延迟的需求。

为使用 OpenVINO™ 优化之模型所设计的可扩展推理服务器

一个灵活、高性能的机器学习模型载体（『飞桨』服务化部署框架）

通用且易于使用的机器学习模型服务系统。

统一的端到端机器智能平台。