serving

Ray 是一個 AI 計算引擎，包含核心分散式執行環境與加速機器學習工作負載的 AI 函式庫套件

彈性且高效能的機器學習模型服務系統

雲原生批次系統（CNCF 旗下專案）

一個 MLOps 框架，用於打包、部署、監控與管理數千個生產機器學習模型

在 Apple Silicon 上學習 LLM 推理系統，為系統工程師打造小型 vLLM + Qwen

本倉庫將分享有關將深度學習模型部署到生產環境的實用筆記與參考資料。

一個最小化的 Python 框架，用於構建自訂 AI 推理伺服器，完全控制邏輯、批次與擴展

基於 PaddlePaddle 的高效 LLM 與 VLM 推理與部署工具包

建構生產級 RAG 型 LLM 應用程式的全面指南。

一個多模態向量資料庫，在結構化與非結構化資料上支援使用統一 SQL（相容 MySQL）進行 upsert 與向量查詢，同時滿足高併發與超低延遲的需求。

為使用 OpenVINO™ 優化之模型所設計的可擴充推論伺服器

一個靈活、高效能的機器學習模型載體（『飛槳』服務化部署框架）

通用且易於使用的機器學習模型服務系統。

統一的端到端機器智慧平台。