inference

管理建構於 Envoy Gateway 之上的生成式 AI 服務統一存取

在配備 256MB RAM、價值 10 美元的開發板上執行 10 億參數的 LLM

AgiBot X1 的推論模組。

多核心 CPU 上的類神經網路加速套件

高效、可擴展且具備企業級水準的 CPU/GPU 推論伺服器，適用於 🤗 Hugging Face transformer 模型 🚀

高效能 AI 模型推論引擎。

開源持續推論基準研究平台 — Kimi K3 2.8T、MiniMax M3、DeepSeekv4、GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 ＆ 即將推出™ TPUv6e/v7/Trainium2/3

透過統一的 API 介面，跨多個供應商路由、管理和分析您的 LLM 請求。

針對 LLM、VLM、DiT 與 REC 模型的高效能推論引擎，針對各種 AI 加速器進行最佳化。託管於 OpenAtom Foundation。

用於 CPU 與 GPU 上 transformer 推論（Bert、Albert、GPT2、Decoders 等）的快速且使用者友善的執行環境。

使用 nvidia-smi 二進位檔或 NVML 的 Prometheus Nvidia GPU 匯出器

以不到 10 行程式碼、符合預算的成本部署 ML 推論服務。

RTP-LLM：阿里巴巴針對多元應用打造的高效能 LLM 推論引擎。

採用 Rust 建立的高效能、模組化、記憶體安全且可直接用於生產環境的推理、擷取和索引工具 🦀

用於圖形與成對設定中因果推斷的套件。包含圖形結構復原與相依性工具。

在 Kubernetes 上以 Python 神奇地分發並執行 AI 工作負載，就像用於 ML 基礎設施的 PyTorch 一樣。

讓 LLM KV 快取壓縮變得輕鬆簡單

Qualcomm® AI Hub Models 是我們針對效能（延遲、記憶體等）最佳化並可隨時部署至 Qualcomm® 裝置的最先進機器學習模型集合。

SGLang-Omni 為 TTS、ASR、語音與全能模型提供高效能服務。

適用於 Apple Silicon 的原生 LLM 推論伺服器。相容 OpenAI + Anthropic API。無須 Python。包含具備聊天、agent 模式與工具呼叫功能的 MLX Core macOS 應用程式。

使用 C++ 與 CUDA 建構你自己的高效能 LLM 推理引擎 - vLLM 的精簡版

一個針對 LLM 打造、以高吞吐量為導向的高效能服務框架

MLX Studio - JANG_Q 的家 - 影像生成/編輯 + 聊天/程式碼 一體化 - + OpenClaw (Anthropic API)

Bolt 是一個高效能且具備異質靈活性的深度學習函式庫。

📚 現代統計學導論 - 一本大學程度的開源教科書，採用強調多變數關係與基於模擬推論的現代方法。

用於執行多種框架深度學習模型的統一介面

為使用 OpenVINO™ 優化之模型所設計的可擴充推論伺服器

Continual learning infra for self-improving agents

C/C++ 版本的 Suno AI Bark 模型，用於快速文字轉語音生成

一個可在數分鐘內建置與部署應用的開源電腦視覺框架