inference

管理构建于 Envoy Gateway 之上的生成式 AI 服务统一访问

在配备 256MB RAM、价值 10 美元的开发板上运行 10 亿参数的 LLM

AgiBot X1 的推理模块。

多核心 CPU 上的神经网络加速套件

高效、可扩展且具备企业级水准的 CPU/GPU 推理服务器，适用于 🤗 Hugging Face transformer 模型 🚀

高性能 AI 模型推理引擎。

开源持续推理基准研究平台 — Kimi K3 2.8T、MiniMax M3、DeepSeekv4、GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 ＆ 即将推出™ TPUv6e/v7/Trainium2/3

通过统一的 API 接口，跨多个供应商路由、管理和分析您的 LLM 请求。

针对 LLM、VLM、DiT 与 REC 模型的高性能推理引擎，针对各种 AI 加速器进行了优化。托管于 OpenAtom Foundation。

使用 nvidia-smi 二进制文件或 NVML 的 Prometheus Nvidia GPU 导出器

用于 CPU 与 GPU 上 transformer 推理（Bert、Albert、GPT2、Decoders 等）的快速且使用者友善的执行环境。

以不到 10 行代码、符合预算的成本部署 ML 推理服务。

RTP-LLM：阿里巴巴针对多元应用打造的高性能 LLM 推理引擎。

采用 Rust 构建的高性能、模块化、内存安全且生产就绪的推理、摄取和索引工具 🦀

用于图形与成对设置中因果推断的软件包。包含图形结构恢复与依赖性工具。

在 Kubernetes 上以 Python 神奇地分发并执行 AI 工作负载，就像用于 ML 基础设施的 PyTorch 一样。

让 LLM KV 缓存压缩变得轻松简单

Qualcomm® AI Hub Models 是我们针对性能（延迟、内存等）优化并可随时部署至 Qualcomm® 设备的最先进机器学习模型集合。

SGLang-Omni 为 TTS、ASR、语音与全能模型提供高性能服务。

适用于 Apple Silicon 的原生 LLM 推理服务器。兼容 OpenAI + Anthropic API。无 Python。包含带聊天、agent 模式和工具调用功能的 MLX Core macOS 应用。

使用 C++ 与 CUDA 构建你自己的高性能 LLM 推理引擎 - vLLM 的精简版

一个针对 LLM 打造、以高吞吐量为导向的高性能服务框架

MLX Studio - JANG_Q 的家 - 图像生成/编辑 + 聊天/代码 一体化 - + OpenClaw (Anthropic API)

Bolt 是一个高性能且具备异质灵活性的深度学习库。

📚 现代统计学导论 - 一本大学程度的开源教科书，采用强调多变量关系与基于模拟推断的现代方法。

用于执行多种框架深度学习模型的统一接口

为使用 OpenVINO™ 优化之模型所设计的可扩展推理服务器

Continual learning infra for self-improving agents

C/C++ 版本的 Suno AI Bark 模型，用于快速文本转语音生成

一个可在数分钟内构建与部署应用的开源计算机视觉框架