inference

高吞吐量且内存效率高的 LLM 推理与服务引擎

Ultralytics YOLOv5（基于 PyTorch）用于目标检测、实例分割、分类、训练与导出

OpenAI Whisper 模型的 C/C++ 移植版

DeepSpeed 是一个深度学习优化库，使分布式训练与推理变得简单、高效且有效

让大型 AI 模型更便宜、更快速且更易获取

跨平台、可定制的机器学习解决方案，适用于实时与流媒体

SGLang 是针对大型语言模型与多模态模型的高性能服务框架

使用 CTranslate2 的 Faster Whisper 转录

ncnn：针对移动平台优化的高性能神经网络推理框架。

机器学习工程开放手册

Nano vLLM

🎨 为 TypeScript 提供完整模式匹配功能的库，具备智能类型推断

NVIDIA® TensorRT™ 是一套在 NVIDIA GPU 上进行高效深度学习推理的 SDK。本仓库包含 TensorRT 的开源组件。

LMCache：以最快的 KV 缓存层为 LLM 提供加速

示范如何使用 Amazon SageMaker 构建、训练与部署机器学习模型的 Jupyter Notebook 示例 📓 🧠

Triton 推理服务器提供优化的云端与边缘推理解决方案。

OpenVINO™：用于优化与部署 AI 推理的开源工具套件

PyTorch 版 YOLOv3、YOLOv3-SPP 与 YOLOv3-tiny 的实时目标检测实现，支持训练、验证、推理与多格式导出

FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.

可在本机运行 AI 的生产就绪工具包

只需更改一行代码，即可将 GPT 替换为任意 LLM。Xinference 让你在云端、本地或笔记本上运行开源、语音和多模态模型，统一的生产级推理 API

轻松微调、评估与部署 Qwen、Gemma 或任何开放权重的 LLM！

Hello AI World：部署深度学习推理网络与深度视觉原语的指南，使用 TensorRT 与 NVIDIA Jetson

用于 IO 解码/编码的运行时类型系统。

高效模型推理框架，支持全模态模型

Mooncake 是 Moonshot AI 提供的领先 LLM 服务 Kimi 的服务平台

Apple Silicon 上的本机语音 AI

Adversarial Robustness Toolbox (ART) - 用于机器学习安全的 Python 库，支持规避、投毒、模型提取与推理，适合红蓝队使用

一个 GPU 集群管理器，用于高效能 AI 模型服务（vLLM、SGLang）以及按需可 SSH 访问的 GPU 实例。

一个可编程的混合模型路由器，用于异质 LLM 推理。