inference

PyTriton 是一个类似 Flask/FastAPI 的接口，可简化 Triton 在 Python 环境中的部署。

TensorRT C++ API 教程

无需安装且无需 Bazel 即可在 C++ 中运行 TensorFlow 模型

小巧、无依赖、快速的 Python 包，通过检查 Magic Number 签名来推断二进制文件类型

用于 SageMaker Studio Lab 的示例 Notebook。点击下方链接注册账号！

AI 生产力工具 - 免费且开源，提升用户生产力，并保护隐私与数据安全。包含但不限于：内置本地专属 ChatGPT、DeepSeek、Phi、Qwen 等模型，一键批量智能处理图片、视频、音频等。

⚡ 适用于 Apple Silicon 的原生 MLX Swift LLM 推理服务器。兼容 OpenAI API、支持 100B+ MoE 模型的 SSD 流、TurboQuant KV 缓存压缩，以及 macOS + iOS iPhone 应用程序。

适用于微控制器与嵌入式设备的机器学习推理引擎

一个轻量级的 LLM 模型推理框架。

盲打 WAF 识别工具

yolort 是一个用于 yolov5 的运行时堆栈，支持 TensorRT、libtorch、onnxruntime、tvm 和 ncnn 等专用加速器。

Privacy Meter：一个用于审计统计与机器学习算法中数据隐私的开源库。

图资料科学（Graph Data Science）：用于构建知识图谱的 Python 抽象层，集成了热门的图函式库——基于 Pandas、NetworkX、RAPIDS、RDFlib、pySHACL、PyVis、morph-kgc、pslpython、pyarrow 等。

针对传统 ML 模型的 Ollama。能将 XGBoost、LightGBM、scikit-learn、CatBoost 与 ONNX 模型转为原生 C99 推论代码的 AOT 编译器。只需一个指令加载、一个指令提供服务。比 Python 推论快 336 倍。

纯 Rust + CUDA LLM 推理引擎 — 无需 PyTorch，兼容 OpenAI，支持 Qwen3 至 Kimi-K2 服务

从头训练先进的 yolov3 物件检测器！

精确、大规模且可扩展的 LLM 推理系统模拟器

一个轻量、可移植且支持硬件加速的嵌入式设备纯 C99 onnx 推理引擎。

高性能无服务器 GPU 任务编排——wavespeed.ai 背后的调度层。

Deep Learning Streamer (DL Streamer) Pipeline Framework 是一个基于 GStreamer* 多媒体框架的开源流媒体分析框架，用于在云端或边缘创建复杂的媒体分析管线。

逐步实现 llama3 推理、掌握核心概念、掌握过程推导、实现代码。

将 mmdetection 模型转换为 tensorrt，支持 fp16、int8、批处理输入、动态形状等。

Inference-native Tokenmaxxing Agent Harness for Loop Engineering

用于 YOLO 小目标检测与实例分割的 Python 库

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

🏗️ 轻松微调、构建与部署开源 LLM！

在 Kubernetes 上更轻松且高效地执行深度学习工作负载。

Triton Model Analyzer 是一个 CLI 工具，协助更深入了解 Triton Inference Server 模型的运算与内存需求

A project that optimizes OWL-ViT for real-time inference with NVIDIA TensorRT.

基于安全隔离区（Secure Enclaves）的机密 AI 部署