inference

TensorRT C++ API 教學

無需安裝且無需 Bazel 即可在 C++ 中執行 TensorFlow 模型

Continual learning infra for self-improving agents

小巧、無依賴、快速的 Python 套件，透過檢查 Magic Number 簽章來推斷二進位檔案類型

用於 SageMaker Studio Lab 的範例筆記本。點擊下方連結註冊帳號！

AI 生產力工具 - 免費且開源，提升使用者生產力，並保護隱私與資料安全。包含但不限於：內建本機專屬 ChatGPT、DeepSeek、Phi、Qwen 等模型，一鍵批次智慧處理圖片、影片、音訊等。

⚡ 適用於 Apple Silicon 的原生 MLX Swift LLM 推論伺服器。相容 OpenAI API、支援 100B+ MoE 模型的 SSD 串流、TurboQuant KV 快取壓縮，以及 macOS + iOS iPhone 應用程式。

一個輕量級的 LLM 模型推論框架。

適用於微控制器與嵌入式裝置的機器學習推論引擎

盲打 WAF 識別工具

yolort 是一個用於 yolov5 的執行時期堆疊，支援 TensorRT、libtorch、onnxruntime、tvm 和 ncnn 等專用加速器。

Privacy Meter：一個用於審計統計與機器學習演算法中資料隱私的開源函式庫。

圖學資料科學（Graph Data Science）：用於建構知識圖譜的 Python 抽象層，整合了熱門的圖學函式庫——基於 Pandas、NetworkX、RAPIDS、RDFlib、pySHACL、PyVis、morph-kgc、pslpython、pyarrow 等。

針對傳統 ML 模型的 Ollama。能將 XGBoost、LightGBM、scikit-learn、CatBoost 與 ONNX 模型轉為原生 C99 推論程式碼的 AOT 編譯器。只需一個指令載入、一個指令提供服務。比 Python 推論快 336 倍。

從頭訓練先進的 yolov3 物件偵測器！

純 Rust + CUDA LLM 推論引擎 — 無需 PyTorch，相容 OpenAI，支援 Qwen3 至 Kimi-K2 服務

精確、大規模且可擴充的 LLM 推理系統模擬器

一個輕量、可攜式且支援硬體加速的嵌入式裝置純 C99 onnx 推論引擎。

高效能無伺服器 GPU 任務編排——wavespeed.ai 背後的排程層。

逐步實現 llama3 推論、掌握核心概念、掌握過程推導、實作程式碼。

Deep Learning Streamer (DL Streamer) Pipeline Framework 是一個基於 GStreamer* 多媒體框架的開源串流媒體分析框架，用於在雲端或邊緣建立複雜的媒體分析管線。

將 mmdetection 模型轉換為 tensorrt，支援 fp16、int8、批次輸入、動態形狀等。

Inference-native Tokenmaxxing Agent Harness for Loop Engineering

用於 YOLO 小目標檢測與實例分割的 Python 函式庫

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

🏗️ 輕鬆微調、建置與部署開源 LLM！

在 Kubernetes 上更輕鬆且高效地執行深度學習工作負載。

Triton Model Analyzer 是一個 CLI 工具，協助更深入了解 Triton Inference Server 模型的運算與記憶體需求

A project that optimizes OWL-ViT for real-time inference with NVIDIA TensorRT.

基於安全隔離區（Secure Enclaves）的機密 AI 部署