tensorrt

Ultralytics YOLOv5（基於 PyTorch）用於目標檢測、實例分割、分類、訓練與匯出

NVIDIA® TensorRT™ 是一套在 NVIDIA GPU 上進行高效深度學習推理的 SDK。本倉庫包含 TensorRT 的開源組件。

PyTorch 版 YOLOv3、YOLOv3-SPP 與 YOLOv3-tiny 的即時目標偵測實作，支援訓練、驗證、推論與多格式匯出

YOLOX 是高效能的無錨 YOLO，搭配 MegEngine、ONNX、TensorRT、ncnn 與 OpenVINO，性能超越 yolov3~v5。文件：https://yolox.readthedocs.io/

Hello AI World：部署深度學習推論網路與深度視覺原語的指南，使用 TensorRT 與 NVIDIA Jetson

BoxMOT：可插拔的 Python 與 C++ 最先進多目標追蹤模組，支援軸對齊與方向性邊界框。

使用 TensorRT 網路定義 API 實作流行的深度學習網路

📄 Awesome OCR 多語言工具套件，基於 ONNX Runtime、OpenVINO、MNN、PaddlePaddle、TensorRT 與 PyTorch

易用的 PyTorch 到 TensorRT 转换器

TNN：由騰訊優圖實驗室和光影實驗室開發的統一深度學習推理框架，適用於手機、桌面和服務器。TNN 以跨平台能力、高性能、模型壓縮和代碼裁剪等優秀特性著稱。基於 ncnn 和 Rapidnet，TNN 進一步加強了對手機設備的支持和性能優化，並且

《Pytorch实用教程》（第二版）無論是零基礎入門、CV、NLP、LLM 專案應用，或是進階工程化部署落地，皆可在此獲得。相信在本書的幫助下，讀者能輕鬆掌握 PyTorch 使用，成為優秀的深度學習工程師。

Tengine 是一個輕量、高效、模組化的推理引擎，適用於嵌入式裝置

PyTorch、ONNX 與 TensorRT 實作的 YOLOv4。

輕量級 C++ AI 工具包：100+ 模型，支援 MNN、ORT 與 TRT，包括 Det、Seg、Stable‑Diffusion、Face‑Fusion。

近乎即時的 OpenAI Whisper 實作

為加速基礎設施與微服務架構優化的生成式 AI 參考工作流程

DAMO-YOLO：一種快速且準確的物件偵測方法，採用 NAS backbone、Efficient RepGFPN、ZeroHead、AlignedOTA 以及蒸餾增強等新技術

OpenMMLab 模型部署框架

使用 TensorRT 為 NVIDIA GPU 編譯 PyTorch/TorchScript/FX 的編譯器

計算機視覺相關好玩的 AI 專案（Python、C++、embedded system）

適用於 Torch 與 TensorRT 的深度學習伺服器與 CLI

🍅🍅🍅YOLOv5-Lite：演進自 YOLOv5，模型大小僅 900+KB (int8) 與 1.7M (fp16)。在 Raspberry Pi 4B 上可達 15 FPS~

將任何電腦或邊緣裝置變成電腦視覺專案的指揮中心。

YOLO5Face：為什麼要重新發明人臉檢測器 (https://arxiv.org/abs/2105.12931) ECCV Workshops 2022

micronet 是一個模型壓縮與部署庫。壓縮：1、量化：量化感知訓練 (QAT)、高位元 (>2b)、低位元 (≤2b)/三元與二元；後訓練量化 (PTQ)、8 位元 (tensorrt)；2、剪枝：正常、規則與群組卷積通道剪枝；3、群組

使用 Tensorflow 2.0、Android 實作的 YOLOv4、YOLOv4-tiny、YOLOv3、YOLOv3-tiny。將 YOLO v4 .weights 轉換為 tensorflow、tensorrt 和 tflite

適用於 YOLO 模型的 NVIDIA DeepStream SDK 8.0 / 7.1 / 7.0 / 6.4 / 6.3 / 6.2 / 6.1.1 / 6.1 / 6.0.1 / 6.0 / 5.1 實作

🚀 更簡單、更快速的 NVIDIA YOLO 部署工具包 🛠️

一款簡單易用且高效能的 AI 部署框架

使用 TensorRT 加速的 YOLOv8！