inference

Hướng dẫn sử dụng TensorRT C++ API.

Chạy các mô hình TensorFlow bằng C++ mà không cần cài đặt và không cần Bazel

Gói Python nhỏ gọn, không phụ thuộc, tốc độ cao để suy luận loại tệp nhị phân bằng cách kiểm tra chữ ký magic number.

Các notebook ví dụ để làm việc với SageMaker Studio Lab. Đăng ký tài khoản tại liên kết bên dưới!

Công cụ năng suất AI miễn phí và mã nguồn mở, giúp cải thiện năng suất người dùng, bảo vệ quyền riêng tư và bảo mật dữ liệu. Bao gồm nhưng không giới hạn ở: tích hợp sẵn các mô hình cục bộ như ChatGPT, DeepSeek, Phi, Qwen, xử lý hàng loạt thông minh bằng một cú nhấp chuột cho hình ảnh, video, âm thanh, v.v.

Máy chủ suy luận LLM MLX Swift gốc cho Apple Silicon. API tương thích với OpenAI, truyền phát SSD cho các mô hình MoE 100B+, nén bộ nhớ đệm TurboQuant KV, ứng dụng MACOS + iOS iPhone.

Một framework suy luận mô hình LLM nhẹ

Công cụ suy luận Machine Learning cho vi điều khiển và thiết bị nhúng

Continual learning infra for self-improving agents

Công cụ nhận diện WAF mù (Blind WAF).

yolort là một ngăn xếp runtime cho yolov5 trên các bộ tăng tốc chuyên dụng như tensorrt, libtorch, onnxruntime, tvm và ncnn.

Privacy Meter: Một thư viện mã nguồn mở để kiểm định quyền riêng tư dữ liệu trong các thuật toán thống kê và học máy.

Graph Data Science: lớp trừu tượng trong Python để xây dựng đồ thị tri thức, tích hợp với các thư viện đồ thị phổ biến như Pandas, NetworkX, RAPIDS, RDFlib, pySHACL, PyVis, morph-kgc, pslpython, pyarrow, v.v.

Ollama cho các mô hình ML cổ điển. Trình biên dịch AOT chuyển đổi các mô hình XGBoost, LightGBM, scikit-learn, CatBoost và ONNX thành mã suy luận C99 gốc. Một lệnh để tải, một lệnh để phục vụ. Nhanh hơn 336 lần so với suy luận bằng Python.

Huấn luyện bộ phát hiện đối tượng yolov3 hiện đại từ đầu

Công cụ suy luận LLM bằng Rust thuần + CUDA — không cần PyTorch, tương thích với OpenAI, hỗ trợ từ Qwen3 đến Kimi-K2.

Trình mô phỏng chính xác, quy mô lớn và có khả năng mở rộng cho các hệ thống suy luận LLM

Công cụ suy luận ONNX thuần C99 gọn nhẹ, di động dành cho các thiết bị nhúng với hỗ trợ tăng tốc phần cứng.

Điều phối tác vụ GPU serverless hiệu năng cao — lớp lập lịch đằng sau wavespeed.ai.

Thực hiện suy luận llama3 từng bước, nắm vững các khái niệm cốt lõi, hiểu rõ quá trình suy luận và triển khai mã nguồn.

Deep Learning Streamer (DL Streamer) Pipeline Framework là một khung phân tích phương tiện truyền thông mã nguồn mở, dựa trên GStreamer, dùng để tạo các pipeline phân tích phương tiện phức tạp cho Cloud hoặc Edge.

Chuyển đổi mô hình mmdetection sang tensorrt, hỗ trợ fp16, int8, đầu vào theo lô, hình dạng động, v.v.

Inference-native Tokenmaxxing Agent Harness for Loop Engineering

Thư viện Python hỗ trợ phát hiện vật thể nhỏ và phân đoạn thực thể bằng YOLO.

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

🏗️ Tinh chỉnh, xây dựng và triển khai các LLM mã nguồn mở một cách dễ dàng!

Chạy các tác vụ deep learning trên Kubernetes dễ dàng và hiệu quả hơn.

Triton Model Analyzer là công cụ CLI giúp hiểu rõ hơn về yêu cầu tính toán và bộ nhớ của các mô hình trên Triton Inference Server.

A project that optimizes OWL-ViT for real-time inference with NVIDIA TensorRT.

Triển khai AI bảo mật với secure enclaves :lock: