inference

Tutoriel sur l'API C++ de TensorRT.

Exécuter des modèles TensorFlow en C++ sans installation ni Bazel

Continual learning infra for self-improving agents

Package Python léger, rapide et sans dépendance pour déduire les types de fichiers binaires en vérifiant la signature des nombres magiques.

Exemples de notebooks pour travailler avec SageMaker Studio Lab. Inscrivez-vous via le lien ci-dessous !

Outil de productivité IA gratuit et open source, conçu pour améliorer la productivité des utilisateurs tout en protégeant la confidentialité et la sécurité des données. Inclut, sans s'y limiter : des modèles locaux intégrés comme ChatGPT, DeepSeek, Phi, Qwen, ainsi que le traitement intelligent par lots en un clic d'images, de vidéos, d'audio, etc.

⚡ Serveur d'inférence LLM natif en Swift avec MLX pour Apple Silicon. API compatible OpenAI, streaming SSD pour les modèles MoE de plus de 100 milliards de paramètres, compression de cache KV TurboQuant, application mobile pour iOS et macOS.

un framework d'inférence de modèles LLM léger

Moteur d'inférence d'apprentissage automatique pour microcontrôleurs et appareils embarqués

Outil d'identification de WAF en aveugle.

yolort est une pile d'exécution pour yolov5 sur des accélérateurs spécialisés tels que tensorrt, libtorch, onnxruntime, tvm et ncnn.

Privacy Meter : Une bibliothèque open-source pour auditer la confidentialité des données dans les algorithmes statistiques et d'apprentissage automatique.

Graph Data Science : une couche d'abstraction en Python pour construire des graphes de connaissances, intégrée aux bibliothèques de graphes populaires – au-dessus de Pandas, NetworkX, RAPIDS, RDFlib, pySHACL, PyVis, morph-kgc, pslpython, pyarrow, etc.

Ollama pour les modèles de ML classiques. Compilateur AOT qui transforme les modèles XGBoost, LightGBM, scikit-learn, CatBoost et ONNX en code d'inférence C99 natif. Une commande pour charger, une commande pour diffuser. 336 fois plus rapide que l'inférence Python.

Entraînez un détecteur d'objets yolov3 de pointe à partir de zéro !

Moteur d'inférence LLM en Rust pur et CUDA — sans PyTorch, compatible avec OpenAI, servant Qwen3 vers Kimi-K2.

Simulateur précis, à grande échelle et extensible pour les systèmes d'inférence de LLM

Un moteur d'inférence onnx léger, portable en pur C99 pour appareils embarqués avec support de l'accélération matérielle.

Orchestration de tâches GPU serverless haute performance — la couche de planification derrière wavespeed.ai

Réalisez l'inférence llama3 étape par étape, saisissez les concepts fondamentaux, maîtrisez la dérivation du processus, implémentez le code.

Deep Learning Streamer (DL Streamer) Pipeline Framework est un framework open-source d'analytique média en streaming, basé sur le framework multimédia GStreamer*, pour créer des pipelines d'analytique média complexes pour le Cloud ou au Edge.

Convertir un modèle mmdetection en tensorrt, prend en charge fp16, int8, l'entrée par lot, la forme dynamique, etc.

Inference-native Tokenmaxxing Agent Harness for Loop Engineering

Bibliothèque Python pour la détection de petits objets et la segmentation d'instances avec YOLO

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

🏗️ Affinez, construisez et déployez facilement des LLM open source !

Exécutez vos charges de travail de deep learning sur Kubernetes plus facilement et efficacement.

Triton Model Analyzer est un outil en ligne de commande pour aider à mieux comprendre les besoins en calcul et en mémoire des modèles Triton Inference Server.

A project that optimizes OWL-ViT for real-time inference with NVIDIA TensorRT.

Déploiement d'IA confidentielle avec des enclaves sécurisées