inference

Gestionnaire d'accès unifié aux services d'IA générative construit sur Envoy Gateway

Exécuter un LLM d'un milliard de paramètres sur une carte à 10 $ avec 256 Mo de RAM

Module d'inférence pour AgiBot X1.

Package d'accélération pour les réseaux de neurones sur processeurs multi-cœurs

Serveur d'inférence CPU/GPU efficace, évolutif et de qualité entreprise pour les modèles 🤗 Hugging Face transformer 🚀

Un moteur d'inférence haute performance pour les modèles d'IA.

Plateforme de recherche de benchmark d'inférence continue open source — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 et bientôt™ TPUv6e/v7/Trainium2/3

Routez, gérez et analysez vos requêtes LLM auprès de multiples fournisseurs via une interface API unifiée.

Un moteur d'inférence haute performance pour les modèles LLM, VLM, DiT et REC, optimisé pour divers accélérateurs IA. Hébergé par la fondation OpenAtom.

Un runtime rapide et convivial pour l'inférence de transformers (Bert, Albert, GPT2, Decoders, etc.) sur CPU et GPU.

Exportateur GPU Nvidia pour Prometheus utilisant le binaire nvidia-smi ou NVML.

Déployez un service d'inférence ML à petit budget en moins de 10 lignes de code.

RTP-LLM : moteur d'inférence LLM haute performance d'Alibaba pour diverses applications.

Inférence, ingestion et indexation hautement performantes, modulaires, sécurisées en mémoire et prêtes pour la production, construites en Rust 🦀

Package pour l'inférence causale dans les graphes et les environnements par paires. Inclut des outils pour la récupération de la structure des graphes et des dépendances.

Distribuez et exécutez des charges de travail IA sur Kubernetes comme par magie en Python, tel PyTorch pour l'infrastructure ML.

Compression simplifiée du cache KV pour LLM

Qualcomm® AI Hub Models est notre collection de modèles d'apprentissage automatique de pointe, optimisés pour la performance (latence, mémoire, etc.) et prêts à être déployés sur les appareils Qualcomm®.

SGLang-Omni permet un service haute performance pour les modèles TTS, ASR, vocaux et omnimodaux.

Serveur d'inférence LLM natif pour Apple Silicon. Compatible avec les API OpenAI et Anthropic. Sans Python. Inclut l'application macOS MLX Core avec chat, mode agent et appel d'outils.

Construisez votre propre moteur d'inférence LLM haute performance en C++ et CUDA - une version allégée de vLLM

Un framework de service haute performance orienté débit pour les LLM

MLX Studio - Accueil de JANG_Q - Génération/édition d'images + Chat/Code tout-en-un - + OpenClaw (API Anthropic).

Bolt est une bibliothèque d'apprentissage profond offrant haute performance et flexibilité hétérogène

📚 Introduction aux statistiques modernes - Un manuel universitaire open-source adoptant une approche moderne mettant en avant les relations multivariables et l'inférence basée sur la simulation.

Une interface uniforme pour exécuter des modèles de deep learning issus de multiples frameworks.

Un serveur d'inférence scalable pour les modèles optimisés avec OpenVINO™.

Modèle Bark de Suno AI en C/C++ pour une génération rapide de synthèse vocale.

Un framework de vision par ordinateur open-source pour créer et déployer des applications en quelques minutes.

PyTriton est une interface de type Flask/FastAPI qui simplifie le déploiement de Triton dans des environnements Python.