vllm

Boîte à outils de reconnaissance vocale open source pour l'entraînement, l'inférence, l'ASR en streaming, le VAD, la ponctuation, les pipelines de diarisation du locuteur et le service compatible OpenAI/MCP.

Bienvenue dans le Llama Cookbook ! Votre guide de référence pour construire avec Llama : démarrage avec l'inférence, le fine-tuning et le RAG. Nous montrons également comment résoudre des problèmes de bout en bout en utilisant la famille de modèles Llama sur divers services fournisseurs.

Analyses approfondies de code source, conception de systèmes et blogs d'ingénierie | Halfrost-Field : notes sur l'analyse de code source, la conception de systèmes et les pratiques d'ingénierie

Bibliothèque open source complète de compétences en recherche et ingénierie IA pour tout modèle d'IA. Emballez ces compétences et votre agent Claude/Codex/Gemini deviendra un agent de recherche IA pleinement opérationnel. Maintenu par Orchestra Research.

LMCache : Boostez votre LLM avec la couche de cache KV la plus rapide

Un framework d'apprentissage par renforcement agentique simple, évolutif et performant basé sur Ray (PPO, DAPO, REINFORCE++, VLM, TIS, vLLM, Ray et RL asynchrone)

Remplacez GPT par n'importe quel LLM en changeant une seule ligne de code. Xinference vous permet d'exécuter des modèles open source, vocaux et multimodaux sur le cloud, en local ou sur votre ordinateur portable, le tout via une API d'inférence unifiée et prête pour la production.

Un framework de service d'inférence distribué à l'échelle du centre de données.

Mooncake est la plateforme de service pour Kimi, un service LLM de premier plan fourni par Moonshot AI.

Plateforme standardisée d'inférence IA générative et prédictive distribuée pour un déploiement multi-framework évolutif sur Kubernetes.

Un framework MCP low-code pour construire des pipelines RAG complexes et innovants.

Un gestionnaire de cluster GPU pour le service de modèles d'IA haute performance (vLLM, SGLang) et des instances GPU accessibles par SSH à la demande.

Échange de modèles fiable pour tout serveur local compatible OpenAI/Anthropic - llama.cpp, vllm, etc.

Liste organisée d'articles de recherche sur l'inférence LLM/VLM avec code : Flash-Attention, Paged-Attention, WINT8/4, parallélisme, etc.

Un routeur programmable de mélange de modèles pour l'inférence LLM hétérogène

Extraction de données structurées, appel d'instructions et flux de travail d'agents avec ML, LLM et Vision LLM

Apprendre le système d'inférence LLM sur Apple Silicon pour les ingénieurs système : construire un vLLM miniature + Qwen

Runtime en cascade pour agents IA, optimisant les coûts, la latence, la qualité et les politiques au sein de la boucle de l'agent

Boîte à outils d'inférence et de déploiement haute performance pour LLM et VLM basée sur PaddlePaddle

RamaLama est un outil open-source simplifiant l'hébergement local de modèles d'IA et facilitant leur utilisation pour l'inférence en production, via le langage familier des conteneurs.

Plugin Fzf pour Fish

Panneau de contrôle pour VLLM, Sglang, llama.cpp, exllamav3

Un algorithme de quantification SOTA pour l'inférence LLM basse précision haute précision, optimisé pour CPU/XPU/CUDA, avec support multi-type et compatibilité totale avec vLLM, SGLang et Transformers.

Plateforme de recherche de benchmark d'inférence continue open source — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 et bientôt™ TPUv6e/v7/Trainium2/3

Serveur d'inférence LLM haute performance compatible OpenAI et Anthropic pour Apple Silicon. Support natif MLX, traitement par lots continu, modèles multimodaux, appel d'outils MCP et support de Claude Code.

Opérateur d'inférence IA pour Kubernetes. Le moyen le plus simple de servir des modèles ML en production. Prend en charge les VLM, LLM, embeddings et la conversion parole-texte.

Boîte à outils de quantification (compression) de modèles LLM avec accélération matérielle pour GPU Nvidia, AMD, Intel et CPU Intel/AMD/Apple via HF, vLLM et SGLang.

Passerelle API de niveau entreprise permettant de surveiller et d'imposer des limites de coût ou de débit par clé API. Offre un contrôle d'accès granulaire et un suivi par utilisateur, application ou environnement. Supporte OpenAI, Azure OpenAI, Anthropic, vLLM et les LLM open-source.

Cache KV élastique virtualisé pour le partage dynamique de GPU et au-delà

Évaluez les réponses de votre LLM avec Prometheus et GPT4.