vllm

Évaluez les réponses de votre LLM avec Prometheus et GPT4.

Construisez votre propre moteur d'inférence LLM haute performance en C++ et CUDA - une version allégée de vLLM

Framework d'entraînement RL multimodal pour modèles de diffusion et omni

UniRL est un framework pour l'apprentissage par renforcement de modèles multimodaux unifiés.

Notes sur les LLM, incluant l'inférence de modèles, la structure des modèles transformer et l'analyse du code des frameworks LLM.

Feuille de route de 10 semaines, à raison de 30 minutes par jour, sur l'inférence et l'optimisation de LLM : vLLM, SGLang, quantification, décodage spéculatif et benchmarking.

Un logiciel OCR local, hors ligne (après configuration initiale) et portable, capable de traiter des images et des fichiers PDF en utilisant l'IA DeepSeek-OCR-2 (exécutée directement sur votre machine).

Documentation complète pour configurer votre propre serveur LLM local et privé sur Debian, incluant chat, recherche web, RAG, gestion de modèles, serveurs MCP, génération d'images et synthèse vocale.

Transformez Discord en interface pour LLM - Compatible avec toute API conforme à OpenAI (OpenRouter, Ollama, etc.)

Bibliothèque Python basée sur des modèles de langage (LLM) pour la découverte et l'analyse conversationnelle de données.

[EMNLP 2024 & AAAI 2026] Une boîte à outils puissante pour la compression de grands modèles, incluant les LLM, les VLM et les modèles génératifs vidéo.

Moteur d'inférence LLM en Rust pur et CUDA — sans PyTorch, compatible avec OpenAI, servant Qwen3 vers Kimi-K2.

Simulateur précis, à grande échelle et extensible pour les systèmes d'inférence de LLM

EfficientSAM3 compresse SAM3 en modèles légers et adaptés aux bords via une distillation progressive de connaissances pour une segmentation et un suivi de concepts rapides et promptables.

Basé sur des modèles tels que SparkTTS et OrpheusTTS, ce service fournit une synthèse vocale en chinois de haute qualité et un clonage de voix.

[CVPR 2025] RoboBrain : Un modèle de cerveau unifié pour la manipulation robotique, de l'abstrait au concret. Dépôt officiel.

Crater est une plateforme cloud-native d'entraînement et d'inférence pour l'IA.

Interface web moderne pour gérer et interagir avec les serveurs vLLM (www.github.com/vllm-project/vllm). Prend en charge les modes GPU et CPU, avec des optimisations spécifiques pour Apple Silicon sur macOS et le déploiement en entreprise sur OpenShift/Kubernetes.

Self-hosted AI agent OS. Your memory, chat, agents, and files stay on hardware you own, offline by default, cloud by choice. Offline AI memory (taOSmd), self-hosted multi-framework group chat, a full web desktop + app store, and auto-clustering across the consumer hardware you already have (Orange/Raspberry Pi, Mac mini, gaming PC).

Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility across vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini & more. Industry-first gRPC pipeline, KV cache-aware routing, chat history, tokenization caching, Responses API, embeddings, WASM plugins, MCP, and multi-tenant auth.

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton

Un outil d'interface en ligne de commande pour servir des LLM en utilisant vLLM.