llm-inference

Inférence Llama 3+ en Java pur

LeaderWorkerSet : une API pour déployer un groupe de pods en tant qu'unité de réplication

LLM-PowerHouse : Libérez le potentiel des LLM grâce à des tutoriels sélectionnés, des meilleures pratiques et du code prêt à l'emploi pour l'entraînement et l'inférence personnalisés.

LLMFlows - Applications LLM simples, explicites et transparentes

USP : Parallélisme de séquence unifié (hybride, 2D) pour l'entraînement et l'inférence de modèles Transformers à long contexte

Moteur d'inférence en Rust pur

Moteur d'inférence LLM en Rust pur et CUDA — sans PyTorch, compatible avec OpenAI, servant Qwen3 vers Kimi-K2.

Décodage LLM jusqu'à 4 fois plus rapide sur Apple Silicon, sans perte. Portage MLX natif du décodage spéculatif DSpark de DeepSeek et DFlash de z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, Ornith-1.0, Bonsai-27B ternaire.

Moteur d'inférence LLM natif RDNA en Rust.

Alternative à Ollama pour le NPU Rockchip : Une solution efficace pour exécuter des modèles d'IA et de deep learning sur les appareils Rockchip avec un support NPU optimisé (rkllm)

Yet Another Language Model : inférence LLM en C++/CUDA, sans aucune bibliothèque à l'exception des E/S.

SDK d'IA locale open source - exécutez l'IA sur l'appareil sans cloud ni clés API. Supporte GGUF, RAG, génération d'images, de musique et de vidéo, synthèse vocale, inférence P2P, et plus encore. Multiplateforme : Linux, macOS, Windows, Android, iOS.

Plateforme de recherche web minimaliste avec un assistant IA qui s'exécute directement depuis votre navigateur. Démo : https://felladrin-minisearch.hf.space

CLI pour exécuter un grand nombre d'agents de codage en parallèle avec des worktrees git

Fine-tuning de LLM (Large Language Model)

Assistant IA local

Un excellent projet pour le recrutement universitaire, d'automne, de printemps et les stages, vous guidant pour implémenter à partir de zéro un framework d'inférence de grands modèles prenant en charge LLama2/3 et Qwen2.5.

Moteur de mini-inférence statique, suckless, mono-lot (single batch) et exclusivement CUDA pour qwen3-0.6B

Un moteur de service à faible latence et haut débit pour les LLM.

Self-hosted AI agent OS. Your memory, chat, agents, and files stay on hardware you own, offline by default, cloud by choice. Offline AI memory (taOSmd), self-hosted multi-framework group chat, a full web desktop + app store, and auto-clustering across the consumer hardware you already have (Orange/Raspberry Pi, Mac mini, gaming PC).

Krasis est un runtime LLM hybride axé sur l'exécution efficace de grands modèles sur du matériel grand public à VRAM limitée.

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton

Un outil d'interface en ligne de commande pour servir des LLM en utilisant vLLM.