inference-engine

Analyses approfondies de code source, conception de systèmes et blogs d'ingénierie | Halfrost-Field : notes sur l'analyse de code source, la conception de systèmes et les pratiques d'ingénierie

Kimi K3 avec 2,78 billions de paramètres exécutant l'inférence sur un seul CPU avec 8,24 Go de RAM. C99 portable : sans BLAS, sans framework, sans GPU.

FEDML - La bibliothèque ML unifiée et évolutive pour l'entraînement distribué à grande échelle, le déploiement de modèles et l'apprentissage fédéré. FEDML Launch, un ordonnanceur multi-cloud, permet d'exécuter tout travail d'IA sur n'importe quel cloud GPU ou cluster sur site. Basée sur cette bibliothèque, TensorOpera AI (https://TensorOpera.ai) est votre plateforme d'IA générative à grande échelle.

Projet idéal pour le recrutement ! Implémentez étape par étape une bibliothèque d'inférence de deep learning haute performance, prenant en charge des modèles comme Llama2, Unet, Yolov5, Resnet, etc.

Implémentation d'un moteur de règles en Golang.

OneDiff : une bibliothèque d'accélération prête à l'emploi pour les modèles de diffusion.

Vitesse 3x plus rapide sur MLX | Qwen 3.8 27B | Décodage spéculatif MTP natif sur Apple Silicon sans drafter externe.

Moteur d'inférence LLM à grande échelle.

Un moteur d'inférence haute performance pour les modèles LLM, VLM, DiT et REC, optimisé pour divers accélérateurs IA. Hébergé par la fondation OpenAtom.

Cache KV élastique virtualisé pour le partage dynamique de GPU et au-delà

Qualcomm® AI Hub Models est notre collection de modèles d'apprentissage automatique de pointe, optimisés pour la performance (latence, mémoire, etc.) et prêts à être déployés sur les appareils Qualcomm®.

Paddle.js est un projet web pour Baidu PaddlePaddle, un framework open source de deep learning s'exécutant dans le navigateur. Paddle.js peut charger un modèle pré-entraîné ou convertir un modèle depuis paddle-hub via ses outils dédiés. Il fonctionne dans tout navigateur supportant WebGL/WebGPU/WebAssembly, ainsi que dans les mini-programmes Baidu et WeChat.

NobodyWho est un moteur d'inférence permettant d'exécuter des LLM localement et efficacement sur n'importe quel appareil.

MLX Studio - Accueil de JANG_Q - Génération/édition d'images + Chat/Code tout-en-un - + OpenClaw (API Anthropic).

Un moteur d'accélération d'inférence LLM hautement optimisé pour Llama et ses variantes.

Framework de vision par ordinateur et d'analyse vidéo en Python avec fonctionnalités intégrées

Moteur d'inférence LLM en Rust pur et CUDA — sans PyTorch, compatible avec OpenAI, servant Qwen3 vers Kimi-K2.

Décodage LLM jusqu'à 4 fois plus rapide sur Apple Silicon, sans perte. Portage MLX natif du décodage spéculatif DSpark de DeepSeek et DFlash de z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, Ornith-1.0, Bonsai-27B ternaire.

Yet Another Language Model : inférence LLM en C++/CUDA, sans aucune bibliothèque à l'exception des E/S.

Une représentation de base commune du code source Python pour pylint et d'autres projets

Un excellent projet pour le recrutement universitaire, d'automne, de printemps et les stages, vous guidant pour implémenter à partir de zéro un framework d'inférence de grands modèles prenant en charge LLama2/3 et Qwen2.5.

From teacher to tiles — a from-scratch LLM distillation & serving engine: custom Triton/CUDA kernels, FSDP distillation, paged-KV continuous batching, speculative decoding, a Rust gateway, a JAX oracle, and interpretability tooling.

Krasis est un runtime LLM hybride axé sur l'exécution efficace de grands modèles sur du matériel grand public à VRAM limitée.

Moteur d'inférence pour appareils Intel. Permet de servir des modèles LLM, VLM, Whisper, Kokoro-TTS, d'embedding et de reranking via des points de terminaison OpenAI.