llm-inference

Inférence LLM distribuée. Connectez vos appareils domestiques dans un cluster puissant pour accélérer l'inférence LLM. Plus d'appareils signifie une inférence plus rapide.

Medusa : framework simple pour accélérer la génération LLM avec têtes de décodage multiples

Implémentation officielle d'EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) et EAGLE-3 (NeurIPS'25).

Un agent de codage open source pour votre terminal, créé par un collectif communautaire plutôt que par une entreprise. Utilisez votre propre modèle, gardez votre code sur votre machine et ne dépendez de personne.

Le framework agentique de l'écosystème PHP pour créer des applications basées sur l'IA prêtes pour la production. Connectez des composants (LLM, outils, bases de données vectorielles, mémoire) à des agents qui interagissent avec vos données et votre interface utilisateur.

AICI : les prompts comme programmes (Wasm)

Exécutez n'importe quel Llama 2 localement avec une interface gradio sur GPU ou CPU depuis n'importe où (Linux/Windows/Mac). Utilisez llama2-wrapper comme backend local pour vos agents ou applications génératives.

Inférence GPU serverless ultra-rapide, sandboxes et tâches en arrière-plan

Méthode déclarative pour exécuter des modèles d'IA sur appareil dans React Native, propulsée par ExecuTorch.

Plateforme de recherche de benchmark d'inférence continue open source — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 et bientôt™ TPUv6e/v7/Trainium2/3

Un moteur d'inférence haute performance pour les modèles LLM, VLM, DiT et REC, optimisé pour divers accélérateurs IA. Hébergé par la fondation OpenAtom.

L'organisation à but non lucratif qui favorise l'IA en Inde grâce à des crédits, des subventions et des ressources.

Exécutez des LLM locaux comme llama, deepseek-distill, kokoro et plus encore directement dans votre navigateur

Liste de logiciels permettant d'effectuer des recherches sur le web avec l'assistance de l'IA : https://hf.co/spaces/felladrin/awesome-ai-web-search

Application d'IA locale et moteur d'inférence pour agents. Exécutez des LLM à poids ouverts localement — privé, 100 % hors ligne sur votre ordinateur.

Accueil de "How To Scale Your Model", un manuel court sous forme de blog sur le passage à l'échelle des LLM sur TPU

Une collection organisée d'outils de test d'intrusion de premier plan et d'utilitaires de productivité dans divers domaines. Rejoignez-nous pour explorer, contribuer et améliorer votre boîte à outils de hacking !

Utilisation des LLM comme copilotes pour la démonstration de théorèmes dans Lean

Cache KV élastique virtualisé pour le partage dynamique de GPU et au-delà

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

Rationalise et simplifie la conception de prompts pour les développeurs et les utilisateurs non techniques avec une approche low-code.

Construisez votre propre moteur d'inférence LLM haute performance en C++ et CUDA - une version allégée de vLLM

OpenAlpha_Evolve est un framework Python open source inspiré par les recherches révolutionnaires sur les agents de codage autonomes comme AlphaEvolve de DeepMind.

AI-Compass guide la communauté à travers l'océan des technologies IA, offrant des parcours pour les débutants comme pour les développeurs avancés. Il vise à aider les développeurs à comprendre systématiquement les concepts fondamentaux, les technologies dominantes et les tendances de l'IA, tout en maîtrisant le passage de la théorie à la pratique.

Liste d'hébergements remarquables triés par prix d'offre minimale.

Implémentation en C++ pur de plusieurs modèles pour le chat en temps réel sur votre ordinateur (CPU et GPU)

Un moteur d'accélération d'inférence LLM hautement optimisé pour Llama et ses variantes.

Notes sur les LLM, incluant l'inférence de modèles, la structure des modèles transformer et l'analyse du code des frameworks LLM.

Feuille de route de 10 semaines, à raison de 30 minutes par jour, sur l'inférence et l'optimisation de LLM : vLLM, SGLang, quantification, décodage spéculatif et benchmarking.

LLM.swift est une bibliothèque simple et lisible permettant d'interagir facilement avec des modèles de langage locaux sur macOS, iOS, watchOS, tvOS et visionOS.