gguf

Des centaines de modèles et de fournisseurs. Une seule commande pour trouver ce qui fonctionne sur votre matériel.

Distribuez et exécutez des LLM avec un seul fichier.

⚡ Moteur d'inférence WebGPU en pur Rust — compatible avec l'API OpenAI, natif GGUF, fonctionne sur n'importe quel GPU. Pas de Python. Pas de llama.cpp. Binaire unique.

Fine-tuning de LLM à partir d'un seul fichier YAML. Le streaming de couches permet d'entraîner un modèle 8B sur un GPU d'ordinateur portable de 4 Go.

Le couteau suisse de l'IA hors ligne. Discutez, voyez, parlez et générez des images sur votre téléphone ou Mac — LLM GGUF, vision, reconnaissance vocale Whisper, Stable Diffusion, appel d'outils et serveurs réseau locaux. Fonctionne sur votre CPU, GPU ou NPU. Aucun compte, aucune clé API, aucune donnée ne quitte votre appareil.

Maid est une application libre et open source permettant d'interfacer localement des modèles llama.cpp, et à distance des modèles Anthropic, DeepSeek, Ollama, Mistral et OpenAI.

Apprendre à utiliser Ollama, déployer des grands modèles sur CPU, lecture en ligne : https://datawhalechina.github.io/handy-ollama/

Agent IA local. Optimisé pour les modèles d'IA locaux. Longue fenêtre de contexte. Appels d'outils appropriés. Fonctionne de manière privée sur votre appareil.

Framework d'agent LLM dans ComfyUI incluant des nœuds pour serveur MCP, Omost, GPT-sovits, ChatTTS, GOT-OCR2.0 et FLUX, accès à Feishu, discord, et compatible avec tous les LLM utilisant des interfaces similaires à openai / aisuite, tels que o1, ollama, gemini, grok, qwen, GLM, deepseek, kimi, doubao. Adapté aux LLM locaux, VLM et GGUF tels que llama-3.3, Janus-Pro et Linkage graphRAG.

Exécutez des modèles d'IA localement sur votre machine avec des liaisons node.js pour llama.cpp. Appliquez un schéma JSON sur la sortie du modèle au niveau de la génération.

Inférence speech-to-text ggml pour plus de 16 familles de modèles

Gérez vos modèles Ollama avec Go

Un algorithme de quantification SOTA pour l'inférence LLM basse précision haute précision, optimisé pour CPU/XPU/CUDA, avec support multi-type et compatibilité totale avec vLLM, SGLang et Transformers.

Famille de modèles ASR open-source basés sur LLM pour le chinois, les dialectes, les accents et la parole multilingue, avec runtimes FunASR, vLLM, streaming et llama.cpp.

Interface pour les modèles OuteTTS.

Application d'IA locale et moteur d'inférence pour agents. Exécutez des LLM à poids ouverts localement — privé, 100 % hors ligne sur votre ordinateur.

Un outil DevOps open source de la CNCF pour empaqueter et versionner des modèles IA/ML, des jeux de données, du code et des configurations sous forme d'artefact OCI.

Studio d'IA local prêt à l'emploi : chat non censuré, génération d'images et de vidéos, agent de codage. Exécute des LLM abliterated et ComfyUI 100 % hors ligne. Un seul installateur, sans Docker ni cloud.

Serveur d'inférence LLM natif pour Apple Silicon. Compatible avec les API OpenAI et Anthropic. Sans Python. Inclut l'application macOS MLX Core avec chat, mode agent et appel d'outils.

Un outil en ligne de commande écrit en Python pour estimer les besoins en mémoire d'inférence des modèles Hugging Face.

LLM.swift est une bibliothèque simple et lisible permettant d'interagir facilement avec des modèles de langage locaux sur macOS, iOS, watchOS, tvOS et visionOS.

Inférence Llama 3+ en Java pur

La suite d'IA côté client la plus avancée et entièrement hors ligne disponible aujourd'hui sur Android.

Traducteur d'écran Android en temps réel open-source sans root, idéal pour les jeux, visual novels et mangas. Prend en charge l'OCR sur l'appareil et dans le cloud, les LLM hors ligne, divers services de traduction et la synthèse vocale (TTS), avec affichage direct des traductions à l'écran.

Go avec votre propre intelligence - Applications Go qui intègrent directement llama.cpp pour l'inférence locale avec accélération matérielle.

Nœuds ComfyUI pour les modèles vision-langage : Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Inclut également la détection à vocabulaire ouvert, la segmentation SAM2/SAM3, le raisonnement temporel vidéo, GGUF via llama.cpp et des API LLM/VLM hébergées.

Bibliothèque Go pour la recherche vectorielle intégrée et les plongements sémantiques utilisant llama.cpp

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

Arabic-first generative speech recognition — Audar-ASR-V1 (Flash + Turbo). #1 on the Open Universal Arabic ASR Leaderboard. Model cards, benchmarks & inference.