llama-cpp

Distribuez et exécutez des LLM avec un seul fichier.

L'application de dictée macOS la plus rapide et la seule avec STT sur l'appareil et un modèle d'amélioration IA personnalisé. Pré-build Windows disponible ! Une alternative locale à Wispr Flow. Envoyez-nous un DM sur X pour un easter egg 😉 - https://x.com/fluidvoiceapp

Un chatbot de type ChatGPT auto-hébergé et hors ligne. Propulsé par Llama 2. 100 % privé, aucune donnée ne quitte votre appareil. Nouveauté : support de Code Llama !

Remplacez GPT par n'importe quel LLM en changeant une seule ligne de code. Xinference vous permet d'exécuter des modèles open source, vocaux et multimodaux sur le cloud, en local ou sur votre ordinateur portable, le tout via une API d'inférence unifiée et prête pour la production.

Modèle open source SenseVoiceSmall pour la reconnaissance vocale (ASR) en mandarin, cantonais, anglais, japonais et coréen, incluant l'identification de la langue, la reconnaissance des émotions et la détection d'événements audio.

Transformez votre PC, Mac ou machine Linux en serveur d'IA. Inférence LLM, interface de chat, voix, agents, workflows, RAG et génération d'images.

Une bibliothèque C#/.NET pour exécuter efficacement des LLM (🦙LLaMA/LLaVA) sur votre appareil local.

Plateforme open source de compétences pour caméra IA, NVR et surveillance CCTV. Analyse vidéo locale par VLM (Qwen, DeepSeek, SmolVLM, LLaVA, YOLO26). Agent de sécurité intelligent avec intégration Telegram, Discord ou Slack. Fonctionne sur Mac Mini et PC IA.

Le couteau suisse de l'IA hors ligne. Discutez, voyez, parlez et générez des images sur votre téléphone ou Mac — LLM GGUF, vision, reconnaissance vocale Whisper, Stable Diffusion, appel d'outils et serveurs réseau locaux. Fonctionne sur votre CPU, GPU ou NPU. Aucun compte, aucune clé API, aucune donnée ne quitte votre appareil.

Serveur d'inférence spéculative LLM pour matériel grand public et hétérogène

Maid est une application libre et open source permettant d'interfacer localement des modèles llama.cpp, et à distance des modèles Anthropic, DeepSeek, Ollama, Mistral et OpenAI.

Agent IA local. Optimisé pour les modèles d'IA locaux. Longue fenêtre de contexte. Appels d'outils appropriés. Fonctionne de manière privée sur votre appareil.

Framework Python pour l'appel d'outils par LLM auto-hébergés et les flux de travail multi-étapes pour agents.

Exécutez des modèles d'IA localement sur votre machine avec des liaisons node.js pour llama.cpp. Appliquez un schéma JSON sur la sortie du modèle au niveau de la génération.

Créez des personnages dans Unity avec des LLM.

Interagissez avec votre Mac et interrogez vos documents sans cloud. IA vocale locale et RAG sur appareil.

Famille de modèles ASR open-source basés sur LLM pour le chinois, les dialectes, les accents et la parole multilingue, avec runtimes FunASR, vLLM, streaming et llama.cpp.

Un foyer confortable pour vos LLM.

llama.go est l'équivalent de llama.cpp en pur Golang !

Liaison React Native pour llama.cpp

Construisez et exécutez des agents IA avec Docker Compose. Une collection d'exemples prêts à l'emploi pour orchestrer des LLM open-source, des outils et des environnements d'exécution d'agents.

Cotabby est un outil d'autocomplétion IA local pour macOS. Open source, exécuté sur l'appareil, disponible partout où vous tapez.

Moniteur système sans sudo pour Apple Silicon (interface SwiftUI native) avec suivi de l'ANE, du Media Engine et de la bande passante mémoire

Traducteur d'écran Android en temps réel open-source sans root, idéal pour les jeux, visual novels et mangas. Prend en charge l'OCR sur l'appareil et dans le cloud, les LLM hors ligne, divers services de traduction et la synthèse vocale (TTS), avec affichage direct des traductions à l'écran.

A minimalist, terminal-native coding agent written in C.

Entretien auto-évalué pour les codeurs IA

Nœuds ComfyUI pour les modèles vision-langage : Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Inclut également la détection à vocabulaire ouvert, la segmentation SAM2/SAM3, le raisonnement temporel vidéo, GGUF via llama.cpp et des API LLM/VLM hébergées.

GraphRAG-rs est une implémentation Rust haute performance et de pointe de GraphRAG (Graph-based Retrieval Augmented Generation) qui construit des graphes de connaissances à partir de documents et permet des requêtes en langage naturel avec une extraction d'entités configurable et l'intégration de LLM locaux

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp