llamacpp

Jan est une alternative open source à ChatGPT qui fonctionne 100 % hors ligne sur votre ordinateur.

Votre second cerveau basé sur l'IA. Auto-hébergeable. Obtenez des réponses depuis le web ou vos documents. Créez des agents personnalisés, planifiez des automatisations, effectuez des recherches approfondies. Transformez n'importe quel LLM local ou en ligne en votre IA autonome personnelle (gpt, claude, gemini, llama, qwen, mistral). Commencez gratuitement.

Cadre unifié pour la construction de pipelines RAG d'entreprise avec des modèles spécialisés de petite taille.

Un chatbot de type ChatGPT auto-hébergé et hors ligne. Propulsé par Llama 2. 100 % privé, aucune donnée ne quitte votre appareil. Nouveauté : support de Code Llama !

Boîte à outils prête pour la production pour exécuter l'IA localement.

Remplacez GPT par n'importe quel LLM en changeant une seule ligne de code. Xinference vous permet d'exécuter des modèles open source, vocaux et multimodaux sur le cloud, en local ou sur votre ordinateur portable, le tout via une API d'inférence unifiée et prête pour la production.

Quantification, noyaux, runtime et moteur d'inférence pour mobiles, objets connectés, domotique et robots.

⚡ Moteur d'inférence WebGPU en pur Rust — compatible avec l'API OpenAI, natif GGUF, fonctionne sur n'importe quel GPU. Pas de Python. Pas de llama.cpp. Binaire unique.

Échange de modèles fiable pour tout serveur local compatible OpenAI/Anthropic - llama.cpp, vllm, etc.

Votre agent dans le terminal, équipé d'outils locaux : écrit du code, utilise le terminal et navigue sur le web. Créez votre propre agent autonome et persistant.

État de l'art du traitement du langage naturel

Une bibliothèque C#/.NET pour exécuter efficacement des LLM (🦙LLaMA/LLaVA) sur votre appareil local.

The most no-nonsense, locally or API-hosted AI code completion plugin for Visual Studio Code - like GitHub Copilot but 100% free.

AGiXT est une plateforme dynamique d'automatisation d'agents IA qui orchestre de manière transparente la gestion des instructions et l'exécution de tâches complexes via divers fournisseurs d'IA. Combinant mémoire adaptative, fonctionnalités intelligentes et système de plugins polyvalent, AGiXT fournit des solutions d'IA efficaces et complètes.

LSP-AI est un serveur de langage open-source servant de backend pour des fonctionnalités assistées par IA, conçu pour aider et autonomiser les ingénieurs logiciels, et non pour les remplacer.

RamaLama est un outil open-source simplifiant l'hébergement local de modèles d'IA et facilitant leur utilisation pour l'inférence en production, via le langage familier des conteneurs.

Démo Bonsai.

Modèles d'IA pré-entraînés instantanés, contrôlables et locaux en Rust

Synthèse vocale, RAG et LLM. Entièrement en local !

Panneau de contrôle pour VLLM, Sglang, llama.cpp, exllamav3

Équilibreur de charge et plateforme de service LLM/VLM open source pour l'auto-hébergement de LLM (et VLM) à grande échelle. Une alternative à des projets comme llm-d ou Docker Model Runner, avec moins de composants et des déploiements simples basés sur l'écosystème ggml. Fonctionne sur CPU et GPU.

Discutez avec vos modèles LLaMA favoris dans une application native macOS

Application d'IA locale et moteur d'inférence pour agents. Exécutez des LLM à poids ouverts localement — privé, 100 % hors ligne sur votre ordinateur.

Développez des applications LLM prêtes pour la production et des agents avancés avec Python, LangChain et LangGraph. Ce dépôt accompagne le livre sur l'IA générative avec LangChain.

Calcul du nombre de jetons par seconde et des besoins en mémoire GPU pour tout LLM. Prend en charge la quantification llama.cpp/ggml/bnb/QLoRA.

Le moyen le plus simple d'utiliser Ollama avec .NET.

Donnez une âme à vos personnages préférés. Soul of Waifu est une application de jeu de rôle et de compagnon IA pour bureau, intégrant des avatars Live2D/VRM, un chat vocal et un LLM local. Évoluez ensemble à travers des discussions immersives, des aventures RPG et votre bureau.

Liaison WebAssembly pour llama.cpp - Permet l'inférence LLM dans le navigateur

Un service FastAPI pour la recherche textuelle sémantique utilisant des embeddings précalculés et des mesures de similarité avancées, avec une prise en charge native de divers types de fichiers via textract.

Exécution locale de SLM/LLM au format GGUF sur appareil Android.