llama

Ce dépôt fournit des programmes pour créer du code de génération augmentée par récupération (RAG) pour l'IA générative avec LlamaIndex, Deep Lake et Pinecone, exploitant la puissance des modèles OpenAI et Hugging Face pour la génération et l'évaluation.

Fine-tuning simple et efficace de LLM (prise en charge de LLaMA, LLaMA2, LLaMA3, Qwen, Baichuan, GLM, Falcon). Entraînement et déploiement de quantification efficace pour grands modèles.

kani (カニ) est un micro‑framework hautement hackable pour les modèles de langage d'appel d'outils. (NLP-OSS @ EMNLP 2023)

Les Copilots sont-ils déjà locaux ? La frontière des Copilots LLM locaux pour la complétion de code, la génération de projets, l'assistance shell et plus encore. Découvrez les outils qui façonnent l'expérience développeur de demain dès aujourd'hui !

Yet Another Language Model : inférence LLM en C++/CUDA, sans aucune bibliothèque à l'exception des E/S.

Go avec votre propre intelligence - Applications Go qui intègrent directement llama.cpp pour l'inférence locale avec accélération matérielle.

Assistant vocal rapide propulsé par Groq, Cartesia et Vercel.

SDK d'IA locale open source - exécutez l'IA sur l'appareil sans cloud ni clés API. Supporte GGUF, RAG, génération d'images, de musique et de vidéo, synthèse vocale, inférence P2P, et plus encore. Multiplateforme : Linux, macOS, Windows, Android, iOS.

[ECCV2024] Grand modèle de langage multimodal ancré avec tokenisation visuelle localisée

Dépôt NLP de Deep Learning résumant les tâches en aval, du prétraitement du texte aux modèles les plus récents comme Topic Models, BERT, GPT et LLM en utilisant TensorFlow.

Assistant IA local

LLaVA-Mini est un grand modèle multimodal (LMM) unifié capable de prendre en charge la compréhension d'images, d'images haute résolution et de vidéos de manière efficace.

Entraînez et inférez des embeddings de phrases puissants avec AnglE | 🔥 SOTA sur STS et le classement MTEB

Utilisez Code Llama avec Visual Studio Code et l'extension Continue. Une alternative locale aux LLM à GitHub Copilot.

Un framework pour l'entraînement et l'inférence multi-agents basés sur les LLM par renforcement

Chat snowflake - Conversion de texte en SQL

🏗️ Affinez, construisez et déployez facilement des LLM open source !

[ICML 2024] LESS : Sélection de données influentes pour un réglage d'instructions ciblé

Assistant alimenté par l'IA pour vous aider dans vos tâches quotidiennes, propulsé par Llama 3, DeepSeek R1 et de nombreux autres modèles sur HuggingFace.

Un CLI réactif qui génère des messages de commit pour Git et Jujutsu avec Ollama, ChatGPT, Gemini, Claude, Mistral et d'autres IA

Votre mémoire artificielle locale sur votre appareil.

Un moteur de service à faible latence et haut débit pour les LLM.

[ACL 2024] LLaMA progressif avec extension de bloc.

RESTai est une plateforme open-source d'IA en tant que service (AIaaS). Elle prend en charge de nombreux LLM publics et locaux via Ollama/vLLM, inclut des embeddings précis, des outils d'analyse, la génération d'images/audio, le déploiement de chat en direct et un langage graphique basé sur des blocs.

Serveur d'inférence linguistique open-source, local et auto-hébergé, hautement optimisé, prenant en charge ASR/STT, TTS et LLM via WebRTC, REST et WS.

🚀🚀🚀 Ce dépôt liste des projets remarquables en CUDA, cuda-python, cuBLAS, cuDNN, CUTLASS, TensorRT, TensorRT-LLM, Triton, TVM, MLIR, PTX et en calcul haute performance (HPC).

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton