llava

[NeurIPS'23 Oral] Visual Instruction Tuning (LLaVA) conçu pour atteindre et dépasser les capacités de GPT-4V

SUPIR vise à développer des algorithmes pratiques pour la restauration d'images photoréalistes en conditions réelles. Notre nouvelle démo en ligne est disponible sur suppixel.ai.

MLX-VLM est un package pour l'inférence et le réglage fin de modèles de vision par langage (VLM) sur Mac via MLX.

Boîte à outils d'évaluation open-source pour grands modèles multimodaux (LMM), prenant en charge plus de 220 LMM et 80 benchmarks

Solutions NLP en chinois (grands modèles, données, modèles, entraînement, inférence).

Une bibliothèque C#/.NET pour exécuter efficacement des LLM (🦙LLaMA/LLaVA) sur votre appareil local.

Eagle : Modèles Vision-Langage de pointe avec des stratégies centrées sur les données.

[EMNLP-2024] Création d'agents linguistiques multimodaux pour le prototypage rapide et la production

[ACL 2024 🔥] Video-ChatGPT est un modèle de conversation vidéo capable de générer des échanges pertinents sur des vidéos. Il combine les capacités des LLM avec un encodeur visuel pré-entraîné adapté à la représentation spatio-temporelle des vidéos. Nous introduisons également un banc d'essai d'évaluation quantitative rigoureux pour les modèles conversationnels basés sur la vidéo.

Gestionnaire de tags et outil de légende pour les jeux de données d'images

IA multimodale de poche pour la compréhension et la génération de contenu textuel, image et bientôt vidéo, jusqu'à 5 fois plus rapide qu'OpenAI CLIP et LLaVA

Framework entièrement ouvert pour la démocratisation de l'entraînement multimodal.

Un framework de modèles multimodaux à petite échelle.

🔥🔥 LLaVA++ : Extension de LLaVA avec Phi-3 et LLaMA-3 (LLaVA LLaMA-3, LLaVA Phi-3)

Système de vidéosurveillance basé sur OpenCV, YOLO et LLAVA

Paddle Multimodal Integration and eXploration, prenant en charge les tâches multimodales courantes, incluant des modèles de pré-entraînement multimodaux à grande échelle et une boîte à outils de modèles de diffusion, alliant haute performance et flexibilité.

Une collection frontend et un état de l'art complets des articles et modèles vision-langage sur GitHub. Mises à jour continues.

👁️ + 💬 + 🎧 = 🤖 Liste sélectionnée des principaux modèles de fondation et multimodaux ! [Article + Code + Exemples + Tutoriels]

Nœuds ComfyUI pour les modèles vision-langage : Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Inclut également la détection à vocabulaire ouvert, la segmentation SAM2/SAM3, le raisonnement temporel vidéo, GGUF via llama.cpp et des API LLM/VLM hébergées.

LLaVA-Mini est un grand modèle multimodal (LMM) unifié capable de prendre en charge la compréhension d'images, d'images haute résolution et de vidéos de manière efficace.

Assistant alimenté par l'IA pour vous aider dans vos tâches quotidiennes, propulsé par Llama 3, DeepSeek R1 et de nombreux autres modèles sur HuggingFace.