mllm

Pré-entraînement auto-supervisé à grande échelle à travers les tâches, les langues et les modalités.

Agent S : un framework agentique open source qui utilise les ordinateurs comme un humain

Mobile-Agent : une famille d'agents GUI puissants.

[NeurIPS 2025] SpatialLM : Entraînement de grands modèles de langage pour la modélisation intérieure structurée.

[CVPR'25] Implémentations officielles pour l'article - MagicQuill : Un système intelligent et interactif d'édition d'images.

Du Chain-of-Thought prompting à OpenAI o1 et DeepSeek-R1 🍓

Code et modèles pour l'article ICML 2024, NExT-GPT : un modèle de langage multimodal Any-to-Any.

Eagle : Modèles Vision-Langage de pointe avec des stratégies centrées sur les données.

InternLM-XComposer2.5-OmniLive : un système multimodal complet pour les interactions vidéo et audio en streaming à long terme.

mPLUG-DocOwl : Modèle de langage multimodal modulaire pour la compréhension de documents

Cambrian-1 est une famille de LLM multimodaux avec une conception centrée sur la vision.

🚀🚀🚀 Une collection de projets publics exceptionnels de la série de détection d'objets YOLO et des jeux de données de détection d'objets associés.

Dépôt officiel de la base de code Pixel-LLM : Sa2VA (T-PAMI-26), SAMTok (CVPR-26), VRT (Arxiv-25), SaSaSa2VA (1ère solution pour LSVOS)

[CVPR2026] Détection d'objets via la prédiction du point suivant.

Catalogue visuel organisé de plus de 155 architectures de modèles vision-langage (VLM/MLLM) : articles, diagrammes, recettes d'entraînement, jeux de données et chronologie des versions pour les agents IA multimodaux.

Framework entièrement ouvert pour la démocratisation de l'entraînement multimodal.

Une famille de modèles multimodaux légers.

OpenEMMA, une reproduction open source sous licence permissive du modèle EMMA de Waymo.

Série NEO : Modèles vision-langage natifs conçus à partir des principes fondamentaux

[NeurIPS 2025] JarvisArt : Libérer la créativité artistique humaine via un agent intelligent de retouche photo

[CVPR2024] Code pour « Osprey: Pixel Understanding with Visual Instruction Tuning ».

[NeurIPS 2025 spotlight] Implémentation officielle de "FutureSightDrive: Thinking Visually with Spatio-Temporal CoT for Autonomous Driving".

[NeurIPS 2025] 4KAgent : super-résolution 4K agentique pour toute image. Un agent de vision par ordinateur intelligent capable de restaurer magiquement n'importe quelle image en 4K parfaite !

Collection de projets publics remarquables sur les LLM, VLM, VLA, AIGC, ainsi que les jeux de données et applications associés.

Ceci est un dépôt répertoriant les articles sur la génération et l'application de graphes de scène.

Projet personnel : MPP-Qwen14B & MPP-Qwen-Next (Pipeline multimodal parallèle basé sur Qwen-LM). Support [video/image/multi-image] {sft/conversations}. Ne laissez pas la pauvreté limiter votre imagination ! Entraînez votre propre MLLM similaire à LLaVA-training sur 8B/14B en utilisant RTX3090/4090 24GB.

La vision comme génération multimodale unifiée

✨✨Woodpecker: Correction des hallucinations pour les modèles de langage multimodaux de grande taille

[ICLR 2025] FakeShield : Détection et localisation explicables de falsification d'images via des modèles de langage multimodaux

Emotion-LLaMA : Reconnaissance et raisonnement émotionnels multimodaux avec réglage par instructions