vision-language-model

Implémentation de Prismer : un modèle vision-langage avec des experts multi-tâches.

Framework entièrement ouvert pour la démocratisation de l'entraînement multimodal.

Cette série vous emmène des fondamentaux du NLP et de la vision par ordinateur jusqu'à la pointe des modèles vision-langage.

Transformez vos documents en Markdown prêt pour l'IA grâce à la compréhension visuelle

Boîte à outils et compétences visuelles conçues pour les LLM textuels : questions-réponses sur images, OCR de captures d'écran, restauration d'interface UI, automatisation GUI, avec intégration transparente optionnelle pour divers agents.

RAG sans analyse syntaxique (parsing-free) pris en charge par les VLM.

[CVPR 2024] Grounding Large Multimodal Model (GLaMM), le premier modèle capable de générer des réponses en langage naturel intégrées de manière transparente aux masques de segmentation d'objets

[CVPR 2024 Highlight] Chat-UniVi : Une représentation visuelle unifiée permettant aux grands modèles de langage de comprendre les images et les vidéos.

À propos : cette collection rassemble les articles les plus passionnants et influents de la CVPR 2025. 🔥 [Article + Code + Démo]

[CVPR 2024] Alpha-CLIP : un modèle CLIP qui se concentre sur la zone de votre choix.

Boîte à outils visuelle puissante conçue pour les modèles textuels : installation gratuite, reconnaissance directe d'images collées, questions-réponses sur plusieurs images, OCR de captures d'écran vers UI front-end, et intégration native DeepSeek pour agent-vision-toolkit : Q&A, OCR, restauration d'UI, grounding, diff de pixels, Artifacts et Web UI.

VoxPoser : cartes de valeurs 3D composables pour la manipulation robotique avec des modèles de langage.

[NeurIPS 2025 Spotlight] OpenCUA : Fondations ouvertes pour les agents d'utilisation informatique

🍃 MINT-1T : Un jeu de données multimodal entrelacé d'un billion de jetons.

Une liste organisée d'articles sur la vision 3D liés au domaine de la robotique à l'ère des grands modèles (LLM/VLM), inspirée par awesome-computer-vision, incluant des articles, des codes et des sites web associés.

Une liste organisée de méthodes d'apprentissage par prompt/adaptateur pour les modèles vision-langage comme CLIP.

[ICLR 2026] Implémentation officielle de "Soft-Prompted Transformer as Scalable Cross-Embodiment Vision-Language-Action Model"

OmniVinci est un LLM multimodal pour la compréhension conjointe de la vision, de l'audio et du langage.

MiMo-VL

🎉 PILOT : Une boîte à outils d'apprentissage continu basée sur des modèles pré-entraînés.

Évaluation des modèles texte-vers-image/vidéo/3D avec VQAScore.

[CVPR 2026] SpatialVID : Un jeu de données vidéo à grande échelle avec annotations spatiales

An open-weight 11B model series for long-form and real-time video understanding

[ECCV2024] Grand modèle de langage multimodal ancré avec tokenisation visuelle localisée

LLaVA-Mini est un grand modèle multimodal (LMM) unifié capable de prendre en charge la compréhension d'images, d'images haute résolution et de vidéos de manière efficace.

Cambrian-S : Vers une supersense spatiale dans la vidéo

Chatbot Arena rencontre la multimodalité ! Multi-Modality Arena vous permet d'évaluer des modèles vision-langage côte à côte en fournissant des images en entrée. Prend en charge MiniGPT-4, LLaMA-Adapter V2, LLaVA, BLIP-2 et bien d'autres !

Flame est un système d'IA multimodal open-source conçu pour traduire des maquettes de design d'UI en code React de haute qualité. Il exploite la modélisation vision-langage, la synthèse automatisée de données et des flux de travail d'entraînement structurés pour combler le fossé entre le design et le développement front-end.

Code et directives d'implémentation pour l'article ✨Counting Anything. Page du projet : https://mengqi-lei.github.io/count-anything-projectpage/