multimodal-large-language-models

Dernières avancées sur les modèles de langage multimodaux (MLLM)

Mobile-Agent : une famille d'agents GUI puissants.

StarVector est un modèle de fondation pour la génération de SVG qui transforme la vectorisation en une tâche de génération de code. Utilisant une architecture de modélisation vision-langage, StarVector traite les entrées visuelles et textuelles pour produire du code SVG de haute qualité avec une précision remarquable.

LLaMA-Omni est un modèle d'interaction vocale de bout en bout à faible latence et haute qualité, basé sur Llama-3.1-8B-Instruct, visant des capacités vocales au niveau de GPT-4o.

Un framework multiplateforme de structuration vidéo (analyse vidéo) basé sur des modèles CV et mLLM.

✨✨[NeurIPS 2025] VITA-1.5 : Vers une interaction vision et parole en temps réel au niveau de GPT-4o.

mPLUG-DocOwl : Modèle de langage multimodal modulaire pour la compréhension de documents

Cambrian-1 est une famille de LLM multimodaux avec une conception centrée sur la vision.

[ICML 2024] Maîtriser la diffusion texte-vers-image : re-légendage, planification et génération avec des LLM multimodaux (RPG).

Seed1.5-VL, un modèle de fondation vision-langage conçu pour faire progresser la compréhension et le raisonnement multimodal généraliste, atteignant des performances de pointe sur 38 des 60 benchmarks publics.

Une nouvelle architecture de modèle de langage multimodal (MLLM), conçue pour aligner structurellement les plongements visuels et textuels.

Liste impressionnante de modèles multimodaux unifiés.

Humain numérique interactif en temps réel, avec apparence et voix personnalisables, support du clonage vocal et latence de dialogue aussi basse que 3 secondes.

Implémentation PyTorch d'Audio Flamingo : série de modèles de langage avancés pour la compréhension audio.

Un framework pour le traitement de la parole, du langage, de l'audio et de la musique basé sur des modèles de langage de grande taille.

Une famille de modèles multimodaux légers.

Raisonnement multimodal par chaîne de pensée : une étude complète

Une collection de ressources sur les applications de l'apprentissage multimodal en imagerie médicale

Série NEO : Modèles vision-langage natifs conçus à partir des principes fondamentaux

✨✨ [CVPR 2025] Video-MME : Le tout premier benchmark d'évaluation complet des LLM multimodaux pour l'analyse vidéo.

LLaVA-Plus : assistants de langage et de vision capables d'apprendre et d'utiliser des compétences.

[CVPR 2024] MovieChat : Du token dense à la mémoire éparse pour la compréhension de vidéos longues

Modèle de représentation visuelle à grande échelle

Projet personnel : MPP-Qwen14B & MPP-Qwen-Next (Pipeline multimodal parallèle basé sur Qwen-LM). Support [video/image/multi-image] {sft/conversations}. Ne laissez pas la pauvreté limiter votre imagination ! Entraînez votre propre MLLM similaire à LLaVA-training sur 8B/14B en utilisant RTX3090/4090 24GB.

OmniVinci est un LLM multimodal pour la compréhension conjointe de la vision, de l'audio et du langage.

✨✨Woodpecker: Correction des hallucinations pour les modèles de langage multimodaux de grande taille

(Accepté par IJCV) Liquid : Les modèles de langage sont des générateurs multimodaux évolutifs et unifiés

Article NeurIPS 2024 : Un LLM de vision unifié au niveau du pixel pour la compréhension, la génération, la segmentation et l'édition

LLaVA-Mini est un grand modèle multimodal (LMM) unifié capable de prendre en charge la compréhension d'images, d'images haute résolution et de vidéos de manière efficace.

Cambrian-S : Vers une supersense spatiale dans la vidéo