multimodal-large-language-models

Últimos avanços em modelos de linguagem grandes multimodais.

Mobile-Agent: A poderosa família de agentes de GUI

StarVector é um modelo fundamental para geração de SVG que transforma a vetorização em uma tarefa de geração de código. Utilizando uma arquitetura de modelagem de visão e linguagem, o StarVector processa entradas visuais e textuais para produzir código SVG de alta qualidade com precisão notável.

LLaMA-Omni é um modelo de interação de voz end-to-end de baixa latência e alta qualidade construído sobre o Llama-3.1-8B-Instruct, visando alcançar capacidades de voz no nível do GPT-4o.

Um framework multiplataforma de estruturação de vídeo (análise de vídeo) baseado em modelos de CV e mLLM.

✨✨[NeurIPS 2025] VITA-1.5: Rumo à interação de visão e fala em tempo real no nível do GPT-4o

mPLUG-DocOwl: Modelo de linguagem multimodal modularizado para compreensão de documentos

Cambrian-1 é uma família de LLMs multimodais com um design centrado em visão.

[ICML 2024] Dominando a Difusão de Texto para Imagem: Re-legenda, Planejamento e Geração com LLMs Multimodais (RPG)

Seed1.5-VL, um modelo de base de visão e linguagem projetado para promover a compreensão e o raciocínio multimodal de propósito geral, alcançando desempenho de ponta em 38 de 60 benchmarks públicos.

Uma nova arquitetura de Modelo de Linguagem Grande Multimodal (MLLM), projetada para alinhar estruturalmente embeddings visuais e textuais.

Modelos Multimodais Unificados Incríveis

Humano digital interativo em tempo real, com aparência e voz personalizáveis, suporte a clonagem de voz e latência de resposta inicial de até 3s.

Implementação em PyTorch do Audio Flamingo: uma série de modelos de linguagem avançados para compreensão de áudio.

Um framework para processamento de fala, linguagem, áudio e música com Large Language Model

Uma família de modelos multimodais leves.

Raciocínio multimodal de cadeia de pensamento: um levantamento abrangente

Uma coleção de recursos sobre aplicações de aprendizado multimodal em imagens médicas.

Série NEO: Modelos nativos de visão e linguagem a partir de princípios fundamentais

✨✨[CVPR 2025] Video-MME: O primeiro benchmark de avaliação abrangente para LLMs multimodais em análise de vídeo.

LLaVA-Plus: Assistentes de linguagem e visão de grande escala que se conectam e aprendem a usar habilidades

[CVPR 2024] MovieChat: From Dense Token to Sparse Memory for Long Video Understanding

Modelo de representação visual em larga escala

Projeto Pessoal: MPP-Qwen14B & MPP-Qwen-Next (Pipeline Paralelo Multimodal baseado em Qwen-LM). Suporta [vídeo/imagem/várias imagens] {sft/conversas}. Não deixe a pobreza limitar sua imaginação! Treine seu próprio MLLM semelhante ao LLaVA de 8B/14B em RTX3090/4090 24GB.

OmniVinci é um LLM onimodal para compreensão conjunta de visão, áudio e linguagem.

✨✨Woodpecker: Correção de alucinação para Modelos de Linguagem Multimodais Grandes

(Aceito no IJCV) Liquid: Modelos de linguagem são geradores multimodais escaláveis e unificados

Artigo do NeurIPS 2024: Um LLM de visão em nível de pixel unificado para compreensão, geração, segmentação e edição

LLaVA-Mini é um modelo multimodal grande (LMM) unificado que suporta a compreensão de imagens, imagens de alta resolução e vídeos de forma eficiente.

Cambrian-S: Rumo à supersensoriamento espacial em vídeo