mllm

Pré-treinamento autossupervisionado em larga escala entre tarefas, idiomas e modalidades

Agent S: um framework agêntico aberto que usa computadores como um humano

Mobile-Agent: A poderosa família de agentes de GUI

[NeurIPS 2025] SpatialLM: Treinamento de grandes modelos de linguagem para modelagem interna estruturada

[CVPR'25] Implementações oficiais do artigo - MagicQuill: Um sistema inteligente de edição interativa de imagens.

De Chain-of-Thought prompting para OpenAI o1 e DeepSeek-R1 🍓

Código e modelos para o artigo do ICML 2024, NExT-GPT: Any-to-Any Multimodal Large Language Model

Eagle: Modelos de visão-linguagem de fronteira com estratégias centradas em dados

InternLM-XComposer2.5-OmniLive: Um sistema multimodal abrangente para interações de vídeo e áudio em streaming de longa duração

mPLUG-DocOwl: Modelo de linguagem multimodal modularizado para compreensão de documentos

Cambrian-1 é uma família de LLMs multimodais com um design centrado em visão.

🚀🚀🚀 Uma coleção de projetos públicos incríveis da série YOLO de detecção de objetos e conjuntos de dados relacionados.

Repositório oficial do código Pixel-LLM: Sa2VA (T-PAMI-26), SAMTok (CVPR-26), VRT (Arxiv-25), SaSaSa2VA (1ª solução para LSVOS)

[CVPR2026] Detecte qualquer coisa via Next Point Prediction

Catálogo visual com curadoria de mais de 155 arquiteturas de modelos de linguagem visual (VLM/MLLM): artigos, diagramas, receitas de treinamento, conjuntos de dados e uma linha do tempo de lançamentos para agentes de IA multimodal.

Framework totalmente aberto para treinamento multimodal democratizado

Uma família de modelos multimodais leves.

OpenEMMA, uma 'reprodução' de código aberto licenciada de forma branda do modelo EMMA da Waymo.

Série NEO: Modelos nativos de visão e linguagem a partir de princípios fundamentais

[NeurIPS' 2025] JarvisArt: Liberando a criatividade artística humana por meio de um agente inteligente de retoque fotográfico.

[CVPR2024] O código para "Osprey: Pixel Understanding with Visual Instruction Tuning"

[Destaque NeurIPS 2025] Implementação oficial de "FutureSightDrive: Thinking Visually with Spatio-Temporal CoT for Autonomous Driving"

[NeurIPS 2025] 4KAgent: Agente de Super-Resolução 4K para Qualquer Imagem. Um agente de visão computacional inteligente que restaura magicamente qualquer imagem para o formato 4K perfeito!

🚀🚀🚀Uma coleção de projetos públicos incríveis sobre Modelos de Linguagem de Grande Escala (LLM), Modelos de Visão e Linguagem (VLM), Visão, Linguagem e Ação (VLA), Conteúdo Gerado por IA (AIGC), além de conjuntos de dados e aplicativos relacionados.

Este é um repositório para listar artigos sobre geração de grafos de cena e aplicação.

Projeto Pessoal: MPP-Qwen14B & MPP-Qwen-Next (Pipeline Paralelo Multimodal baseado em Qwen-LM). Suporta [vídeo/imagem/várias imagens] {sft/conversas}. Não deixe a pobreza limitar sua imaginação! Treine seu próprio MLLM semelhante ao LLaVA de 8B/14B em RTX3090/4090 24GB.

Visão como Geração Multimodal Unificada

✨✨Woodpecker: Correção de alucinação para Modelos de Linguagem Multimodais Grandes

[ICLR 2025] FakeShield: Detecção e localização explicável de falsificação de imagens por meio de Large Language Models multimodais

Emotion-LLaMA: Reconhecimento e Raciocínio de Emoções Multimodais com Ajuste de Instruções