multi-modality

[NeurIPS'23 Oral] Visual Instruction Tuning (LLaVA) desenvolvido para alcançar recursos do nível do GPT-4V e além.

Últimos avanços em modelos de linguagem grandes multimodais.

🏄 Incorporação, raciocínio e classificação escaláveis para imagens e frases com CLIP

MOSS-TTS-Nano é um modelo de geração de fala multilíngue minúsculo e open source da MOSI.AI e da equipe OpenMOSS. Com apenas 0,1 bilhão de parâmetros, foi projetado para geração de fala em tempo real, pode rodar diretamente na CPU sem GPU e mantém a stack de implantação simples o suficiente para demonstrações locais, serviços web e integração leve em produtos.

Otter, um modelo multimodal baseado no OpenFlamingo (versão de código aberto do Flamingo da DeepMind), treinado no MIMIC-IT, demonstrando melhor capacidade de seguir instruções e aprendizado em contexto.

InternLM-XComposer2.5-OmniLive: Um sistema multimodal abrangente para interações de vídeo e áudio em streaming de longa duração

Algoritmos e publicações sobre rastreamento de objetos 3D

RAG sem parsing suportado por VLM

Long-RL: Escalando RL para Sequências Longas (NeurIPS 2025)

[CVPR 2025] MINIMA: Modality Invariant Image Matching

O Chatbot Arena encontra a multimodalidade! O Multi-Modality Arena permite comparar modelos de visão-linguagem lado a lado fornecendo imagens como entrada. Suporta MiniGPT-4, LLaMA-Adapter V2, LLaVA, BLIP-2 e muito mais!