multimodal

Toolkit visual e conjunto de habilidades projetado para modelos de texto puro "verem" imagens. Suporta compreensão de múltiplas imagens, perguntas e respostas, restauração de UI front-end, automação de GUI, com integração opcional a múltiplos agentes principais e reconhecimento direto de imagens coladas.

O sistema de auto-codificação para seu aplicativo — SDK Alan AI para Cordova.

O SGLang-Omni capacita o atendimento de alto desempenho para modelos TTS, ASR, de fala e onidirecionais.

MOVA: rumo à geração de vídeo e áudio escalável e sincronizada.

Base de código para o Aria - um MoE nativo multimodal aberto

Olhos para agentes do DeepSeek Harness baseados apenas em texto: cadeia de visão gratuita integrada (sem chave) + ferramentas de visão em nível de pixel (P&D, grounding, recorte, diferença de pixels, cores, OCR, rastreamento SVG, recorte, capturas de tela). Instalação com um único comando, sem Python, os turnos de imagem funcionam como turnos normais de chamada de ferramentas.

🩺 O primeiro modelo médico multimodal em chinês capaz de analisar radiografias de tórax | O primeiro modelo médico multimodal em chinês para sumarização de radiografias de tórax.

[Destaque ICLR'24] Séries de Modelos Grandes Multimodais em Chinês e Inglês (Chat e Paint) | Baseado no modelo base CPM, série de grandes modelos multimodais bilíngues em chinês e inglês

Um modelo de representação geral para modalidades de visão, áudio e linguagem. Artigo: ONE-PEACE: Exploring One General Representation Model Toward Unlimited Modalities

[Candidato a melhor artigo ECCV 2024 & TPAMI 2025] PointLLM: Capacitando grandes modelos de linguagem para entender nuvens de pontos.

Uma implementação oficial para "CLIP4Clip: An Empirical Study of CLIP for End to End Video Clip Retrieval"

Raciocínio multimodal de cadeia de pensamento: um levantamento abrangente

TongFlow — Estúdio de GenAI Multimodal

Recursos, exemplos e tutoriais para IA multimodal, RAG e agentes usando busca vetorial e LLMs

Framework de treinamento de RL multimodal para modelos de difusão e omni

RAG Time: Uma jornada de aprendizado de 5 semanas para dominar RAG

Sobre este repositório: uma coleção selecionada dos artigos mais empolgantes e influentes da CVPR 2025. 🔥 [Artigo + Código + Demonstração]

Série NEO: Modelos nativos de visão e linguagem a partir de princípios fundamentais

Código para "AnyGPT: Unified Multimodal LLM with Discrete Sequence Modeling"

⚡ Solucionador de captcha auto-hospedável compatível com YesCaptcha, construído com FastAPI, Playwright e modelos multimodais compatíveis com OpenAI.

Um mecanismo de treinamento de modelos multimodais simples e unificado. Enxuto, flexível e criado para hacking em escala.

[TMLR 2025🔥] Uma pesquisa sobre modelos autorregressivos em visão.

Biblioteca que suporta pesquisa em NLP e CV em artigos científicos

Treine modelos por contraste no PyTorch.

Monitoramento local + visão de IA — Framework de monitoramento de IA baseado em LAN alimentado por smartphone com saída de eventos estruturada para aquisição e análise de dados.

Lista de artigos sobre modelos multimodais e de linguagem grande, usada apenas para registrar artigos lidos no arxiv diariamente para necessidades pessoais.

[ECCV 2024] InstructIR: Restauração de imagem de alta qualidade seguindo instruções humanas https://huggingface.co/spaces/marcosv/InstructIR

Integração e Exploração Multimodal do Paddle, dando suporte a tarefas multimodais principais, incluindo modelos de pré-treinamento multimodal em larga escala de ponta a ponta e caixa de ferramentas de modelos de difusão. Equipado com alto desempenho e flexibilidade.

Uma caixa de ferramentas para recomendação multimodal. Integrando mais de 10 modelos...

Este repositório contém o código para "VLM2Vec / MMEB" [ICLR 2025], "VLM2Vec-V2 / MMEB-V2" [TMLR 2026] e "MMEB-V3" [COLM 2026].