multimodal

✨✨ Últimos artigos e benchmarks em raciocínio com Modelos Fundacionais

MOSS-Audio é um modelo de base de código aberto para compreensão unificada de áudio, permitindo fala, som, música, legendagem, QA e raciocínio em cenários do mundo real.

Implementação oficial do SEED-LLaMA (ICLR 2024).

Página do projeto para "Seg-Zero: Reasoning-Chain Guided Segmentation via Cognitive Reinforcement"

👁️ + 💬 + 🎧 = 🤖 Lista selecionada dos principais modelos de fundação e multimodais! [Artigo + Código + Exemplos + Tutoriais]

Implementação oficial para "Blended Latent Diffusion" [SIGGRAPH 2023]

Second Brain é um framework agêntico que atua como um sistema operacional, usando inteligência de arquivos locais, automação de fluxos de trabalho e LLMs para concluir tarefas e se comunicar em múltiplos meios e plataformas de mensagens.

Este repositório fornece programas para construir código de RAG (Retrieval-Augmented Generation) para Generative AI com LlamaIndex, Deep Lake e Pinecone, aproveitando o poder dos modelos da OpenAI e Hugging Face para geração e avaliação.

Explore o "Momento Aha" Multimodal em um modelo de 2B

Hunyuan3D-Omni: Um Framework Unificado para Geração Controlável de Ativos 3D.

An open-weight 11B model series for long-form and real-time video understanding

[ECCV 2024] Tokenize Anything via Prompting

Este repositório contém código de avaliação para o artigo "MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI"

Um Motor de Aprendizado por Reforço Assíncrono para Pós-Treinamento Omni-Modal em Escala

Implementação oficial de "Blended Diffusion for Text-driven Editing of Natural Images" [CVPR 2022]

[ECCV2024] Modelo de Linguagem Grande Multimodal Fundamentado com Tokenização Visual Localizada

Crie automação de navegador como se estivesse ensinando um humano usando GPT-4 Vision.

RAI é um framework agnóstico de fornecedor para robótica de IA Física, utilizando ferramentas ROS 2 para executar ações complexas, cenários definidos, execução de interface livre, resumos de logs, interação de voz e muito mais.

Roteamento multimodal, geocodificação e blocos de mapa

LLaVA-Mini é um modelo multimodal grande (LMM) unificado que suporta a compreensão de imagens, imagens de alta resolução e vídeos de forma eficiente.

Um Agent de IA Multimodal MCP com olhos e ouvidos!

O sistema de autoprogramação para seu aplicativo — Alan AI SDK para React Native

Plataforma para Inteligência Situada

Inferência CLIP em C/C++ puro, sem dependências adicionais

O Flame é um sistema de IA multimodal de código aberto projetado para traduzir protótipos de design de interface em código React de alta qualidade. Ele aproveita modelagem de visão-linguagem, síntese automatizada de dados e fluxos de trabalho de treinamento estruturados para preencher a lacuna entre o design e o desenvolvimento front-end.

Um hub para vários esquemas específicos da indústria para uso com VLMs.

Modelagem Multimodal Incrível [Abrange MLLM, UMM e NMM]

Código oficial de "EVF-SAM: Early Vision-Language Fusion for Text-Prompted Segment Anything Model"