multimodal

✨✨Últimos artículos y benchmarks sobre razonamiento con modelos base

MOSS-Audio es un modelo base de código abierto para la comprensión unificada de audio, que permite el procesamiento de voz, sonido, música, subtitulado, QA y razonamiento en escenarios del mundo real.

Implementación oficial de SEED-LLaMA (ICLR 2024).

Página del proyecto para "Seg-Zero: Segmentación guiada por cadena de razonamiento mediante refuerzo cognitivo"

👁️ + 💬 + 🎧 = 🤖 Lista curada de los mejores modelos fundamentales y multimodales. [Artículos + Código + Ejemplos + Tutoriales]

Implementación oficial de "Blended Latent Diffusion" [SIGGRAPH 2023]

Second Brain es un framework de agentes que actúa como un sistema operativo, utilizando inteligencia de archivos locales, automatización de flujos de trabajo y LLMs para completar tareas y comunicarse a través de múltiples modalidades y plataformas de mensajería.

Este repositorio proporciona programas para crear código de Generación Aumentada por Recuperación (RAG) para IA generativa con LlamaIndex, Deep Lake y Pinecone, aprovechando el poder de los modelos de OpenAI y Hugging Face para la generación y evaluación.

Explora el momento "Aha" multimodal en un modelo de 2B.

Hunyuan3D-Omni: Un framework unificado para la generación controlable de activos 3D

[ECCV 2024] Tokenización de cualquier cosa mediante prompts.

An open-weight 11B model series for long-form and real-time video understanding

Este repositorio contiene el código de evaluación para el artículo "MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI".

Un motor de aprendizaje por refuerzo asíncrono para el post-entrenamiento omnimodal a gran escala.

Implementación oficial de "Blended Diffusion for Text-driven Editing of Natural Images" [CVPR 2022]

[ECCV2024] Modelo de lenguaje multimodal fundamentado con tokenización visual localizada

Crea automatizaciones de navegador como si estuvieras enseñando a un humano usando GPT-4 Vision.

RAI es un framework de agentes agnóstico al proveedor para robótica de IA física, que utiliza herramientas de ROS 2 para realizar acciones complejas, escenarios definidos, ejecución de interfaz libre, resúmenes de registros, interacción por voz y más

Enrutamiento multimodal, geocodificación y mosaicos de mapas.

LLaVA-Mini es un modelo multimodal grande (LMM) unificado que admite la comprensión de imágenes, imágenes de alta resolución y videos de manera eficiente.

El sistema de autocodificación para tu aplicación: Alan AI SDK para React Native

¡Un agente de IA multimodal MCP con ojos y oídos!

Plataforma para inteligencia situada (Situated Intelligence).

Inferencia de CLIP en C/C++ puro sin dependencias adicionales.

Flame es un sistema de IA multimodal de código abierto diseñado para traducir maquetas de diseño de interfaz de usuario a código React de alta calidad. Aprovecha el modelado de lenguaje visual, la síntesis de datos automatizada y flujos de trabajo de entrenamiento estructurados para cerrar la brecha entre el diseño y el desarrollo front-end.

Un centro para diversos esquemas específicos de la industria para su uso con VLM.

Awesome Multimodal Modeling [cubre MLLM, UMM y NMM]

Código oficial de "EVF-SAM: Fusión temprana de visión-lenguaje para el modelo Segment Anything con prompts de texto"