multi-modal

Construya y ejecute agentes que pueda ver, entender y en los que pueda confiar.

Un MLLM de bolsillo para la comprensión ultraeficiente de imágenes y videos en tu teléfono

Framework de código abierto para agentes de IA de voz conversacional

[CVPR 2024 Oral] Familia InternVL: una alternativa de código abierto pionera a GPT-4o. Un modelo de diálogo multimodal de código abierto con un rendimiento cercano al de GPT-4o

ModelScope: da vida al concepto de Model-as-a-Service.

Suite de IA impulsada por modelos de última generación que ofrece funciones avanzadas de IA/AGI. Incluye personajes de IA, funciones de AGI, chats multimodelo Beam de clase mundial, texto a imagen, voz, transmisión de respuestas, resaltado y ejecución de código, importación de PDF, ajustes preestablecidos para desarrolladores y mucho más. Despliegue local o en la nube.

¡Procesamiento de datos para y con modelos fundamentales! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

un modelo de lenguaje visual abierto de última generación

Motor de enrutamiento de código abierto para OpenStreetMap

Versión en chino de CLIP que logra la recuperación y generación de representaciones multimodales en chino.

Implementación / replicación de DALL-E, el Transformer de texto a imagen de OpenAI, en PyTorch

Búsqueda y descubrimiento de comercio electrónico - marqo.ai

[EMNLP 2022] Un kit de herramientas abierto para la extracción y construcción de grafos de conocimiento

Kit de herramientas de evaluación de código abierto para grandes modelos multimodales (LMMs), compatible con más de 220 LMMs y más de 80 benchmarks

OmniGen: Generación de imágenes unificada. https://arxiv.org/pdf/2409.11340

Modelo de lenguaje conversacional multimodal en chino e inglés | 多模态中英双语对话语言模型

Una biblioteca de C#/.NET para ejecutar LLM (🦙LLaMA/LLaVA) en tu dispositivo local de manera eficiente.

【EMNLP 2024🔥】Video-LLaVA: Aprendizaje de representación visual unificada mediante alineación antes de la proyección

Ecosistema de asistente de IA de código abierto con integraciones de MCP, flujos de trabajo multimodales, soporte para IoT e interacción de voz multiplataforma.

Representar, enviar, almacenar y buscar datos multimodales

Página del proyecto para "LISA: Segmentación de razonamiento mediante un modelo de lenguaje grande"

Modelo multimodal de código abierto a nivel de GPT4V basado en Llama3-8B

【TMM 2025🔥】 Mixture-of-Experts para grandes modelos de visión y lenguaje

Una colección de artículos clásicos de la industria y de vanguardia en el campo de la recomendación, publicidad y búsqueda.

[NeurIPS 2023] MotionGPT: Human Motion as a Foreign Language, un modelo unificado de generación de movimiento y lenguaje mediante LLMs

Una interfaz de GPT robusta y todo en uno para Discord. Conversaciones al estilo de ChatGPT, generación de imágenes, moderación por IA, índices/base de conocimientos personalizados, resumidor de YouTube y más.

Familia SALMONN: un conjunto de LLMs multimodales avanzados.

[pip install medmnist] 18 conjuntos de datos estandarizados para la clasificación de imágenes biomédicas 2D y 3D

Implementación en Pytorch de Transfusion, "Predecir el siguiente token y difundir imágenes con un modelo multimodal", de MetaAI

Este repositorio recopila artículos para "Una encuesta sobre la destilación de conocimiento de modelos de lenguaje grandes". Desglosamos la destilación de conocimiento en algoritmos de obtención y destilación de conocimiento, y exploramos la destilación de habilidades y vertical de los LLM.