llava

[NeurIPS'23 Oral] Ajuste de instrucciones visuales (LLaVA) diseñado para alcanzar capacidades del nivel de GPT-4V y superiores.

SUPIR tiene como objetivo desarrollar algoritmos prácticos para la restauración fotorrealista de imágenes en entornos reales. Nuestra nueva demo en línea también está disponible en suppixel.ai.

MLX-VLM es un paquete para la inferencia y ajuste fino de modelos de lenguaje visual (VLM) en tu Mac utilizando MLX.

Kit de herramientas de evaluación de código abierto para grandes modelos multimodales (LMMs), compatible con más de 220 LMMs y más de 80 benchmarks

Solución NLP en chino (grandes modelos, datos, modelos, entrenamiento, inferencia)

Una biblioteca de C#/.NET para ejecutar LLM (🦙LLaMA/LLaVA) en tu dispositivo local de manera eficiente.

Eagle: Modelos de lenguaje y visión de vanguardia con estrategias centradas en datos

[EMNLP-2024] Construye agentes de lenguaje multimodales para prototipado rápido y producción

[ACL 2024] Video-ChatGPT es un modelo de conversación de video capaz de generar diálogos significativos sobre videos. Combina las capacidades de los LLMs con un codificador visual preentrenado adaptado para la representación espaciotemporal de video. También introducimos un riguroso 'Quantitative Evaluation Benchmarking' para modelos conversacionales basados en video.

Gestor de etiquetas y generador de subtítulos para conjuntos de datos de imágenes

IA multimodal de bolsillo para la comprensión y generación de contenido en textos multilingües, imágenes y próximamente video, hasta 5 veces más rápida que OpenAI CLIP y LLaVA.

Framework totalmente abierto para el entrenamiento multimodal democratizado.

Un framework de modelos multimodales grandes a pequeña escala

🔥🔥 LLaVA++: Extensión de LLaVA con Phi-3 y LLaMA-3 (LLaVA LLaMA-3, LLaVA Phi-3).

Sistema de videovigilancia impulsado por OpenCV, YOLO y LLAVA.

Paddle Multimodal Integration and eXploration, que soporta tareas multimodales convencionales, incluyendo modelos de preentrenamiento multimodal a gran escala de extremo a extremo y un conjunto de herramientas de modelos de difusión. Equipado con alto rendimiento y flexibilidad.

Una colección completa de recursos sobre modelos de lenguaje visual, incluyendo artículos y repositorios de modelos. Actualización continua.

👁️ + 💬 + 🎧 = 🤖 Lista curada de los mejores modelos fundamentales y multimodales. [Artículos + Código + Ejemplos + Tutoriales]

Nodos de ComfyUI para modelos de lenguaje visual: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Incluye detección de vocabulario abierto, segmentación SAM2/SAM3, razonamiento temporal de video, GGUF mediante llama.cpp y APIs de LLM/VLM alojadas.

LLaVA-Mini es un modelo multimodal grande (LMM) unificado que admite la comprensión de imágenes, imágenes de alta resolución y videos de manera eficiente.

Asistente impulsado por IA para ayudar con las tareas diarias, basado en Llama 3, DeepSeek R1 y muchos otros modelos de HuggingFace.