llava

[NeurIPS'23 Oral] Visual Instruction Tuning (LLaVA) desenvolvido para alcançar recursos do nível do GPT-4V e além.

O SUPIR visa desenvolver algoritmos práticos para restauração de imagens fotorrealistas em cenários reais. Nossa nova demonstração online também está disponível em suppixel.ai.

MLX-VLM é um pacote para inferência e ajuste fino de Vision Language Models (VLMs) no seu Mac usando MLX.

Kit de ferramentas de avaliação de código aberto para grandes modelos multimodais (LMMs), com suporte a mais de 220 LMMs e mais de 80 benchmarks.

Soluções de NLP em chinês (LLMs, dados, modelos, treinamento, inferência)

Uma biblioteca C#/.NET para executar LLM (🦙LLaMA/LLaVA) no seu dispositivo local com eficiência.

Eagle: Modelos de visão-linguagem de fronteira com estratégias centradas em dados

[EMNLP-2024] Crie agentes de linguagem multimodal para prototipagem rápida e produção

[ACL 2024 🔥] Video-ChatGPT é um modelo de conversação de vídeo capaz de gerar conversas significativas sobre vídeos. Ele combina as capacidades de LLMs com um codificador visual pré-treinado adaptado para representação de vídeo espaço-temporal. Também apresentamos um 'Benchmarking de Avaliação Quantitativa' rigoroso para modelos de conversação baseados em vídeo.

Gerenciador de tags e legendas para conjuntos de dados de imagens

IA multimodal de bolso para compreensão e geração de conteúdo em textos multilíngues, imagens e 🔜 vídeo, até 5x mais rápida que o OpenAI CLIP e LLaVA 🖼️ & 🖋️

Framework totalmente aberto para treinamento multimodal democratizado

Um framework para modelos multimodais grandes de pequena escala.

🔥🔥 LLaVA++: Estendendo o LLaVA com Phi-3 e LLaMA-3 (LLaVA LLaMA-3, LLaVA Phi-3).

Sistema de vigilância por vídeo alimentado por OpenCV, YOLO e LLAVA

Integração e Exploração Multimodal do Paddle, dando suporte a tarefas multimodais principais, incluindo modelos de pré-treinamento multimodal em larga escala de ponta a ponta e caixa de ferramentas de modelos de difusão. Equipado com alto desempenho e flexibilidade.

Uma coleção abrangente de frontend e levantamento de artigos e modelos de repositórios GitHub sobre modelos de visão e linguagem. Atualizações contínuas.

👁️ + 💬 + 🎧 = 🤖 Lista selecionada dos principais modelos de fundação e multimodais! [Artigo + Código + Exemplos + Tutoriais]

Nós do ComfyUI para modelos de visão-linguagem: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Inclui detecção de vocabulário aberto, segmentação SAM2/SAM3, raciocínio temporal de vídeo, GGUF via llama.cpp e APIs de LLM/VLM hospedadas.

LLaVA-Mini é um modelo multimodal grande (LMM) unificado que suporta a compreensão de imagens, imagens de alta resolução e vídeos de forma eficiente.

Assistente baseado em IA para ajudar nas suas tarefas diárias, alimentado por Llama 3, DeepSeek R1 e muitos outros modelos no HuggingFace.