vision-language-model

[NeurIPS'23 Oral] Visual Instruction Tuning (LLaVA) desenvolvido para alcançar recursos do nível do GPT-4V e além.

X-AnyLabeling: Uma aplicação desktop multiplataforma leve, eficiente e unificada para anotação de texto, imagem, vídeo e dados multimodais, combinando ferramentas integradas versáteis com modelos de IA de última geração e exportação flexível em múltiplos formatos.

[CVPR 2024 Oral] Família InternVL: Uma alternativa pioneira de código aberto ao GPT-4o.

👀 Treine um VLM de 65M de parâmetros do zero em apenas 2h!

O repositório oficial do Qwen-VL (通义千问-VL), modelo de linguagem de visão grande pré-treinado e de chat proposto pela Alibaba Cloud.

MineContext é seu parceiro de IA proativo e consciente do contexto (Engenharia de Contexto + ChatGPT Pulse)

MLX-VLM é um pacote para inferência e ajuste fino de Vision Language Models (VLMs) no seu Mac usando MLX.

Align Anything: Treinamento de modelos multimodais com feedback

Toolkit de avaliação multimodal tudo-em-um para tarefas de texto, imagem, vídeo e áudio.

DeepSeek-VL: Rumo à compreensão de visão e linguagem no mundo real

Repositório oficial do MiniMax-Text-01 e MiniMax-VL-01, modelos de linguagem e visão baseados em Linear Attention.

Repositório oficial para "Mini-Gemini: Mineração do Potencial de Modelos de Linguagem Visual Multimodais"

Coleção de modelos de visão e linguagem (vision-language models) para tarefas de visão computacional.

O canivete suíço da IA offline. Converse, veja, fale e gere imagens no seu celular ou Mac — LLMs GGUF, visão, transcrição de fala Whisper, Stable Diffusion, chamadas de ferramentas e servidores de rede local. Executa na sua CPU, GPU ou NPU. Sem conta, sem chave de API, nenhum dado sai do seu dispositivo.

InternLM-XComposer2.5-OmniLive: Um sistema multimodal abrangente para interações de vídeo e áudio em streaming de longa duração

Código utilizado para treinar e executar inferência com os modelos ColVision, como ColPali, ColQwen2 e ColSmol.

O framework Cradle é uma primeira tentativa de Controle Geral de Computador (GCC). O Cradle permite que agentes realizem qualquer tarefa computacional ao habilitar fortes capacidades de raciocínio, autoaperfeiçoamento e curadoria de habilidades, em um ambiente geral padronizado com requisitos mínimos.

Uma implementação de código aberto para o fine-tuning da série Qwen-VL da Alibaba Cloud.

[CVPR 2025] Modelo de Visão-Linguagem-Ação de código aberto, ponta a ponta, para agente de GUI e uso de computador

Uma lista selecionada de recursos incríveis sobre LLM/VLM/VLA/World Model para Condução Autônoma (LLM4AD) (atualizada continuamente).

O NVIDIA AI Blueprint para pesquisa e resumo de vídeo (VSS) é uma arquitetura de referência acelerada por GPU para criar agentes de análise de vídeo com alertas verificados em tempo real, perguntas e respostas visuais e relatórios automatizados. O Blueprint VSS utiliza modelos de linguagem visual (VLMs) como o NVIDIA Cosmos, LLMs como o NVIDIA Nemotron, RAG e NVIDIA NIMs.

Uma coleção de ideias e algoritmos originais e inovadores voltados para o Advanced Literate Machinery. Este projeto é mantido pela equipe de OCR do Language Technology Lab, Tongyi Lab, Alibaba Group.

Seed1.5-VL, um modelo de base de visão e linguagem projetado para promover a compreensão e o raciocínio multimodal de propósito geral, alcançando desempenho de ponta em 38 de 60 benchmarks públicos.

Servidor de inferência LLM de alto desempenho compatível com OpenAI e Anthropic para Apple Silicon. MLX nativo, processamento contínuo, modelos multimodais, chamada de ferramentas MCP e suporte ao Claude Code.

Obtenha dados limpos de documentos complexos, com tecnologia de modelos de visão e linguagem ⚡.

[ICCV 2025] Implementação para Describe Anything: Legendas detalhadas e localizadas de imagens e vídeos

Uma nova arquitetura de Modelo de Linguagem Grande Multimodal (MLLM), projetada para alinhar estruturalmente embeddings visuais e textuais.

Resumo de LLMs em japonês - Visão geral de LLMs japoneses

Faça o fine-tuning de LLMs no seu Mac com Apple Silicon. SFT, DPO, GRPO, Vision, TTS, STT, Embedding e fine-tuning de OCR — nativamente no MLX. API compatível com Unsloth.

Modelos Multimodais Unificados Incríveis