vlm

O NVIDIA AI Blueprint para pesquisa e resumo de vídeo (VSS) é uma arquitetura de referência acelerada por GPU para criar agentes de análise de vídeo com alertas verificados em tempo real, perguntas e respostas visuais e relatórios automatizados. O Blueprint VSS utiliza modelos de linguagem visual (VLMs) como o NVIDIA Cosmos, LLMs como o NVIDIA Nemotron, RAG e NVIDIA NIMs.

🚀🚀🚀 Uma coleção de projetos públicos incríveis da série YOLO de detecção de objetos e conjuntos de dados relacionados.

Maneira declarativa de executar modelos de IA no React Native localmente, utilizando o ExecuTorch.

OpenGUI é um framework de agente GUI para Android voltado para IA, capaz de visualizar, planejar e operar aplicativos móveis reais através da interface gráfica.

Toolkit de compressão de modelos projetado para maior usabilidade, abrangência e eficiência.

Awesome-Jailbreak-on-LLMs é uma coleção de métodos de jailbreak de ponta, inovadores e interessantes para LLMs. Contém artigos, códigos, conjuntos de dados, avaliações e análises.

Monitoramento de câmera com VLM

Otimização de design de aeronaves acelerada por transformações de grafos computacionais (por exemplo, diferenciação automática). Ferramentas de análise combináveis para aerodinâmica, propulsão, estruturas, design de trajetória e muito mais.

Catálogo visual com curadoria de mais de 155 arquiteturas de modelos de linguagem visual (VLM/MLLM): artigos, diagramas, receitas de treinamento, conjuntos de dados e uma linha do tempo de lançamentos para agentes de IA multimodal.

JoyCaption é um Visual Language Model (VLM) de legendagem de imagens construído do zero como um modelo gratuito, aberto e sem censura para a comunidade usar no treinamento de modelos de difusão.

Um agente GUI baseado em VLM de ponta a ponta de código aberto

Plataforma aberta da InternRobotics para construir modelos fundamentais de navegação generalizada.

Uma família de modelos multimodais leves.

MindSpore + 🤗Huggingface: Execute qualquer modelo Transformers/Diffusers no MindSpore com compatibilidade perfeita e aceleração.

Biblioteca de treinamento distribuído nativo em PyTorch para LLMs/VLMs com suporte imediato ao Hugging Face.

Assistente de GPT completo para Android, ativado por teclas de volume para interação por voz, com suporte a rede, fotos, modelos, análise de documentos e modo de agente.

UniWorld: Codificadores semânticos de alta resolução para compreensão e geração visual unificadas.

Série NEO: Modelos nativos de visão e linguagem a partir de princípios fundamentais

Modelo de edição de múltiplas imagens SOTA de código aberto

Base de código unificada para Modelos de Mundo Avançados.

Uma lista com curadoria de artigos de visão 3D relacionados ao domínio de robótica na era de grandes modelos, como LLMs/VLMs, inspirada no awesome-computer-vision, incluindo artigos, códigos e sites relacionados

Repositório oficial do artigo de pesquisa "LLM × DATA".

🚀🚀🚀Uma coleção de projetos públicos incríveis sobre Modelos de Linguagem de Grande Escala (LLM), Modelos de Visão e Linguagem (VLM), Visão, Linguagem e Ação (VLA), Conteúdo Gerado por IA (AIGC), além de conjuntos de dados e aplicativos relacionados.

MobileGym: Uma plataforma de simulação verificável e altamente paralela para pesquisa de agentes de GUI móveis · Simulador Android executado no navegador · Simulador Android hospedado no navegador · Avaliação Verificável · Treinamento RL online escalável

[CVPR 2026🔥] 🧑‍🎨 OmniLottie, um gerador de animação vetorial instruída multimodal de código aberto que produz arquivos JSON Lottie.

Dingo: Uma ferramenta abrangente de avaliação de qualidade de dados, modelos e aplicações de IA

[CVPR 2024 🔥] GeoChat, o primeiro Large Vision Language Model fundamentado para Sensoriamento Remoto

[ECCV 2026] SparkVSR: Super-resolução de vídeo interativa via propagação de keyframes esparsos

Engine de IA de borda em C++ pronta para produção para análise de vídeo e VLM em dispositivos em Sophon, Rockchip RKNN e x86, com orquestração visual, OSD em tempo real, eventos e benchmarks reproduzíveis.

Este repositório contém o código para "VLM2Vec / MMEB" [ICLR 2025], "VLM2Vec-V2 / MMEB-V2" [TMLR 2026] e "MMEB-V3" [COLM 2026].