vlm

🤗 Transformers: o framework de definição de modelos para modelos de machine learning de última geração em texto, visão, áudio e modelos multimodais, tanto para inferência quanto para treinamento.

A pilha de agentes de IA multimodal de código aberto: Conectando modelos de IA de ponta e infraestrutura de agentes

SGLang é um framework de atendimento de alto desempenho para grandes modelos de linguagem e modelos multimodais.

Kit de ferramentas pronto para produção para executar IA localmente.

O fim do parsing web. O início da busca nativa de pixels escalável. link: https://pixelrag.ai/

Uma coleção de tutoriais sobre modelos e técnicas de visão computacional de última geração. Explore desde arquiteturas fundamentais como ResNet até modelos de ponta como RF-DETR, YOLO11, SAM 3 e Qwen3-VL.

Livros, artigos, vídeos e toolboxes relacionados à detecção de anomalias. Última atualização no final de 2025 para trabalhos com LLM e VLM!

Execute LLMs e VLMs de ponta localmente em dispositivos Qualcomm via NPU, GPU e CPU com poucas linhas de código

O repositório oficial do ERNIE 4.5 e do ERNIEKit, seu kit de ferramentas de desenvolvimento de nível industrial baseado no PaddlePaddle.

Resolver compreensão visual com VLMs reforçados.

Um framework MCP low-code para construir pipelines de RAG complexos e inovadores.

🌟100+ Mapas conceituais originais de LLM / RL 📚, contribuição do autor de "Algoritmos de Grandes Modelos"!💥 (100+ Mapas de Algoritmos LLM/RL)

StarVector é um modelo fundamental para geração de SVG que transforma a vetorização em uma tarefa de geração de código. Utilizando uma arquitetura de modelagem de visão e linguagem, o StarVector processa entradas visuais e textuais para produzir código SVG de alta qualidade com precisão notável.

Toolkit de avaliação multimodal tudo-em-um para tarefas de texto, imagem, vídeo e áudio.

[CVPR 2026] PromptEnhancer é uma ferramenta de reescrita de prompts, refinando prompts em versões mais claras e estruturadas para uma melhor geração de imagens.

Repositório oficial do MiniMax-Text-01 e MiniMax-VL-01, modelos de linguagem e visão baseados em Linear Attention.

Uma estrutura simplificada e personalizável para avaliação eficiente de grandes modelos (LLM, VLM, AIGC) e benchmarking de desempenho.

Ferramenta de gerenciamento de arquivos baseada em IA que garante privacidade ao organizar textos e imagens locais. Utiliza modelos Llama3.2 3B e Llava v1.6 com o Nexa SDK para escanear, reestruturar e organizar arquivos de forma intuitiva para acesso rápido e fácil recuperação.

Skywork-R1V é uma série avançada de modelos de IA multimodal desenvolvida pela Skywork AI, especializada em raciocínio de visão e linguagem.

[NeurIPS 2024] OSWorld: Benchmarking de agentes multimodais para tarefas abertas em ambientes computacionais reais.

Plataforma de habilidades de câmera com IA de código aberto, NVR de IA e vigilância por CFTV. Análise de vídeo VLM local com Qwen, DeepSeek, SmolVLM, LLaVA, YOLO26. Agente de câmera de segurança baseado em LLM — observa, entende, lembra e protege sua casa via Telegram, Discord ou Slack. Habilidades de IA conectáveis. OpenAI, Google, Anthropic ou IA local. Executa em Mac Mini e PCs com IA.

[EMNLP-2024] Crie agentes de linguagem multimodal para prototipagem rápida e produção

O framework Cradle é uma primeira tentativa de Controle Geral de Computador (GCC). O Cradle permite que agentes realizem qualquer tarefa computacional ao habilitar fortes capacidades de raciocínio, autoaperfeiçoamento e curadoria de habilidades, em um ambiente geral padronizado com requisitos mínimos.

GLM-4.6V/4.5V/4.1V-Thinking: Rumo ao raciocínio multimodal versátil com aprendizado por reforço escalável

Framework de agentes LLM no ComfyUI, incluindo servidor MCP, Omost, GPT-sovits, ChatTTS, GOT-OCR2.0 e nós de prompt FLUX, com acesso a Feishu e Discord, adaptando-se a todos os LLMs com interfaces similares à da OpenAI/aisuite, como o1, ollama, gemini, grok, qwen, GLM, deepseek, kimi e doubao. Adaptado para LLMs locais, VLM e GGUF, como llama-3.3, Janus-Pro e Linkage graphRAG.

Implementação e extensão de código aberto do PaperBanana do Google Research para figuras acadêmicas, diagramas e visuais de pesquisa automatizados, expandido para novos domínios como a geração de slides.

Conjunto de ferramentas de replay de protocolo de ponta a ponta para assinaturas ChatGPT Plus/Team/Pro, com resolvedor de hCaptcha e pesquisa empírica sobre mecanismos antifraude

TokenSpeed é um motor de inferência de LLM extremamente rápido.

Uma lista de leitura sobre segurança, proteção e privacidade de grandes modelos (incluindo Awesome LLM Security, Safety, etc.).

Uma implementação de código aberto para o fine-tuning da série Qwen-VL da Alibaba Cloud.