multimodal

SDK para interagir com as APIs da stability.ai (por exemplo, inferência de stable diffusion)

mPLUG-DocOwl: Modelo de linguagem multimodal modularizado para compreensão de documentos

[ECCV2024] Modelos de fundação de vídeo e dados para compreensão multimodal

🎨 NeMo Data Designer: Gere dados sintéticos de alta qualidade do zero ou a partir de dados semente.

GenAI Processors é uma biblioteca Python leve que permite o processamento de conteúdo eficiente e paralelo.

Permita que o Claude (ou qualquer LLM) assista a um vídeo — com reconhecimento de cena, quadros deduplicados e transcrição, a partir de uma URL ou arquivo local. Executado localmente, sob licença MIT.

IA multimodal em tempo real executada no dispositivo, com recursos semelhantes ao GPT-Live.

[ICLR & NeurIPS 2025] Repositório para a série Show-o, um único Transformer para unificar a compreensão e geração multimodal.

Uma implementação de código aberto para o fine-tuning da série Qwen-VL da Alibaba Cloud.

Implementação de "BitNet: Scaling 1-bit Transformers for Large Language Models" em pytorch

Uma coleção de ideias e algoritmos originais e inovadores voltados para o Advanced Literate Machinery. Este projeto é mantido pela equipe de OCR do Language Technology Lab, Tongyi Lab, Alibaba Group.

Síntese de programas gráficos para figuras científicas e esboços com TikZ.

O sistema de autocodificação para seu aplicativo — Alan AI SDK para Android

O sistema de autocodificação para seu aplicativo — Alan AI SDK para Flutter.

O sistema de auto-codificação para seu aplicativo — Alan AI SDK para Ionic

Backend multimodal unificado para aplicações de dados de IA

LLM multimodal rápido para dispositivos móveis

Obtenha dados limpos de documentos complexos, com tecnologia de modelos de visão e linguagem ⚡.

Uma nova arquitetura de Modelo de Linguagem Grande Multimodal (MLLM), projetada para alinhar estruturalmente embeddings visuais e textuais.

Inteligência visual para sua casa.

WeMM-Embedding is a family of universal multimodal embedding models by the WeChat Vision Team at Tencent, supporting multimodal understanding and retrieval.

Resumo de LLMs em japonês - Visão geral de LLMs japoneses

Este repositório é a implementação oficial de Disentangling Writer and Character Styles for Handwriting Generation (CVPR 2023)

Motor de inferência offline para arte, conversas de voz em tempo real, chatbots baseados em LLM e fluxos de trabalho automatizados

Catálogo visual com curadoria de mais de 155 arquiteturas de modelos de linguagem visual (VLM/MLLM): artigos, diagramas, receitas de treinamento, conjuntos de dados e uma linha do tempo de lançamentos para agentes de IA multimodal.

Dê ao Claude a capacidade de assistir e entender vídeos — plugin para Claude Code com extração de quadros e análise de áudio multimodal

IA multimodal de bolso para compreensão e geração de conteúdo em textos multilíngues, imagens e 🔜 vídeo, até 5x mais rápida que o OpenAI CLIP e LLaVA 🖼️ & 🖋️

Xtreme1 é uma plataforma de rotulagem e anotação de dados tudo-em-um para treinamento de dados multimodais, com suporte para nuvens de pontos LiDAR 3D, imagens e LLMs.

Unificando a geração de malhas 3D com modelos de linguagem

Transforme documentos em Markdown pronto para IA com compreensão visual