multi-modal

Construa e execute agentes que você pode ver, entender e confiar.

Um MLLM de bolso para compreensão ultraeficiente de imagens e vídeos no seu celular

Framework de código aberto para agentes de IA de voz conversacional

[CVPR 2024 Oral] Família InternVL: Uma alternativa pioneira de código aberto ao GPT-4o.

ModelScope: dando vida ao conceito de Model-as-a-Service.

Suíte de IA alimentada por modelos de última geração, oferecendo funções avançadas de IA/AGI. Inclui personas de IA, funções de AGI, chats multimodelo Beam de classe mundial, conversão de texto em imagem, voz, streaming de resposta, destaque e execução de código, importação de PDF, predefinições para desenvolvedores e muito mais. Implante localmente ou na nuvem.

Processamento de dados para e com modelos de fundação! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

Um modelo de linguagem visual aberto de última geração.

Motor de roteamento de código aberto para OpenStreetMap

Versão chinesa do CLIP que alcança recuperação transmodal e geração de representação em chinês.

Implementação/replicação do DALL-E, o Transformer de texto para imagem da OpenAI, em PyTorch

Busca e descoberta para e-commerce - marqo.ai.

[EMNLP 2022] Um kit de ferramentas aberto para extração e construção de grafos de conhecimento

Kit de ferramentas de avaliação de código aberto para grandes modelos multimodais (LMMs), com suporte a mais de 220 LMMs e mais de 80 benchmarks.

OmniGen: Geração de imagem unificada. https://arxiv.org/pdf/2409.11340

Modelo de linguagem conversacional multimodal em chinês e inglês.

Uma biblioteca C#/.NET para executar LLM (🦙LLaMA/LLaVA) no seu dispositivo local com eficiência.

【EMNLP 2024🔥】Video-LLaVA: Aprendendo Representação Visual Unificada por Alinhamento Antes da Projeção

Ecossistema de assistente de IA de código aberto com integrações MCP, fluxos de trabalho multimodais, suporte a IoT e interação por voz multiplataforma.

Representar, enviar, armazenar e pesquisar dados multimodais.

Página do projeto para "LISA: Reasoning Segmentation via Large Language Model".

Modelo multimodal de código aberto com nível GPT4V baseado no Llama3-8B

【TMM 2025🔥】 Mixture-of-Experts para Grandes Modelos de Visão-Linguagem

Uma coleção de artigos clássicos e de ponta da indústria nas áreas de recomendação, publicidade e busca.

[NeurIPS 2023] MotionGPT: Movimento humano como uma língua estrangeira, um modelo unificado de geração de movimento e linguagem usando LLMs

Uma interface GPT robusta e completa para Discord. Conversas estilo ChatGPT, geração de imagens, moderação por IA, índices/base de conhecimento personalizados, resumidor de YouTube e muito mais!

Família SALMONN: Um conjunto de LLMs multimodais avançados

[pip install medmnist] 18 conjuntos de dados padronizados para classificação de imagens biomédicas 2D e 3D.

Implementação em Pytorch de Transfusion, "Predict the Next Token and Diffuse Images with One Multi-Modal Model", da MetaAI

Este repositório reúne artigos para um levantamento sobre destilação de conhecimento em Large Language Models. Dividimos a destilação de conhecimento em algoritmos de elicitação e destilação, e exploramos a destilação de habilidades e vertical de LLMs.