multimodal

Implementação plug-and-play de Tree of Thoughts: Resolução deliberada de problemas com Large Language Models que eleva o raciocínio do modelo em pelo menos 70%

Tutoriais e recursos selecionados para Large Language Models, pintura por IA e mais.

Converta facilmente grandes conjuntos de URLs de imagens em um dataset de imagens. Pode baixar, redimensionar e empacotar 100 milhões de URLs em 20 horas em uma única máquina.

Toolkit de avaliação multimodal tudo-em-um para tarefas de texto, imagem, vídeo e áudio.

Fengshenbang-LM é um sistema de modelos de linguagem de grande escala de código aberto liderado pelo Centro de Pesquisa em Computação Cognitiva e Processamento de Linguagem Natural do IDEA, servindo como infraestrutura para AIGC e inteligência cognitiva em chinês.

A família MOSS‑TTS é uma família de modelos de geração de fala e som open source da MOSI.AI e da equipe OpenMOSS. Projetada para alta fidelidade, alta expressividade e cenários complexos do mundo real, cobrindo fala longa estável, diálogo multi-falante, design de voz/personagem, efeitos sonoros ambientais e TTS de streaming em tempo real.

Caixa de ferramentas e benchmark de pré-treinamento da OpenMMLab

O primeiro plugin de visão para o DeepSeek Harness e a ponte visual para qualquer agente de codificação baseado em texto. Cole uma imagem e obtenha evidências JSON estruturadas (OCR, layout, semântica).

SimpleMem: Memória vitalícia eficiente para agentes LLM — Texto e Multimodal.

Mecanismo de recuperação multimodal de código aberto (Morphik Core). Por Morphik — back office de IA para enfermagem especializada e residências para idosos (morphik.ai).

De Chain-of-Thought prompting para OpenAI o1 e DeepSeek-R1 🍓

Código e modelos para o artigo do ICML 2024, NExT-GPT: Any-to-Any Multimodal Large Language Model

MTEB: Avaliação de ponta para embeddings em diversos idiomas e modalidades.

InternGPT (iGPT) é uma plataforma de demonstração de código aberto onde você pode exibir facilmente seus modelos de IA. Agora suporta DragGAN, ChatGPT, ImageBind, chat multimodal como GPT-4, SAM, edição interativa de imagens, etc. Experimente em igpt.opengvlab.com.

Uma estrutura extensível e de última geração para compressão colunar, e o formato de arquivo colunar FOSS mais rápido. Anteriormente na @spiraldb, agora um projeto em estágio de incubação na LFAI&Data, parte da Linux Foundation.

Arquitetura de base para (M)LLMs

Representar, enviar, armazenar e pesquisar dados multimodais.

[NeurIPS 2024] OSWorld: Benchmarking de agentes multimodais para tarefas abertas em ambientes computacionais reais.

🤖 SDK de IA TypeScript com segurança de tipos e agnóstico de provedor para chat em streaming, chamadas de ferramentas, agentes e aplicativos multimodais em OpenAI, Anthropic, Gemini, React, Vue, Svelte e Solid.

InternLM-XComposer2.5-OmniLive: Um sistema multimodal abrangente para interações de vídeo e áudio em streaming de longa duração

A Camada de Contexto para dados não estruturados: datasets tipados e versionados sobre S3, GCS, Azure

Calcule facilmente embeddings CLIP e construa um sistema de recuperação CLIP com eles

Imagens para inferência sem rotulagem (use modelos de fundação para treinar modelos supervisionados).

Simplifique o processo de fine-tuning para modelos multimodais: PaliGemma 2, Florence-2 e Qwen2.5-VL.

[EMNLP-2024] Crie agentes de linguagem multimodal para prototipagem rápida e produção

Recursos abrangentes sobre IA Generativa, incluindo um roteiro detalhado, projetos, casos de uso, preparação para entrevistas e preparação para codificação.

Repositório oficial do OFA (ICML 2022). Artigo: OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework

mPLUG-Owl: A poderosa família de modelos de linguagem multimodal de grande escala.

HuixiangDou: Superando cenários de chat em grupo com assistência técnica baseada em LLM

(ෆ`꒳´ෆ) Um levantamento sobre geração/síntese de texto para imagem.