multimodal

✨✨Derniers articles et références sur le raisonnement avec les modèles de base

MOSS-Audio est un modèle de fondation open source pour la compréhension audio unifiée, permettant la gestion de la parole, du son, de la musique, du sous-titrage, des questions-réponses et du raisonnement dans des scénarios réels.

Implémentation officielle de SEED-LLaMA (ICLR 2024).

Page de projet pour "Seg-Zero: Reasoning-Chain Guided Segmentation via Cognitive Reinforcement"

👁️ + 💬 + 🎧 = 🤖 Liste sélectionnée des principaux modèles de fondation et multimodaux ! [Article + Code + Exemples + Tutoriels]

Implémentation officielle de "Blended Latent Diffusion" [SIGGRAPH 2023]

Second Brain est un framework agentique agissant comme un système d'exploitation, utilisant l'intelligence des fichiers locaux, l'automatisation des flux de travail et les LLM pour accomplir des tâches et communiquer sur plusieurs modalités et plateformes de messagerie.

Ce dépôt fournit des programmes pour créer du code de génération augmentée par récupération (RAG) pour l'IA générative avec LlamaIndex, Deep Lake et Pinecone, exploitant la puissance des modèles OpenAI et Hugging Face pour la génération et l'évaluation.

Explorez le « moment Eurêka » multimodal sur le modèle 2B

Hunyuan3D-Omni : un framework unifié pour la génération contrôlable d'actifs 3D

An open-weight 11B model series for long-form and real-time video understanding

[ECCV 2024] Tokenize Anything via Prompting

Ce dépôt contient le code d'évaluation pour l'article "MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI"

Un moteur d'apprentissage par renforcement asynchrone pour le post-entraînement omnimodal à grande échelle

Implémentation officielle de "Blended Diffusion for Text-driven Editing of Natural Images" [CVPR 2022]

[ECCV2024] Grand modèle de langage multimodal ancré avec tokenisation visuelle localisée

Créez des automatisations de navigateur comme si vous enseigniez à un humain en utilisant GPT-4 Vision.

RAI est un framework d'agents indépendant des fournisseurs pour la robotique en IA physique, utilisant les outils ROS 2 pour exécuter des actions complexes, des scénarios définis, une interface libre, des résumés de journaux, des interactions vocales et plus encore.

Routage multimodal, géocodage et tuiles de carte

LLaVA-Mini est un grand modèle multimodal (LMM) unifié capable de prendre en charge la compréhension d'images, d'images haute résolution et de vidéos de manière efficace.

Le système d'autocodage pour votre application — Alan AI SDK pour React Native

Un agent IA multimodal MCP doté d'yeux et d'oreilles !

Plateforme pour l'intelligence située

Inférence CLIP en C/C++ pur sans dépendances supplémentaires

Flame est un système d'IA multimodal open-source conçu pour traduire des maquettes de design d'UI en code React de haute qualité. Il exploite la modélisation vision-langage, la synthèse automatisée de données et des flux de travail d'entraînement structurés pour combler le fossé entre le design et le développement front-end.

Un hub pour divers schémas spécifiques à l'industrie à utiliser avec les VLM.

Awesome Multimodal Modeling [Couvre MLLM, UMM et NMM]

Code officiel de "EVF-SAM : Early Vision-Language Fusion for Text-Prompted Segment Anything Model".