multimodal

Boîte à outils et compétences visuelles conçues pour les LLM textuels : questions-réponses sur images, OCR de captures d'écran, restauration d'interface UI, automatisation GUI, avec intégration transparente optionnelle pour divers agents.

Le système d'auto-codage pour votre application — SDK Alan AI pour Cordova

SGLang-Omni permet un service haute performance pour les modèles TTS, ASR, vocaux et omnimodaux.

MOVA : Vers une génération vidéo-audio évolutive et synchronisée

Base de code pour Aria, un modèle MoE multimodal natif open source

Vision pour les agents DeepSeek Harness : chaîne de vision gratuite intégrée (sans clé) et outils de vision au niveau du pixel (Q&A, ancrage, recadrage, différence de pixels, couleurs, OCR, tracé SVG, détourage, captures d'écran). Installation en une commande, sans Python, les images fonctionnent comme des appels d'outils classiques.

Le premier modèle médical multimodal chinois capable d'interpréter des radiographies thoraciques.

[ICLR'24 spotlight] Série de grands modèles multimodaux chinois et anglais (Chat et Paint) basés sur le modèle CPM.

Un modèle de représentation général pour les modalités vision, audio et langage. Article : ONE-PEACE: Exploring One General Representation Model Toward Unlimited Modalities

[ECCV 2024 Best Paper Candidate & TPAMI 2025] PointLLM : Permettre aux grands modèles de langage de comprendre les nuages de points

Implémentation officielle pour CLIP4Clip : une étude empirique de CLIP pour la recherche de clips vidéo de bout en bout.

Raisonnement multimodal par chaîne de pensée : une étude complète

TongFlow — Studio d'IA générative multimodale

Ressources, exemples et tutoriels pour l'IA multimodale, le RAG et les agents utilisant la recherche vectorielle et les LLM

Framework d'entraînement RL multimodal pour modèles de diffusion et omni

RAG Time : Un parcours d'apprentissage de 5 semaines pour maîtriser le RAG

À propos : cette collection rassemble les articles les plus passionnants et influents de la CVPR 2025. 🔥 [Article + Code + Démo]

Série NEO : Modèles vision-langage natifs conçus à partir des principes fondamentaux

Code pour "AnyGPT : LLM multimodal unifié avec modélisation de séquence discrète"

Solveur de captcha auto-hébergeable compatible avec YesCaptcha, construit avec FastAPI, Playwright et des modèles multimodaux compatibles OpenAI.

Un moteur d'entraînement simple et unifié pour modèles multimodaux. Léger, flexible et conçu pour le hacking à grande échelle.

[TMLR 2025🔥] Étude sur les modèles autorégressifs en vision.

Bibliothèque dédiée à la recherche en NLP et en vision par ordinateur sur les articles scientifiques.

Entraîner des modèles par apprentissage contrastif avec PyTorch.

Surveillance locale + vision IA — Framework de surveillance IA basé sur LAN et alimenté par smartphone, avec sortie d'événements structurés pour l'acquisition et l'analyse de données.

Liste d'articles sur les modèles multimodaux et les grands modèles de langage, utilisée uniquement pour enregistrer mes lectures quotidiennes sur arxiv.

[ECCV 2024] InstructIR : Restauration d'images de haute qualité suivant des instructions humaines https://huggingface.co/spaces/marcosv/InstructIR

Paddle Multimodal Integration and eXploration, prenant en charge les tâches multimodales courantes, incluant des modèles de pré-entraînement multimodaux à grande échelle et une boîte à outils de modèles de diffusion, alliant haute performance et flexibilité.

Boîte à outils pour la recommandation MultiModal. Intégration de 10+ modèles...

Ce dépôt contient le code de "VLM2Vec / MMEB" [ICLR 2025], "VLM2Vec-V2 / MMEB-V2" [TMLR 2026], et "MMEB-V3" [COLM 2026]