multi-modality

[NeurIPS'23 Oral] Visual Instruction Tuning (LLaVA) conçu pour atteindre et dépasser les capacités de GPT-4V

Dernières avancées sur les modèles de langage multimodaux (MLLM)

🏄 Embedding, raisonnement et classement évolutifs pour les images et les phrases avec CLIP.

MOSS-TTS-Nano est un modèle de synthèse vocale multilingue miniature open source développé par MOSI.AI et l'équipe OpenMOSS. Avec seulement 0,1 milliard de paramètres, il est conçu pour la génération de parole en temps réel, peut s'exécuter directement sur CPU sans GPU, et maintient une pile de déploiement suffisamment simple pour des démonstrations locales, le service web et l'intégration légère dans des produits.

Otter, un modèle multimodal basé sur OpenFlamingo (version open source du Flamingo de DeepMind), entraîné sur MIMIC-IT, offrant de meilleures capacités de suivi d'instructions et d'apprentissage en contexte.

InternLM-XComposer2.5-OmniLive : un système multimodal complet pour les interactions vidéo et audio en streaming à long terme.

Algorithmes et publications sur le suivi d'objets 3D.

RAG sans analyse syntaxique (parsing-free) pris en charge par les VLM.

Long-RL : Mise à l'échelle du RL pour les séquences longues (NeurIPS 2025)

[CVPR 2025] MINIMA : Mise en correspondance d'images invariante aux modalité

Chatbot Arena rencontre la multimodalité ! Multi-Modality Arena vous permet d'évaluer des modèles vision-langage côte à côte en fournissant des images en entrée. Prend en charge MiniGPT-4, LLaMA-Adapter V2, LLaVA, BLIP-2 et bien d'autres !