multi-modal

Construisez et exécutez des agents que vous pouvez voir, comprendre et en lesquels vous pouvez avoir confiance.

Un MLLM de poche pour une compréhension ultra-efficace des images et vidéos sur votre téléphone

Framework open-source pour agents IA vocaux conversationnels

[CVPR 2024 Oral] Famille InternVL : Une alternative open source pionnière à GPT-4o

ModelScope : donner vie au concept de Model-as-a-Service.

Suite IA propulsée par des modèles de pointe offrant des fonctions IA/AGI avancées. Inclut des personas IA, des fonctions AGI, des chats multi-modèles Beam, la conversion texte-image, la synthèse vocale, le streaming de réponses, la coloration et l'exécution de code, l'importation PDF, des préréglages pour développeurs, et bien plus encore. Déploiement sur site ou dans le cloud.

Traitement de données pour et avec des modèles de fondation !

Un modèle de langage visuel ouvert à la pointe de la technologie.

Moteur de routage open source pour OpenStreetMap.

Version chinoise de CLIP permettant la recherche intermodale et la génération de représentations en chinois

Implémentation / réplication de DALL-E, le transformeur texte-vers-image d'OpenAI, en PyTorch.

Recherche et découverte pour le commerce électronique - marqo.ai

[EMNLP 2022] Une boîte à outils ouverte pour l'extraction et la construction de graphes de connaissances

Boîte à outils d'évaluation open-source pour grands modèles multimodaux (LMM), prenant en charge plus de 220 LMM et 80 benchmarks

OmniGen : Génération d'images unifiée. https://arxiv.org/pdf/2409.11340

Modèle de langage conversationnel multimodal en chinois et en anglais.

Une bibliothèque C#/.NET pour exécuter efficacement des LLM (🦙LLaMA/LLaVA) sur votre appareil local.

[EMNLP 2024🔥] Video-LLaVA : Apprentissage d'une représentation visuelle unifiée par alignement avant projection

Écosystème d'assistant IA open-source avec intégrations MCP, workflows multimodaux, support IoT et interaction vocale multiplateforme.

Représenter, envoyer, stocker et rechercher des données multimodales

Page de projet pour LISA : Segmentation par raisonnement via un grand modèle de langage

Modèle multimodal open source au niveau de GPT4V basé sur Llama3-8B.

TMM 2025 : Mélange d'experts (Mixture-of-Experts) pour les grands modèles vision-langage.

Collection d'articles classiques et de pointe de l'industrie dans les domaines de la recommandation, de la publicité et de la recherche.

[NeurIPS 2023] MotionGPT : le mouvement humain comme langue étrangère, un modèle unifié de génération mouvement-langage utilisant des LLM.

Une interface GPT tout-en-un robuste pour Discord. Conversations de style ChatGPT, génération d'images, modération par IA, index/bases de connaissances personnalisés, résumé YouTube, et plus encore !

Famille SALMONN : une suite de LLM multimodaux avancés.

[pip install medmnist] 18 jeux de données standardisés pour la classification d'images biomédicales 2D et 3D.

Implémentation PyTorch de Transfusion, un modèle multimodal capable de prédire le prochain jeton et de diffuser des images, par MetaAI.

Ce dépôt rassemble des articles pour « Une étude sur la distillation de connaissances des grands modèles de langage ». Nous décomposons la distillation en extraction de connaissances et algorithmes de distillation, et explorons la distillation de compétences et verticale des LLM.