multimodal

Implémentation prête à l'emploi de Tree of Thoughts : résolution délibérée de problèmes avec des grands modèles de langage, améliorant le raisonnement du modèle d'au moins 70 %

Tutoriels et ressources sélectionnés pour les grands modèles de langage, l'art généré par IA, et plus encore.

Transformez facilement de grands ensembles d'URL d'images en un jeu de données. Capable de télécharger, redimensionner et empaqueter 100 millions d'URL en 20 heures sur une seule machine.

Boîte à outils d'évaluation multimodale tout-en-un pour les tâches textuelles, d'image, vidéo et audio.

Fengshenbang-LM est un écosystème de modèles open source dirigé par le centre de recherche en informatique cognitive et en langage naturel de l'IDEA, servant d'infrastructure pour l'AIGC et l'intelligence cognitive en chinois.

La famille MOSS‑TTS est une gamme de modèles open source de génération de parole et de son développée par MOSI.AI et l'équipe OpenMOSS. Conçue pour une haute fidélité et une grande expressivité dans des scénarios réels complexes, elle couvre la synthèse vocale longue durée stable, le dialogue multi-locuteur, la conception de voix et de personnages, les effets sonores environnementaux et le TTS en streaming temps réel.

Boîte à outils et benchmark de pré-entraînement OpenMMLab.

Le premier plugin de vision pour DeepSeek Harness, et le pont visuel pour tout agent de codage textuel. Collez une image et obtenez des preuves JSON structurées (OCR, mise en page, sémantique).

SimpleMem : mémoire à long terme efficace pour les agents LLM, supportant le texte et le multimodal.

Moteur de recherche multimodal open source (Morphik Core). Par Morphik — Back-office IA pour les soins infirmiers et les résidences seniors (morphik.ai).

Du Chain-of-Thought prompting à OpenAI o1 et DeepSeek-R1 🍓

Code et modèles pour l'article ICML 2024, NExT-GPT : un modèle de langage multimodal Any-to-Any.

MTEB : Évaluation de pointe des embeddings à travers les langues et les modalités

InternGPT (iGPT) est une plateforme de démonstration open source pour présenter facilement vos modèles d'IA. Prend désormais en charge DragGAN, ChatGPT, ImageBind, le chat multimodal type GPT-4, SAM, l'édition d'image interactive, etc. Essayez-le sur igpt.opengvlab.com

Framework extensible et de pointe pour la compression en colonnes, et format de fichier en colonnes FOSS le plus rapide. Anciennement chez @spiraldb, désormais projet en incubation au sein de LFAI&Data, partie de la Linux Foundation.

Architecture fondamentale pour (M)LLM.

Représenter, envoyer, stocker et rechercher des données multimodales

[NeurIPS 2024] OSWorld : évaluation comparative d'agents multimodaux pour des tâches ouvertes dans des environnements informatiques réels.

SDK IA TypeScript typé et agnostique, conçu pour le chat en streaming, l'appel d'outils, les agents et les applications multimodales sur OpenAI, Anthropic, Gemini, React, Vue, Svelte et Solid.

InternLM-XComposer2.5-OmniLive : un système multimodal complet pour les interactions vidéo et audio en streaming à long terme.

Couche de contexte pour données non structurées : jeux de données typés et versionnés sur S3, GCS et Azure.

Calculez facilement des embeddings CLIP et construisez un système de recherche basé sur ces derniers.

Inférence d'images sans étiquetage (utilisation de modèles de fondation pour entraîner des modèles supervisés).

Simplifier le processus de fine-tuning pour les modèles multimodaux : PaliGemma 2, Florence-2 et Qwen2.5-VL

[EMNLP-2024] Création d'agents linguistiques multimodaux pour le prototypage rapide et la production

Ressources complètes sur l'IA générative, incluant une feuille de route détaillée, des projets, des cas d'utilisation, la préparation aux entretiens et la préparation au codage.

Dépôt officiel d'OFA (ICML 2022). Article : OFA : Unifier les architectures, les tâches et les modalités via un framework d'apprentissage séquence-à-séquence simple.

mPLUG-Owl : La puissante famille de modèles de langage multimodaux.

HuixiangDou : assistance technique basée sur LLM pour les scénarios de discussion de groupe.

Une étude sur la génération et la synthèse de texte vers image.