vlm

Le blueprint NVIDIA AI pour la recherche et le résumé vidéo (VSS) est une architecture de référence accélérée par GPU pour créer des agents d'analyse vidéo avec des alertes vérifiées en temps réel, des questions-réponses visuelles et des rapports automatisés. Le blueprint VSS utilise des modèles de langage visuel (VLM) tels que NVIDIA Cosmos, des LLM tels que NVIDIA Nemotron, le RAG et NVIDIA NIMs.

🚀🚀🚀 Une collection de projets publics exceptionnels de la série de détection d'objets YOLO et des jeux de données de détection d'objets associés.

Méthode déclarative pour exécuter des modèles d'IA sur appareil dans React Native, propulsée par ExecuTorch.

OpenGUI est un framework d'agent GUI Android pour l'IA mobile, capable de voir, planifier et manipuler des applications réelles via l'interface graphique.

Boîte à outils de compression de modèles conçue pour une meilleure utilisabilité, exhaustivité et efficacité.

Awesome-Jailbreak-on-LLMs est une collection de méthodes de jailbreak innovantes et de pointe pour les LLM. Elle contient des articles, des codes, des jeux de données, des évaluations et des analyses.

Surveillance par caméra avec VLM

Optimisation de la conception d'aéronefs accélérée par des transformations de graphes de calcul (ex. différenciation automatique). Outils d'analyse composables pour l'aérodynamique, la propulsion, les structures, la conception de trajectoires, et bien plus encore.

Catalogue visuel organisé de plus de 155 architectures de modèles vision-langage (VLM/MLLM) : articles, diagrammes, recettes d'entraînement, jeux de données et chronologie des versions pour les agents IA multimodaux.

JoyCaption est un modèle de langage visuel (VLM) de description d'images, conçu dès le départ comme un modèle libre, ouvert et non censuré pour aider la communauté à entraîner des modèles de diffusion.

Un agent GUI open-source basé sur un VLM de bout en bout

Plateforme ouverte d'InternRobotics pour la création de modèles de fondation de navigation généralisée.

Une famille de modèles multimodaux légers.

MindSpore + Huggingface : exécutez n'importe quel modèle Transformers/Diffusers sur MindSpore avec une compatibilité et une accélération transparentes.

Bibliothèque d'entraînement distribué native PyTorch pour LLM/VLM avec prise en charge immédiate de Hugging Face.

Assistant GPT tout-terrain pour Android avec mode agent, activable via les touches de volume pour une interaction vocale, prenant en charge la navigation web, la prise de photos, les modèles, l'analyse de documents et le mode agent.

UniWorld : encodeurs sémantiques haute résolution pour la compréhension et la génération visuelles unifiées

Série NEO : Modèles vision-langage natifs conçus à partir des principes fondamentaux

Modèle open-source SOTA pour l'édition multi-images

Base de code unifiée pour les modèles de monde avancés.

Une liste organisée d'articles sur la vision 3D liés au domaine de la robotique à l'ère des grands modèles (LLM/VLM), inspirée par awesome-computer-vision, incluant des articles, des codes et des sites web associés.

Dépôt officiel de l'article de synthèse "LLM × DATA".

Collection de projets publics remarquables sur les LLM, VLM, VLA, AIGC, ainsi que les jeux de données et applications associés.

MobileGym : une plateforme de simulation vérifiable et hautement parallèle pour la recherche sur les agents d'interface graphique mobile, simulateur Android hébergé dans le navigateur, évaluation vérifiable, entraînement RL en ligne évolutif.

[CVPR 2026🔥] 🧑‍🎨 OmniLottie, un générateur d'animations vectorielles open-source multimodal piloté par instructions, produisant des fichiers JSON Lottie.

Dingo : Un outil complet d'évaluation de la qualité des données, des modèles et des applications IA.

[CVPR 2024 🔥] GeoChat, le premier Large Vision Language Model ancré pour la télédétection

[ECCV 2026] SparkVSR : Super-résolution vidéo interactive par propagation de trames clés éparses

Ce dépôt contient le code de "VLM2Vec / MMEB" [ICLR 2025], "VLM2Vec-V2 / MMEB-V2" [TMLR 2026], et "MMEB-V3" [COLM 2026]

Moteur d'IA edge en C++ de qualité production pour l'analyse vidéo et les VLM sur appareil à travers Sophon, Rockchip RKNN et x86, avec orchestration visuelle, OSD en temps réel, événements et benchmarks reproductibles.