vision-transformer

Boîte à outils et benchmark de détection OpenMMLab

pix2tex : Utilisation d'un ViT pour convertir des images d'équations en code LaTeX.

Ce dépôt contient des démonstrations réalisées avec la bibliothèque Transformers de HuggingFace.

[Prix du meilleur article NeurIPS 2024][GPT surpasse la diffusion🔥] [lois d'échelle en génération visuelle📈] Implémentation officielle de "Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction". Une base de code ultra-simple, intuitive et à la pointe de la technologie pour la génération d'images autorégressive.

Ingérez, analysez et optimisez tout format de données, des documents au multimédia, pour une meilleure compatibilité avec les frameworks GenAI.

SwinIR : Restauration d'images utilisant Swin Transformer (dépôt officiel).

MLX-VLM est un package pour l'inférence et le réglage fin de modèles de vision par langage (VLM) sur Mac via MLX.

Une liste exhaustive d'articles sur les Vision Transformers et l'attention, incluant articles, codes et sites web associés.

Backbones IA efficaces incluant GhostNet, TNT et MLP, développés par le laboratoire Noah's Ark de Huawei.

Boîte à outils et benchmark de pré-entraînement OpenMMLab.

Le premier plugin de vision pour DeepSeek Harness, et le pont visuel pour tout agent de codage textuel. Collez une image et obtenez des preuves JSON structurées (OCR, mise en page, sémantique).

Scenic : une bibliothèque Jax pour la recherche en vision par ordinateur et au-delà.

Towhee est un framework dédié à la simplification et à l'accélération des pipelines de traitement de données neuronales.

Modèles de vision fondamentaux efficaces pour la génération et la perception haute résolution.

InternLM-XComposer2.5-OmniLive : un système multimodal complet pour les interactions vidéo et audio en streaming à long terme.

Série EVA : Visual Representation Fantasies par BAAI

[ECCV2024] Modèles de fondation vidéo et données pour la compréhension multimodale.

[CVPR 2025] Implémentation PyTorch officielle de MambaVision : une architecture de vision hybride Mamba-Transformer.

Le dépôt officiel pour [NeurIPS'22] "ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation" et [TPAMI'23] "ViTPose++: Vision Transformer for Generic Body Pose Estimation"

[CVPR 2021] Implémentation PyTorch officielle pour l'interprétabilité des Transformers au-delà de la visualisation de l'attention, une nouvelle méthode pour visualiser les classifications par les réseaux basés sur les Transformers.

Une boîte à outils tout-en-un pour la vision par ordinateur

Une collection de nos travaux sur le NAS et les Vision Transformers.

Entraînement tout-en-un pour les modèles de vision (YOLO, ViTs, RT-DETR, DINOv3) : pré-entraînement, réglage fin et distillation.

[ICLR 2023 Spotlight] Vision Transformer Adapter pour les prédictions denses.

Une liste organisée de modèles de fondation pour les tâches de vision et de langage.

UNetFormer : un transformer de type UNet pour la segmentation sémantique efficace d'imagerie urbaine par télédétection (ISPRS). Inclut également d'autres vision transformers et CNN pour la segmentation d'images satellites, aériennes et de drones.

Un modèle de représentation général pour les modalités vision, audio et langage. Article : ONE-PEACE: Exploring One General Representation Model Toward Unlimited Modalities

[ICML2025] SpargeAttention : Une attention creuse sans entraînement qui accélère l'inférence de tout modèle.

Une liste d'articles sur des travaux récents en vision par ordinateur (CV)

Modèles de segmentation sémantique SOTA en PyTorch