transformer

PaddleSlim est une bibliothèque open source pour la compression de modèles profonds et la recherche d'architecture.

Safe RLHF : Alignement de valeur contraint via l'apprentissage par renforcement sécurisé à partir de la rétroaction humaine

Une base de code unifiée pour l'apprentissage semi-supervisé (NeurIPS'22).

Petit modèle, grande logique : l'optimisation axée sur la diversité permet d'obtenir des capacités de raisonnement de grand modèle avec VibeThinker-1.5B

Un runtime rapide et convivial pour l'inférence de transformers (Bert, Albert, GPT2, Decoders, etc.) sur CPU et GPU.

[ICLR'23 Spotlight & ECCV'24 & IJCV'24] MapTR : Modélisation et apprentissage structurés pour la construction de cartes HD vectorisées en ligne

Retinexformer : Transformer basé sur Retinex en une étape pour l'amélioration d'images en basse lumière (ICCV 2023 Top-10 cité, finaliste NTIRE 2024, lauréat NTIRE 2025 et 2026)

Une liste d'articles sur les travaux récents en vision par ordinateur basés sur les Transformers.

Un ensemble de notebooks et d'autres fichiers pour apprendre l'IA à partir de zéro.

Ce dépôt est l'implémentation officielle de Disentangling Writer and Character Styles for Handwriting Generation (CVPR 2023).

SDK OCR hors ligne gratuit pour la détection et la reconnaissance de texte chinois.

[TPAMI'23] Unification de l'estimation de flux, de stéréo et de profondeur.

Parallax est un framework de service de modèles distribués qui vous permet de construire votre propre cluster d'IA n'importe où

PoolFormer : MetaFormer est réellement ce dont vous avez besoin pour la vision (CVPR 2022 Oral).

Recherche sur l'architecture DeepSeek Engram basée sur Qwen-3 et la série Stable Diffusion.

Implémentation de Attention is all you need

Transformers4Rec est une bibliothèque flexible et efficace pour la recommandation séquentielle et basée sur les sessions, compatible avec PyTorch.

Cours systématique sur la construction de grands modèles de langage (LLM) couvrant l'ingénierie des données de pré-entraînement, Tokenizer, Transformer, MoE, programmation GPU (CUDA/Triton), entraînement distribué, lois d'échelle, optimisation de l'inférence et alignement (SFT/RLHF/GRPO), avec 6 exercices progressifs axés sur le code.

Package Python pour la modélisation thématique contextualisée. Les CTM combinent des embeddings contextualisés (ex: BERT) avec des modèles thématiques pour obtenir des sujets cohérents. Publié à l'EACL et ACL 2021 (Bianchi et al.).

IA multimodale de poche pour la compréhension et la génération de contenu textuel, image et bientôt vidéo, jusqu'à 5 fois plus rapide qu'OpenAI CLIP et LLaVA

Rassembler les projets open source d'intelligence artificielle (IA) exceptionnels du monde entier.

Framework sequence-to-sequence axé sur la traduction automatique neuronale basé sur PyTorch.

💁 Une collection impressionnante de modèles Transformers pour le traitement du langage naturel, incluant des articles, vidéos, blogs, dépôts officiels et notebooks Colab. 🛫☑️

Une bibliothèque de Deep Learning pour la classification de tâches EEG (signaux), basée sur TensorFlow.

[NeurIPS 2020] Code officiel de l'article "DeepSVG: A Hierarchical Generative Network for Vector Graphics Animation". Inclut une bibliothèque PyTorch pour l'apprentissage profond avec des données SVG.

Une liste organisée de ressources en NLP axée sur les réseaux Transformer, les mécanismes d'attention, GPT, BERT, ChatGPT, les LLM et l'apprentissage par transfert.

OpenSTL : un benchmark complet de l'apprentissage prédictif spatio-temporel

Génération de questions neuronales utilisant des transformers

[Non officiel] Implémentation PyTorch de "Conformer: Convolution-augmented Transformer for Speech Recognition" (INTERSPEECH 2020).

SwissArmyTransformer est une bibliothèque flexible et puissante pour développer vos propres variantes de Transformer.