attention

Plus de 60 implémentations/tutoriels d'articles de deep learning avec des notes côte à côte ; incluant les transformers (original, xl, switch, feedback, vit, ...), les optimiseurs (adam, adabelief, sophia, ...), les GANs (cyclegan, stylegan2, ...), l'apprentissage par renforcement (ppo, dqn), capsnet, distillation, ...

SGLang est un framework de service haute performance pour les grands modèles de langage et les modèles multimodaux.

Tutoriel de traitement du langage naturel (NLP) pour les chercheurs en deep learning.

Une reconstruction théorique de l'architecture Claude Mythos, basée sur les principes fondamentaux issus de la littérature de recherche disponible.

Implémentation PyTorch de divers mécanismes d'attention, MLP, re-parameter et convolution, utile pour approfondir la compréhension des articles de recherche

Une implémentation PyTorch du modèle Transformer issu de "Attention is All You Need".

FlashInfer : bibliothèque de noyaux pour le service de LLM

Tutoriels sur l'implémentation de quelques modèles séquence-à-séquence (seq2seq) avec PyTorch et TorchText.

Transformer : implémentation PyTorch de "Attention Is All You Need"

Scenic : une bibliothèque Jax pour la recherche en vision par ordinateur et au-delà.

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention permet une accélération de 2 à 5x par rapport à FlashAttention, sans perte de métriques de bout en bout pour les modèles de langage, d'image et de vidéo.

Dépôt PyTorch pour YOLOv4, attentive YOLOv4 et mobilenet YOLOv4 avec PASCAL VOC et COCO.

Une compilation des meilleurs articles de recherche sur les systèmes multi-agents.

Implémentation PyTorch de Transfusion, un modèle multimodal capable de prédire le prochain jeton et de diffuser des images, par MetaAI.

Réplication de projets simples de vision par ordinateur incluant l'attention, la classification, la détection, la détection de points clés, etc.

Construisez votre propre moteur d'inférence LLM haute performance en C++ et CUDA - une version allégée de vLLM

[ICML2025] SpargeAttention : Une attention creuse sans entraînement qui accélère l'inférence de tout modèle.

cuDNN Frontend est le point d'entrée moderne et open-source de NVIDIA vers la bibliothèque cuDNN et une collection croissante de noyaux open-source haute performance.

Une bibliothèque PyTorch dédiée à l'apprentissage par renforcement (RL) pour l'optimisation combinatoire (CO)

Implémentation du modèle d'attention creuse proposé par l'équipe Deepseek dans leur article "Native Sparse Attention".

Classification de texte multi-étiquettes, classifieur, BERT, seq2seq, attention, multi-label-classification

[TNSRE 23] EEG Transformer 2.0. i. Transformer convolutionnel pour le décodage EEG. ii. Visualisation innovante - Topographie d'activation de classe.

Implémentation de l'attention « plug and play » tirée de "LongNet: Scaling Transformers to 1,000,000,000 Tokens"

Réalisez l'inférence llama3 étape par étape, saisissez les concepts fondamentaux, maîtrisez la dérivation du processus, implémentez le code.

Keras beit, caformer, CMT, CoAtNet, convnext, davit, dino, efficientdet, edgenext, efficientformer, efficientnet, eva, fasternet, fastervit, fastvit, flexivit, gcvit, ghostnet, gpvit, hornet, hiera, iformer, inceptionnext, lcnet, levit, maxvit, mobilevit, moganet, nat, nfnets, pvt, swin, tinynet, tinyvit, uniformer, volo, vanillanet, yolor, yolov7, yolov8, yolox, gpt2, llama2, alias kecam

Implémentation en Julia de modèles Transformer

Implémentation officielle PyTorch de l'article SAITS : Self-Attention-based Imputation for Time Series. Un modèle de réseau de neurones profond rapide et à l'état de l'art pour l'imputation efficace de séries temporelles.

Design hardware-friendly model architectures and migrate existing LLMs with minimal performance loss