attention-mechanism

Implémentez un LLM similaire à ChatGPT en PyTorch, de zéro, étape par étape

Implémentation de Vision Transformer en PyTorch, une méthode simple pour atteindre l'état de l'art en classification d'images avec un seul encodeur transformer.

Livre théorique « Réseaux de neurones et apprentissage profond » (livre pissenlit) de Qiu Xipeng, version v2 et édition de vulgarisation.

RWKV (prononcé RwaKuv) est un RNN offrant d'excellentes performances LLM, pouvant être entraîné directement comme un transformeur GPT (parallélisable). Nous en sommes à RWKV-7 "Goose". Il combine le meilleur du RNN et du transformeur : excellentes performances, temps linéaire, espace constant (pas de kv-cache), entraînement rapide, longueur de contexte infinie et plongements de phrases gratuits.

Un transformer full-attention concis mais complet, intégrant des fonctionnalités expérimentales prometteuses issues de divers articles de recherche.

Implémentation / réplication de DALL-E, le transformeur texte-vers-image d'OpenAI, en PyTorch.

Une liste exhaustive d'articles sur les Vision Transformers et l'attention, incluant articles, codes et sites web associés.

RuVector est une base de données vectorielle GNN haute performance, temps réel et auto-apprenante, développée en Rust.

Construisez un LLM moderne à partir de zéro. Chaque ligne est commentée. Expliqué simplement.

Reconnaissance vocale automatique multilingue avec horodatages au niveau du mot et indices de confiance

Couche d'attention Keras (scores de Luong et Bahdanau).

Implémentation en Pytorch de SoundStorm, le modèle de génération audio parallèle efficace de Google Deepmind.

Apprenez le fonctionnement interne des LLM étape par étape, de la tokenisation à l'attention, jusqu'à l'optimisation de l'inférence.

Implémentation de Perceiver, perception générale avec attention itérative, en Pytorch

Framework sequence-to-sequence axé sur la traduction automatique neuronale basé sur PyTorch.

Une bibliothèque de Deep Learning pour la classification de tâches EEG (signaux), basée sur TensorFlow.

Une liste organisée de ressources en NLP axée sur les réseaux Transformer, les mécanismes d'attention, GPT, BERT, ChatGPT, les LLM et l'apprentissage par transfert.

OpenSTL : un benchmark complet de l'apprentissage prédictif spatio-temporel

Implémentation de TabTransformer, un réseau d'attention pour les données tabulaires, en Pytorch

Transformer basé sur une variante d'attention à complexité linéaire par rapport à la longueur de la séquence

[ECCV 2020] Apprentissage de caractéristiques enrichies pour la restauration et l'amélioration d'images réelles. Résultats SOTA pour le débruitage, la super-résolution et l'amélioration d'images.

Basé sur le projet yolo-high-level (détection/pose/classification/segmentation) : inclut les noyaux yolov5/yolov7/yolov8, la recherche d'améliorations, SwinTransformerV2 et la série Attention. Compétences d'entraînement, personnalisation métier, déploiement d'ingénierie C

MORAN : Un réseau d'attention rectifié multi-objets pour la reconnaissance de texte de scène

Réalisez l'inférence llama3 étape par étape, saisissez les concepts fondamentaux, maîtrisez la dérivation du processus, implémentez le code.

[IGARSS'22] : Un réseau siamois basé sur Transformer pour la détection de changements.

FlashAttention (Portage Metal)

[CVPR 2021, Oral] PREDATOR : enregistrement de nuages de points 3D à faible recouvrement.

Création de modèles d'IA haute performance grâce à des composants modulaires

[Sélection ICLR2025🔥] Implémentation officielle de TokenFormer : repenser la mise à l'échelle des Transformers avec des paramètres de modèle tokenisés

Démocratisation de RT-2 "RT-2 : Un nouveau modèle traduit la vision et le langage en actions"