attention

🧑‍🏫 Más de 60 implementaciones y tutoriales de artículos de deep learning con notas explicativas lado a lado 📝; incluye transformers (original, xl, switch, feedback, vit, ...), optimizadores (adam, adabelief, sophia, ...), GANs (cyclegan, stylegan2, ...), 🎮 aprendizaje por refuerzo (ppo, dqn), capsnet, destilación, ... 🧠

SGLang es un marco de servicio de alto rendimiento para modelos de lenguaje grande y modelos multimodales.

Tutorial de procesamiento de lenguaje natural para investigadores de aprendizaje profundo

Una reconstrucción teórica de la arquitectura de Claude Mythos, construida desde los principios básicos utilizando la literatura de investigación disponible.

🍀 Implementación en PyTorch de varios mecanismos de atención, MLP, re-parameter y convolución, útil para comprender mejor los artículos de investigación. ⭐⭐⭐

Una implementación en PyTorch del modelo Transformer en "Attention is All You Need".

FlashInfer: Biblioteca de kernels para servir LLM

Tutoriales sobre cómo implementar algunos modelos secuencia a secuencia (seq2seq) con PyTorch y TorchText.

Transformer: Implementación en PyTorch de "Attention Is All You Need"

Scenic: una biblioteca de Jax para investigación en visión por computador y más allá

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention logra una aceleración de 2 a 5 veces en comparación con FlashAttention, sin perder métricas de extremo a extremo en modelos de lenguaje, imagen y video.

Repositorio de PyTorch para YOLOv4, attentive YOLOv4 y mobilenet YOLOv4 con PASCAL VOC y COCO

Una recopilación de los mejores artículos sobre multi-agentes

Implementación en Pytorch de Transfusion, "Predecir el siguiente token y difundir imágenes con un modelo multimodal", de MetaAI

Replicación de proyectos simples de visión artificial que incluyen atención, clasificación, detección, detección de puntos clave, etc.

Construye tu propio motor de inferencia LLM de alto rendimiento en C++ y CUDA: una versión más pequeña de vLLM.

[ICML2025] SpargeAttention: una atención dispersa sin entrenamiento que acelera la inferencia de cualquier modelo.

cuDNN Frontend es el punto de entrada moderno y de código abierto de NVIDIA a la biblioteca cuDNN y a una creciente colección de kernels de alto rendimiento.

Una biblioteca de PyTorch para todo lo relacionado con el aprendizaje por refuerzo (RL) para la optimización combinatoria (CO)

Implementación del patrón de atención dispersa (sparse attention) propuesto por el equipo de Deepseek en su artículo "Native Sparse Attention".

Clasificación de texto multietiqueta, clasificación multietiqueta, clasificación de texto, multi-label, classifier, text classification, BERT, seq2seq, attention, multi-label-classification

[TNSRE 23] EEG Transformer 2.0. i. Transformer convolucional para decodificación de EEG. ii. Visualización novedosa: Topografía de Activación de Clase.

Implementación plug-and-play de Attention de "LongNet: Scaling Transformers to 1,000,000,000 Tokens"

Realice la inferencia de llama3 paso a paso, comprenda los conceptos básicos, domine la derivación del proceso e implemente el código.

Keras beit, caformer, CMT, CoAtNet, convnext, davit, dino, efficientdet, edgenext, efficientformer, efficientnet, eva, fasternet, fastervit, fastvit, flexivit, gcvit, ghostnet, gpvit, hornet, hiera, iformer, inceptionnext, lcnet, levit, maxvit, mobilevit, moganet, nat, nfnets, pvt, swin, tinynet, tinyvit, uniformer, volo, vanillanet, yolor, yolov7, yolov8, yolox, gpt2, llama2, alias kecam

Implementación en Julia de modelos Transformer

Implementación oficial en PyTorch del artículo "SAITS: Self-Attention-based Imputation for Time Series". Un modelo de red neuronal de aprendizaje profundo rápido y de vanguardia (SOTA) para la imputación eficiente de series temporales (imputa series temporales multivariadas incompletas con valores faltantes NaN mediante aprendizaje automático).

Design hardware-friendly model architectures and migrate existing LLMs with minimal performance loss