attention-mechanism

Implementa un LLM similar a ChatGPT en PyTorch desde cero, paso a paso

Implementación de Vision Transformer, una forma sencilla de lograr SOTA en clasificación de imágenes con un solo codificador transformer, en PyTorch.

Versión 2 y edición general del libro teórico "Redes Neuronales y Aprendizaje Profundo" de Qiu Xipeng (Libro Dandelion)

RWKV (pronunciado RwaKuv) es una RNN con un gran rendimiento en LLM, que también se puede entrenar directamente como un transformador GPT (paralelizable). Estamos en RWKV-7 "Goose". Combina lo mejor de RNN y transformer: gran rendimiento, tiempo lineal, espacio constante (sin caché kv), entrenamiento rápido, ctx_len infinito y embedding de oraciones gratuito.

Un transformer de atención completa conciso pero completo con un conjunto de característicasexperimentales prometedoras de varios artículos

Implementación / replicación de DALL-E, el Transformer de texto a imagen de OpenAI, en PyTorch

Una lista de artículos sumamente completa sobre Vision Transformer/Attention, que incluye artículos, códigos y sitios web relacionados

RuVector es una base de datos de memoria Vector GNN, IA de autoaprendizaje en tiempo real y de alto rendimiento, construida en Rust.

Construye un LLM moderno desde cero. Cada línea comentada. Explicado como si tuviéramos cinco años.

Reconocimiento automático del habla multilingüe con marcas de tiempo a nivel de palabra y puntuación de confianza

Capa de atención de Keras (puntuaciones de Luong y Bahdanau).

Implementación en PyTorch de SoundStorm, la generación de audio en paralelo eficiente de Google DeepMind.

Aprende los fundamentos de los LLM paso a paso, desde la tokenización hasta la atención y la optimización de la inferencia.

Implementación de Perceiver, General Perception with Iterative Attention, en Pytorch

Framework de secuencia a secuencia enfocado en traducción automática neuronal basado en PyTorch

Una librería de Deep Learning para la clasificación de tareas (señales) de EEG, basada en TensorFlow.

Lista curada de recursos de PNL centrada en redes Transformer, mecanismos de atención, GPT, BERT, ChatGPT, LLMs y aprendizaje por transferencia

OpenSTL: Un benchmark integral de aprendizaje predictivo espacio-temporal

Implementación de TabTransformer, una red de atención para datos tabulares, en Pytorch

Transformer basado en una variante de atención con complejidad lineal respecto a la longitud de la secuencia.

[ECCV 2020] Aprendizaje de características enriquecidas para la restauración y mejora de imágenes reales. Resultados SOTA para eliminación de ruido, superresolución y mejora de imágenes.

Basado en el proyecto yolo-high-level (detección/pose/clasificación/segmentación): incluye el núcleo de yolov5/yolov7/yolov8, investigación de mejoras, SwintransformV2 y series de atención. Técnicas de entrenamiento, personalización empresarial y despliegue de ingeniería en C

MORAN: Una red de atención rectificada de múltiples objetos para el reconocimiento de texto en escenas.

Realice la inferencia de llama3 paso a paso, comprenda los conceptos básicos, domine la derivación del proceso e implemente el código.

[IGARSS'22]: Una red siamesa basada en Transformer para la detección de cambios

FlashAttention (puerto para Metal)

[CVPR 2021, Oral] PREDATOR: Registro de nubes de puntos 3D con bajo solapamiento.

Construye modelos de IA de alto rendimiento con bloques de construcción modulares.

[ICLR2025 Spotlight] Implementación oficial de TokenFormer: replanteando el escalado de Transformers con parámetros de modelo tokenizados.

Democratización de RT-2 "RT-2: Nuevo modelo que traduce visión y lenguaje en acciones".