attention

🧑‍🏫 Mais de 60 implementações/tutoriais de artigos de deep learning com anotações lado a lado 📝; incluindo transformers (original, xl, switch, feedback, vit, ...), otimizadores (adam, adabelief, sophia, ...), GANs (cyclegan, stylegan2, ...), 🎮 aprendizado por reforço (ppo, dqn), capsnet, destilação, ... 🧠

SGLang é um framework de atendimento de alto desempenho para grandes modelos de linguagem e modelos multimodais.

Tutorial de Processamento de Linguagem Natural para pesquisadores de Deep Learning

Uma reconstrução teórica da arquitetura Claude Mythos, construída a partir de princípios fundamentais usando a literatura de pesquisa disponível.

Implementação em Pytorch de vários mecanismos de atenção, MLP, re-parameter e convolução, úteis para aprofundar a compreensão de artigos científicos.

Uma implementação em PyTorch do modelo Transformer de "Attention is All You Need".

FlashInfer: Biblioteca de kernel para servir LLMs.

Tutoriais sobre a implementação de alguns modelos sequence-to-sequence (seq2seq) com PyTorch e TorchText.

Transformer: Implementação em PyTorch de "Attention Is All You Need".

Scenic: Uma biblioteca Jax para pesquisa em visão computacional e além

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] O Quantized Attention alcança uma aceleração de 2 a 5 vezes em comparação ao FlashAttention, sem perda de métricas de ponta a ponta em modelos de linguagem, imagem e vídeo.

Este é um repositório PyTorch de YOLOv4, attentive YOLOv4 e mobilenet YOLOv4 com PASCAL VOC e COCO

Uma compilação dos melhores artigos sobre multi-agentes.

Implementação em Pytorch de Transfusion, "Predict the Next Token and Diffuse Images with One Multi-Modal Model", da MetaAI

Replicação de projetos simples de visão computacional, incluindo atenção, classificação, detecção, detecção de pontos-chave, etc.

Construa seu próprio motor de inferência LLM de alto desempenho em C++ e CUDA - uma versão reduzida do vLLM.

[ICML2025] SpargeAttention: Uma atenção esparsa livre de treinamento que acelera a inferência de qualquer modelo.

O frontend do cuDNN é o ponto de entrada moderno e de código aberto da NVIDIA para a biblioteca cuDNN e uma coleção crescente de kernels de código aberto de alto desempenho.

Uma biblioteca PyTorch para tudo relacionado a Aprendizado por Reforço (RL) em Otimização Combinatória (CO)

Implementação do padrão de atenção esparsa proposto pela equipe do Deepseek em seu artigo "Native Sparse Attention"

Classificação de texto multilabel, classificação multilabel, classificação de texto, multi-label, classifier, text classification, BERT, seq2seq, attention, multi-label-classification

[TNSRE 23] EEG Transformer 2.0. i. Transformer Convolucional para Decodificação de EEG. ii. Nova visualização - Topografia de Ativação de Classe.

Implementação de Attention plug-and-play de "LongNet: Scaling Transformers to 1,000,000,000 Tokens"

Implemente a inferência do llama3 passo a passo, compreenda os conceitos centrais, domine a derivação do processo e escreva o código.

Keras beit, caformer, CMT, CoAtNet, convnext, davit, dino, efficientdet, edgenext, efficientformer, efficientnet, eva, fasternet, fastervit, fastvit, flexivit, gcvit, ghostnet, gpvit, hornet, hiera, iformer, inceptionnext, lcnet, levit, maxvit, mobilevit, moganet, nat, nfnets, pvt, swin, tinynet, tinyvit, uniformer, volo, vanillanet, yolor, yolov7, yolov8, yolox, gpt2, llama2, conhecido como kecam

Implementação em Julia de modelos Transformer

A implementação oficial em PyTorch do artigo "SAITS: Self-Attention-based Imputation for Time Series". Um modelo de rede neural de aprendizado profundo rápido e de última geração (SOTA) para imputação eficiente de séries temporais (imputar séries temporais multivariadas incompletas contendo dados/valores ausentes NaN com machine learning). https://arxiv.org/abs/2202.08516

Design hardware-friendly model architectures and migrate existing LLMs with minimal performance loss