attention-mechanism

Implemente um LLM semelhante ao ChatGPT em PyTorch do zero, passo a passo

Implementação do Vision Transformer em PyTorch, uma maneira simples de alcançar SoTA em classificação de visão usando apenas um único codificador transformer

Livro teórico de Qiu Xipeng 'Redes Neurais e Aprendizado Profundo' (Livro Dente-de-leão), v2 e versão geral.

RWKV (pronuncia-se RwaKuv) é uma RNN com excelente desempenho em LLM, que também pode ser treinada diretamente como um transformer GPT (paralelizável). Estamos na versão RWKV-7 "Goose". Ele combina o melhor de RNN e transformer: ótimo desempenho, tempo linear, espaço constante (sem kv-cache), treinamento rápido, comprimento de contexto infinito e sentence embedding gratuito.

Um transformer full-attention conciso, porém completo, com um conjunto de recursos experimentais promissores de vários artigos.

Implementação/replicação do DALL-E, o Transformer de texto para imagem da OpenAI, em PyTorch

Uma lista de artigos extremamente abrangente sobre Vision Transformer/Attention, incluindo artigos, códigos e sites relacionados

RuVector é um banco de dados de memória vetorial GNN, de alto desempenho, tempo real e autoaprendizado, construído em Rust.

Construa um LLM moderno do zero. Cada linha comentada. Explicado de forma simples.

Reconhecimento automático de fala multilíngue com carimbos de data/hora em nível de palavra e confiança

Camada de atenção Keras (pontuações de Luong e Bahdanau).

Implementação do SoundStorm, geração de áudio paralela eficiente do Google Deepmind, em Pytorch

Aprenda os fundamentos de LLM passo a passo - desde tokenização e atenção até otimização de inferência.

Implementação do Perceiver, General Perception with Iterative Attention, em Pytorch

Framework sequence-to-sequence baseado em PyTorch com foco em Tradução Automática Neural

Uma biblioteca de Deep Learning para classificação de tarefas (sinais) de EEG, baseada em TensorFlow.

Uma lista com curadoria de recursos de PNL focados em redes Transformer, mecanismo de atenção, GPT, BERT, ChatGPT, LLMs e aprendizado por transferência.

OpenSTL: Um benchmark abrangente de aprendizado preditivo espaço-temporal

Implementação do TabTransformer, rede de atenção para dados tabulares, em Pytorch

Transformer baseado em uma variante de atenção que possui complexidade linear em relação ao comprimento da sequência

[ECCV 2020] Aprendizado de recursos aprimorados para restauração e aprimoramento de imagens reais. Resultados SOTA para redução de ruído, super-resolução e aprimoramento de imagem.

baseado no projeto yolo-high-level (detect\pose\classify\segment\): inclui núcleo do yolov5\yolov7\yolov8, pesquisa de melhoria, SwintransformV2 e Séries de Atenção. habilidades de treinamento, customização de negócios, implantação de engenharia C

MORAN: Uma rede de atenção retificada de múltiplos objetos para reconhecimento de texto em cenas.

Implemente a inferência do llama3 passo a passo, compreenda os conceitos centrais, domine a derivação do processo e escreva o código.

[IGARSS'22]: Uma rede siamesa baseada em Transformer para detecção de mudanças

FlashAttention (Porte para Metal)

[CVPR 2021, Oral] PREDATOR: Registro de nuvens de pontos 3D com baixa sobreposição.

Construa modelos de IA de alto desempenho com blocos de construção modulares

[ICLR2025 Spotlight🔥] Implementação oficial do TokenFormer: Repensando o dimensionamento do Transformer com parâmetros de modelo tokenizados

Democratização do RT-2 "RT-2: Novo modelo traduz visão e linguagem em ação"