attention

🧑‍🏫 60+ Implementierungen/Tutorials von Deep-Learning-Papieren mit Nebennotizen 📝; inkl. transformers (original, xl, switch, feedback, vit, ...), optimizers (adam, adabelief, sophia, ...), gans (cyclegan, stylegan2, ...), 🎮 Reinforcement Learning (ppo, dqn), capsnet, Distillation, ... 🧠

SGLang ist ein hochleistungsfähiges Serving‑Framework für große Sprach‑ und multimodale Modelle.

Tutorial zur natürlichen Sprachverarbeitung für Forscher im Bereich Deep Learning

Eine theoretische Rekonstruktion der Claude Mythos-Architektur, aufgebaut aus den ersten Prinzipien unter Verwendung der verfügbaren Forschungsliteratur.

🍀 PyTorch-Implementierung verschiedener Attention-Mechanismen, MLPs, Re-Parameter und Faltungen, nützlich zum besseren Verständnis von Papers.⭐⭐⭐

Eine PyTorch-Implementierung des Transformer-Modells aus „Attention is All You Need“.

FlashInfer: Kernel-Bibliothek für LLM-Serving

Tutorials zur Implementierung einiger Sequence-to-Sequence-Modelle (seq2seq) mit PyTorch und TorchText.

Transformer: PyTorch-Implementierung von „Attention Is All You Need“

Scenic: Eine Jax-Bibliothek für die Computer-Vision-Forschung und darüber hinaus

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention erzielt eine 2- bis 5-fache Beschleunigung im Vergleich zu FlashAttention, ohne Einbußen bei End-to-End-Metriken über Sprach-, Bild- und Videomodelle hinweg.

Ein PyTorch-Repository für YOLOv4, attentive YOLOv4 und mobilenet YOLOv4 mit PASCAL VOC und COCO

Eine Sammlung der besten Multi-Agenten-Forschungsarbeiten

PyTorch-Implementierung von Transfusion („Predict the Next Token and Diffuse Images with One Multi-Modal Model“) von MetaAI

Nachbildung einfacher CV-Projekte einschließlich Attention, Klassifizierung, Detektion, Keypoint-Detektion usw.

Baue deine eigene performante LLM-Inferenz-Engine in C++ und CUDA – eine kleinere Version von vLLM

[ICML2025] SpargeAttention: Eine trainingsfreie sparse Attention, die die Inferenz beliebiger Modelle beschleunigt.

Das cuDNN Frontend ist NVIDIAs moderner Open-Source-Einstiegspunkt in die cuDNN-Bibliothek und eine wachsende Sammlung von Hochleistungs-Open-Source-Kerneln.

Eine PyTorch-Bibliothek für alles rund um Reinforcement Learning (RL) für Combinatorial Optimization (CO)

Implementierung des Sparse-Attention-Musters, das vom Deepseek-Team in ihrem Paper „Native Sparse Attention“ vorgestellt wurde

Multi-Label-Textklassifikation, Multi-Label-Klassifikation, Textklassifikation, multi-label, classifier, text classification, BERT, seq2seq, attention, multi-label-classification

[TNSRE 23] EEG Transformer 2.0. i. Convolutional Transformer für die EEG-Dekodierung. ii. Neuartige Visualisierung – Class Activation Topography.

Implementierung von Plug-and-Play-Attention aus „LongNet: Scaling Transformers to 1,000,000,000 Tokens“

Schritt-für-Schritt-Implementierung der llama3-Inferenz, Verständnis der Kernkonzepte, Beherrschung der Prozessableitung und Implementierung des Codes.

Keras beit, caformer, CMT, CoAtNet, convnext, davit, dino, efficientdet, edgenext, efficientformer, efficientnet, eva, fasternet, fastervit, fastvit, flexivit, gcvit, ghostnet, gpvit, hornet, hiera, iformer, inceptionnext, lcnet, levit, maxvit, mobilevit, moganet, nat, nfnets, pvt, swin, tinynet, tinyvit, uniformer, volo, vanillanet, yolor, yolov7, yolov8, yolox, gpt2, llama2, alias kecam

Julia-Implementierung von Transformer-Modellen

Die offizielle PyTorch-Implementierung des Papers 'SAITS: Self-Attention-based Imputation for Time Series'. Ein schnelles SOTA-Deep-Learning-Modell zur effizienten Imputation unvollständiger Zeitreihendaten.

Design hardware-friendly model architectures and migrate existing LLMs with minimal performance loss