attention-mechanism

Implementiere ein ChatGPT-ähnliches LLM in PyTorch von Grund auf, Schritt für Schritt.

Implementierung des Vision Transformer, ein einfacher Weg, um in der Vision-Klassifikation SOTA zu erreichen, mit nur einem Transformer-Encoder in PyTorch

Qiu Xipengs „Neural Networks and Deep Learning“ (Pusteblumen-Buch) Theoriebuch v2 und Allgemeinwissensversion

RWKV (ausgesprochen RwaKuv) ist ein RNN mit hervorragender LLM-Leistung, das auch wie ein GPT-Transformer direkt trainiert werden kann (parallelisierbar). Wir sind bei RWKV-7 „Goose“. Es kombiniert also das Beste aus RNN und Transformer – hohe Leistung, lineare Zeit, konstanter Speicherplatz (kein KV-Cache), schnelles Training, unendliche ctx_len und kostenloses Sentence Embedding.

Ein prägnanter, aber vollständiger Full-Attention-Transformer mit einer Reihe vielversprechender experimenteller Funktionen aus verschiedenen Papers

Implementierung / Replikation von DALL-E, OpenAIs Text-to-Image-Transformer, in Pytorch

Eine äußerst umfassende Liste von Arbeiten zu Vision Transformer/Attention, einschließlich Papern, Codes und zugehörigen Websites

RuVector ist eine in Rust geschriebene Hochleistungs-, Echtzeit-, selbstlernende KI, ein Vektor-GNN und eine In-Memory-Datenbank.

Erstellen Sie ein modernes LLM von Grund auf. Jede Zeile kommentiert. Einfach erklärt.

Mehrsprachige automatische Spracherkennung mit wortgenauen Zeitstempeln und Konfidenzwerten

Keras Attention Layer (Luong- und Bahdanau-Scores).

Implementierung von SoundStorm, effiziente parallele Audiogenerierung von Google DeepMind, in PyTorch

Lerne LLM-Interna Schritt für Schritt – von der Tokenisierung über Attention bis hin zur Inferenzoptimierung.

Implementierung von Perceiver, General Perception with Iterative Attention, in PyTorch

Sequence-to-Sequence-Framework mit Fokus auf neuronale maschinelle Übersetzung basierend auf PyTorch

Eine Deep-Learning-Bibliothek für die Klassifizierung von EEG-Aufgaben (Signalen), basierend auf TensorFlow.

Eine kuratierte Liste von NLP-Ressourcen mit Schwerpunkt auf Transformer-Netzwerken, Attention-Mechanismen, GPT, BERT, ChatGPT, LLMs und Transfer Learning.

OpenSTL: Ein umfassender Benchmark für räumlich-zeitliches prädiktives Lernen

Implementierung von TabTransformer, einem Attention-Netzwerk für tabellarische Daten, in PyTorch

Transformer basierend auf einer Aufmerksamkeitsvariante mit linearer Komplexität in Bezug auf die Sequenzlänge

[ECCV 2020] Lernen angereicherter Merkmale zur Wiederherstellung und Verbesserung realer Bilder. SOTA-Ergebnisse für Rauschunterdrückung, Super-Resolution und Bildverbesserung.

Basierend auf dem yolo-high-level-Projekt (detect\pose\classify\segment\): Enthält yolov5\yolov7\yolov8\-Core, Verbesserungsforschung, SwintransformV2 und Attention-Serie, Trainingsfähigkeiten, Geschäftsanpassung, Engineering-Deployment C

MORAN: Ein Multi-Object Rectified Attention Network für Texterkennung in Szenen

Schritt-für-Schritt-Implementierung der llama3-Inferenz, Verständnis der Kernkonzepte, Beherrschung der Prozessableitung und Implementierung des Codes.

[IGARSS'22]: Ein Transformer-basiertes siamesisches Netzwerk für die Veränderungsdetektion

FlashAttention (Metal-Port)

[CVPR 2021, Oral] PREDATOR: Registrierung von 3D-Punktwolken mit geringer Überlappung

Erstellen Sie Hochleistungs-KI-Modelle mit modularen Bausteinen.

[ICLR2025 Spotlight🔥] Offizielle Implementierung von TokenFormer: Überdenken der Transformer-Skalierung mit tokenisierten Modellparametern

Demokratisierung von RT-2 "RT-2: Neues Modell übersetzt Vision und Sprache in Aktion".