attention-mechanism

Implementasikan LLM mirip ChatGPT dalam PyTorch dari awal, langkah demi langkah

Implementasi Vision Transformer, cara sederhana untuk mencapai SOTA dalam klasifikasi visi hanya dengan satu encoder transformer, di Pytorch

Buku teori Neural Networks and Deep Learning karya Qiu Xipeng (Buku Dandelion) v2 dan versi umum.

RWKV adalah RNN dengan performa LLM yang hebat, yang juga dapat dilatih secara langsung seperti GPT transformer (dapat diparalelkan). Kami berada di RWKV-7 "Goose". Ini menggabungkan keunggulan RNN dan transformer - performa hebat, waktu linear, ruang konstan (tanpa kv-cache), pelatihan cepat, ctx_len tak terbatas, dan sentence embedding gratis.

Transformer full-attention yang ringkas namun lengkap dengan seperangkat fitur eksperimental yang menjanjikan dari berbagai makalah

Implementasi / replikasi DALL-E, Transformer Text-to-Image OpenAI, di Pytorch

Daftar makalah yang sangat komprehensif mengenai Vision Transformer/Attention, mencakup makalah, kode, dan situs web terkait.

RuVector adalah AI berkinerja tinggi, waktu nyata, pembelajaran mandiri, Vector GNN, Database Memori yang dibuat di Rust.

Membangun LLM modern dari nol. Setiap baris diberi komentar. Dijelaskan seolah-olah kita berusia lima tahun.

Pengenalan Ucapan Otomatis Multibahasa dengan stempel waktu tingkat kata dan tingkat kepercayaan.

Layer Attention Keras (skor Luong dan Bahdanau).

Implementasi SoundStorm, Efficient Parallel Audio Generation dari Google Deepmind, menggunakan PyTorch

Pelajari cara kerja internal LLM langkah demi langkah - dari tokenisasi hingga attention dan optimasi inferensi.

Implementasi Perceiver, General Perception dengan Iterative Attention, di Pytorch

Kerangka kerja sequence-to-sequence dengan fokus pada Terjemahan Mesin Neural berbasis PyTorch

Pustaka Deep Learning untuk Klasifikasi Tugas (Sinyal) EEG, berbasis TensorFlow.

Daftar kurasi sumber daya NLP yang berfokus pada jaringan Transformer, mekanisme attention, GPT, BERT, ChatGPT, LLM, dan transfer learning.

OpenSTL: Tolok Ukur Komprehensif dari Spatio-Temporal Predictive Learning

Implementasi TabTransformer, jaringan perhatian untuk data tabulasi, di PyTorch

Transformer berdasarkan varian perhatian yang memiliki kompleksitas linier terhadap panjang urutan

[ECCV 2020] Mempelajari Fitur yang Diperkaya untuk Restorasi dan Peningkatan Gambar Nyata. Hasil SOTA untuk penghilangan noise gambar, super-resolusi, dan peningkatan gambar.

Berdasarkan proyek tingkat tinggi yolo (deteksi\pose\klasifikasi\segmentasi): mencakup inti yolov5\yolov7\yolov8, riset peningkatan, SwintransformV2 dan seri Attention. Keterampilan pelatihan, kustomisasi bisnis, dan penerapan teknik C

MORAN: Jaringan Perhatian Rektifikasi Multi-Objek untuk Pengenalan Teks Adegan

Pahami inferensi llama3 langkah demi langkah, pahami konsep inti, kuasai penurunan proses, dan implementasikan kodenya.

[IGARSS'22]: Jaringan Siamese Berbasis Transformer untuk Deteksi Perubahan

FlashAttention (Port Metal)

[CVPR 2021, Oral] PREDATOR: Registrasi Titik Awan 3D dengan Tumpang Tindih Rendah.

Bangun model AI berkinerja tinggi dengan blok penyusun modular

[ICLR2025 Spotlight🔥] Implementasi Resmi TokenFormer: Memikirkan Ulang Penskalaan Transformer dengan Parameter Model Terasiasi

Demokratisasi RT-2 "RT-2: Model baru menerjemahkan visi dan bahasa ke dalam tindakan"