lucidrains/ring-attention-pytorch

Implementasi 💍 Ring Attention, dari Liu dkk. di Berkeley AI, dalam Pytorch

↗ Buka di GitHub

Bintang

545

Fork

36

Bahasa

Python

Lisensi

MIT

Push terakhir

1 tahun yang lalu

Python long-context attention-mechanism distributed-attention efficient-attention

Belum ada intel terkait

Repositori ini belum muncul di sumber mana pun yang dilacak radar. Kolektor berjalan sesuai jadwal — periksa kembali setelah mencakup repositori ini.