Chuyển tới nội dung chính
buildradar
Sign in

feifeibear/long-context-attention

@feifeibear

USP: Unified (hay còn gọi là Hybrid, 2D) Sequence Parallel Attention cho việc huấn luyện và suy luận mô hình Transformers ngữ cảnh dài

Sao
692
Fork
85
Ngôn ngữ
Python
Giấy phép
Apache-2.0
Push gần nhất
6 ngày trước
Pythonllm-inferencepytorchllm-trainingattention-is-all-you-needdeepspeed-ulyssesring-attention

Chưa có intel liên quan

Kho mã này chưa xuất hiện trong bất kỳ nguồn nào radar theo dõi. Bộ thu thập chạy theo lịch — hãy quay lại khi nó bao quát kho mã này.