inference-optimization
Các kho mã nguồn mở đang theo dõi được gắn thẻ inference-optimization, sắp xếp theo số sao.
Chủ đề liên quan
Những chủ đề thường xuất hiện cùng inference-optimization trên cùng một kho mã.
Mới nổi gần đây
Các kho mã tạo trong 90 ngày qua và được gắn thẻ inference-optimization.
- #1
Learn LLM Inference Engineering step by step - from KV cache, PagedAttention, and continuous batching to vLLM, SGLang, and GPUs.
★ 221
- #1
Các toán tử suy luận mạng neural dấu phẩy động hiệu suất cao dành for di động, máy chủ và Web
★ 2.439+2Thay đổi số sao trong 7 ngày qua - #2
Tài liệu khóa học Hệ thống Deep Learning hiệu quả
★ 1.031+2Thay đổi số sao trong 7 ngày qua - #3
BladeDISC là một dự án trình biên dịch hình dạng động (Dynamic Shape Compiler) toàn diện cho các khối lượng công việc học máy.
★ 932+0Thay đổi số sao trong 7 ngày qua - #4
Krasis là một runtime LLM lai tập trung vào việc chạy hiệu quả các mô hình lớn trên phần cứng tiêu dùng bị giới hạn VRAM
★ 518+2Thay đổi số sao trong 7 ngày qua
