Chủ đề · distributed-inference
distributed-inference
Các kho mã nguồn mở đang theo dõi được gắn thẻ distributed-inference, sắp xếp theo số sao.
Kho mã
4
Tổng số sao
17.366
Số sao trung bình
4.342
Tỷ trọng
0,00%
Chủ đề liên quan
Những chủ đề thường xuất hiện cùng distributed-inference trên cùng một kho mã.
Mới nổi gần đây
Các kho mã tạo trong 90 ngày qua và được gắn thẻ distributed-inference.
Không có kho mã mới nào gắn thẻ chủ đề này trong 90 ngày qua.
- #1
FlashInfer: Thư viện Kernel cho phục vụ LLM
★ 6.321+38Thay đổi số sao trong 7 ngày qua - #2
Trình quản lý cụm GPU dành cho việc phục vụ mô hình AI hiệu năng cao (vLLM, SGLang) và các instance GPU có thể truy cập SSH theo yêu cầu.
★ 5.593+21Thay đổi số sao trong 7 ngày qua - #3★ 4.390+69Thay đổi số sao trong 7 ngày qua
- #4
SGLang-Omni hỗ trợ phục vụ hiệu suất cao cho TTS, ASR, các mô hình giọng nói và đa năng (omni).
★ 1.118+143Thay đổi số sao trong 7 ngày qua
