ascend

Giám sát tiến trình GPU & Accelerator cho AMD, Apple, Huawei, Intel, NVIDIA và Qualcomm

Trình quản lý cụm GPU dành cho việc phục vụ mô hình AI hiệu năng cao (vLLM, SGLang) và các instance GPU có thể truy cập SSH theo yêu cầu.

Chia sẻ GPU không đồng nhất trên Kubernetes

Plugin phần cứng do cộng đồng duy trì cho vLLM trên Ascend

cubestudio là nền tảng AI/ML/DL/MaaS/MLOps mã nguồn mở, hỗ trợ quy trình thuật toán toàn diện, đa người dùng, cho thuê tài nguyên tính toán, chuyển tiếp token, lập lịch pipeline kéo thả, huấn luyện phân tán đa máy đa card, tìm kiếm siêu tham số, dịch vụ suy luận, ảo hóa VGPU, phối hợp đám mây-cạnh, tính toán biên, gán nhãn tự động, tinh chỉnh (SFT) các mô hình lớn như DeepSeek, suy luận đa máy với vLLM/Ollama/Mindie, tri thức nội bộ LLMOps, chợ mô hình AI, hỗ trợ tính toán dị thể nội địa (Ascend, Cambricon, v.v.) và RDMA.

Một framework triển khai AI đơn giản, dễ sử dụng và hiệu năng cao

Một PyTorch Lighting Framework cho các mô hình gợi ý, dễ sử dụng và dễ mở rộng.

Bộ chuyển đổi Ascend PyTorch (torch_npu). Bản sao từ https://gitcode.com/Ascend/pytorch

Trình phát hiện đối tượng không neo (anchor-free) thời gian thực tại biên với hiệu suất tốt