distributed-training

Tìm hiểu cách phát triển, triển khai và lặp lại các ứng dụng ML cấp độ sản xuất.

Bộ sưu tập lớn nhất các bộ mã hóa/backbone hình ảnh PyTorch. Bao gồm tập lệnh huấn luyện, đánh giá, suy luận, xuất và trọng số được huấn luyện trước -- ResNet, ResNeXT, EfficientNet, NFNet, Vision Transformer (ViT), MobileNetV4, MobileNet-V3 & V2, RegNet, DPN, CSPNet, Swin Transformer, MaxViT, CoAtNet, ConvNeXt, và nhiều hơn nữa

PArallel Distributed Deep LEarning: Machine Learning Framework từ thực tiễn công nghiệp (Framework cốt lõi của PaddlePaddle, huấn luyện đơn máy/phân tán hiệu năng cao và triển khai đa nền tảng cho Deep Learning & Machine Learning)

Thư viện LLM và SLM mạnh mẽ, dễ sử dụng đi kèm kho mô hình tuyệt vời.

Nền tảng tính toán AI dành cho các nhóm tiên phong. SkyPilot biến các tài nguyên tính toán AI rời rạc thành một siêu máy tính AI duy nhất, giúp các nhóm AI tiên phong xây dựng trí tuệ tùy chỉnh nhanh hơn.

Xây dựng, Quản lý và Triển khai Hệ thống AI/ML

Phổ biến hóa Học tăng cường cho các LLM.

Fengshenbang-LM là hệ thống mô hình lớn mã nguồn mở do Trung tâm Nghiên cứu Tính toán Nhận thức và Ngôn ngữ Tự nhiên của Viện Nghiên cứu IDEA chủ trì, trở thành cơ sở hạ tầng cho AIGC tiếng Trung và trí tuệ nhận thức.

FEDML - Thư viện ML thống nhất và có khả năng mở rộng cho việc huấn luyện phân tán quy mô lớn, phục vụ mô hình và học liên hợp. FEDML Launch, một bộ lập lịch đa đám mây, hỗ trợ chạy bất kỳ tác vụ AI nào trên bất kỳ đám mây GPU hoặc cụm máy chủ nội bộ nào. Được xây dựng trên thư viện này, TensorOpera AI (https://TensorOpera.ai) là nền tảng AI tạo sinh quy mô lớn của bạn.

Determined là một nền tảng học máy mã nguồn mở giúp đơn giản hóa quá trình huấn luyện phân tán, tinh chỉnh siêu tham số, theo dõi thí nghiệm và quản lý tài nguyên. Hoạt động với PyTorch và TensorFlow.

Học sâu phi tập trung trong PyTorch. Được xây dựng để huấn luyện các mô hình trên hàng nghìn tình nguyện viên trên toàn thế giới.

DLRover: Hệ thống học sâu phân tán tự động

Thư viện giao tiếp tập thể với các nguyên thủy khác nhau cho việc huấn luyện đa máy.

DeepRec là một framework học sâu về hệ thống gợi ý hiệu năng cao dựa trên TensorFlow. Dự án đang được ươm tạo tại LF AI & Data Foundation.

Tài liệu khóa học Hệ thống Deep Learning hiệu quả

🌾 OAT: Khung nghiên cứu thân thiện cho việc căn chỉnh trực tuyến LLM, bao gồm học tăng cường, học ưu tiên, v.v.

Các phương pháp hay nhất và hướng dẫn viết mã huấn luyện PyTorch phân tán

Một công cụ học tăng cường bất đồng bộ cho đào tạo hậu kỳ đa phương thức ở quy mô lớn