mixture-of-experts

DeepSpeed là một thư viện tối ưu hóa deep learning giúp việc huấn luyện phân tán và suy luận trở nên dễ dàng, hiệu quả và đạt kết quả tốt.

Mô hình Kimi K3 với 2,78 nghìn tỷ tham số chạy suy luận trên một CPU duy nhất với 8,24 GB RAM. C99 di động: không BLAS, không framework, không GPU.

Tối ưu hóa proxy suy luận cho các LLM

Học sâu phi tập trung trong PyTorch. Được xây dựng để huấn luyện các mô hình trên hàng nghìn tình nguyện viên trên toàn thế giới.

Chạy các mô hình Mixtral-8x7B trên Colab hoặc máy tính cá nhân

【TMM 2025🔥】 Hỗn hợp chuyên gia (Mixture-of-Experts) cho các mô hình ngôn ngữ thị giác lớn (Large Vision-Language Models)

Bản cài đặt lại bằng PyTorch của "The Sparsely-Gated Mixture-of-Experts Layer" bởi Noam Shazeer et al. https://arxiv.org/abs/1701.06538

Mã nguồn cho Aria - một MoE gốc đa phương thức mở

Tutel MoE: Thư viện Mixture-of-Experts được tối ưu hóa, hỗ trợ GptOss/DeepSeek/Kimi-K2/Qwen3 sử dụng FP8/NVFP4/MXFP4

⛷️ LLaMA-MoE: Xây dựng Mixture-of-Experts từ LLaMA với Continual Pre-training (EMNLP 2024)

cuDNN Frontend là điểm truy cập hiện đại, mã nguồn mở của NVIDIA vào thư viện cuDNN và tập hợp ngày càng phát triển các kernel mã nguồn mở hiệu năng cao.

SMT: Bộ công cụ mô hình thay thế

Triển khai từ đầu mô hình ngôn ngữ sparse mixture of experts, lấy cảm hứng từ makemore của Andrej Karpathy :)

Swiftlet là môi trường thực thi Swift và Metal cho phép chạy cục bộ các mô hình Qwen Mixture-of-Experts lớn trên thiết bị Apple bằng cách truyền tải trọng số chuyên gia từ bộ nhớ, giúp các mô hình 35B và 80B có thể chạy với dung lượng RAM thấp, bao gồm cả trên iPhone.

Mô hình ngôn ngữ lớn Mixtral MoE tiếng Trung.

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

Krasis là một runtime LLM lai tập trung vào việc chạy hiệu quả các mô hình lớn trên phần cứng tiêu dùng bị giới hạn VRAM

Thư viện giúp hợp nhất nhiều chuyên gia LLM và huấn luyện LLM đã hợp nhất một cách hiệu quả.