mixture-of-experts

DeepSpeed 是一個深度學習優化函式庫，使分散式訓練與推論變得簡單、高效且有效

Kimi K3 2.78 兆參數模型，單 CPU 推理 8.24 GB RAM，C99 可攜式：無 BLAS、無框架、無 GPU

為 LLM 優化推理代理

基於 PyTorch 的去中心化深度學習。專為在世界各地數千名志願者的設備上訓練模型而建構。

在 Colab 或消費級桌機上執行 Mixtral-8x7B 模型

【TMM 2025🔥】大型視覺語言模型的混合專家模型 (Mixture-of-Experts)

Noam Shazeer 等人所著「The Sparsely-Gated Mixture-of-Experts Layer」的 PyTorch 重新實作版。https://arxiv.org/abs/1701.06538

Aria 的程式碼庫 - 一個開源的多模態原生 MoE

Tutel MoE：最佳化 Mixture-of-Experts 程式庫，使用 FP8/NVFP4/MXFP4 支援 GptOss/DeepSeek/Kimi-K2/Qwen3

⛷️ LLaMA-MoE：透過持續預訓練從 LLaMA 建構混合專家模型 (EMNLP 2024)

cuDNN Frontend 是 NVIDIA 的現代化開源 cuDNN 函式庫入口，並提供日益增加的高效能開源核心集合。

SMT：代理模型工具箱

受到 Andrej Karpathy 的 makemore 啟發，從頭實作的稀疏專家混合（sparse mixture of experts）語言模型 :)

Swiftlet 是一個 Swift 與 Metal 執行時期，透過從儲存空間串流專家權重，在 Apple 裝置上本地執行大型 Qwen Mixture-of-Experts 模型，使 35B 與 80B 模型能在低記憶體下執行，包含 iPhone。

中文 Mixtral 混合專家大模型（Chinese Mixtral MoE LLMs）

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

Krasis 是一款混合型 LLM 執行時期，專注於在消費級 VRAM 受限的硬體上高效執行大型模型。

用於輕鬆合併多個 LLM 專家並高效訓練合併後 LLM 的函式庫