mixture-of-experts

DeepSpeed 是一个深度学习优化库，使分布式训练与推理变得简单、高效且有效

Kimi K3 2.78 兆参数模型，单 CPU 推理 8.24 GB RAM，C99 可携式：无 BLAS、无框架、无 GPU

为 LLM 优化推理代理

基于 PyTorch 的去中心化深度学习。专为在世界各地数千名志愿者设备上训练模型而构建。

在 Colab 或消费级桌面上运行 Mixtral-8x7B 模型

【TMM 2025🔥】大型视觉语言模型的混合专家模型 (Mixture-of-Experts)

Noam Shazeer 等人所著“The Sparsely-Gated Mixture-of-Experts Layer”的 PyTorch 重新实现版。https://arxiv.org/abs/1701.06538

Aria 的代码库 - 一个开源的多模态原生 MoE

Tutel MoE：优化 Mixture-of-Experts 库，使用 FP8/NVFP4/MXFP4 支持 GptOss/DeepSeek/Kimi-K2/Qwen3

⛷️ LLaMA-MoE：通过持续预训练从 LLaMA 构建混合专家模型 (EMNLP 2024)

cuDNN Frontend 是 NVIDIA 的现代化开源 cuDNN 库入口，并提供日益增加的高性能开源核心集合。

SMT：代理模型工具箱

受到 Andrej Karpathy 的 makemore 启发，从头实现的稀疏专家混合（sparse mixture of experts）语言模型 :)

Swiftlet 是一个 Swift 与 Metal 运行时，通过从存储空间串流专家权重，在 Apple 设备上本地执行大型 Qwen Mixture-of-Experts 模型，使 35B 与 80B 模型能在低内存下执行，包含 iPhone。

中文 Mixtral 混合专家大模型（Chinese Mixtral MoE LLMs）

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

Krasis 是一款混合型 LLM 运行时，专注于在消费级 VRAM 受限的硬件上高效执行大型模型。

用于轻松合并多个 LLM 专家并高效训练合并后 LLM 的库