moe

高吞吐量且内存效率高的 LLM 推理与服务引擎

统一高效微调 100 多种 LLM 与 VLM（ACL 2024）

SGLang 是针对大型语言模型与多模态模型的高性能服务框架

使用 PEFT 或 Full-parameter 对 600+ LLM（Qwen3.6、DeepSeek-V4、GLM-5.1、InternLM3、Llama4、...）和 300+ MLLM（Qwen3-VL、Qwen3-Omni、InternVL3.5、Ovis2.5、GLM4.5v、Gemma4、Llava、Phi4、...）进行 CPT/SFT/DPO/GRPO（AAAI 2025）

TensorRT LLM 为用户提供易用的 Python API 来定义大型语言模型（LLM），并支持最先进的优化，以在 NVIDIA GPU 上高效执行推理。TensorRT LLM 还包含创建 Python 和 C++ 运行时的组件，以高性能方式编排推理执行。

FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.

Kimi K3 2.78 兆参数模型，单 CPU 推理 8.24 GB RAM，C99 可携式：无 BLAS、无框架、无 GPU

FlashInfer：大型语言模型服务的内核库

:electron: 一个非官方 https://bgm.tv UI 首先的 Android 与 iOS 应用程序，使用 React Native 开发。 一个无广告、以爱好为驱动、不以盈利为目的、专门做 ACG 的类似豆瓣的追番记录，bgm.tv 第三方客户端。为移动端重新设计，内置大量加强的网页端难以实现的功能，且提供相当的自定义选项。目前已适配 iOS / Android。

GLM-4.5：Agentic、Reasoning、和 Coding (ARC) 基础模型

【TMM 2025🔥】大型视觉语言模型的混合专家模型 (Mixture-of-Experts)

MoBA：长文本 LLM 的区块注意力混合模型

UCCL 是一个高效的 GPU 通信库，涵盖集合通信、P2P（例如 KV 缓存传输、RL 权重传输）以及 EP（例如 GPU 驱动）

Noam Shazeer 等人所著“The Sparsely-Gated Mixture-of-Experts Layer”的 PyTorch 重新实现版。https://arxiv.org/abs/1701.06538

Tutel MoE：优化 Mixture-of-Experts 库，使用 FP8/NVFP4/MXFP4 支持 GptOss/DeepSeek/Kimi-K2/Qwen3

⛷️ LLaMA-MoE：通过持续预训练从 LLaMA 构建混合专家模型 (EMNLP 2024)

cuDNN Frontend 是 NVIDIA 的现代化开源 cuDNN 库入口，并提供日益增加的高性能开源核心集合。

Adan：用于加速优化深度模型的自适应 Nesterov 动量算法

DeepSeek-V3/R1 671B 全参数微调的开源解决方案，包含从训练到推理的完整代码和脚本，以及实践中积累的一些经验和结论。

⚡ 适用于 Apple Silicon 的原生 MLX Swift LLM 推理服务器。兼容 OpenAI API、支持 100B+ MoE 模型的 SSD 流、TurboQuant KV 缓存压缩，以及 macOS + iOS iPhone 应用程序。

[CVPR2026]🚀🚀🚀论文官方代码 "YOLO-Master: MOE-Accelerated with Specialized Transformers for Enhanced Real-time Detection." *(YOLO = You Only Look Once)* 🔥🔥🔥

纯 Rust + CUDA LLM 推理引擎 — 无需 PyTorch，兼容 OpenAI，支持 Qwen3 至 Kimi-K2 服务

中文 Mixtral 混合专家大模型（Chinese Mixtral MoE LLMs）

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp