moe

高吞吐量且記憶體效率高的 LLM 推理與服務引擎

統一高效微調 100 多種 LLM 與 VLM（ACL 2024）

SGLang 是針對大型語言模型與多模態模型的高效能服務框架

使用 PEFT 或 Full-parameter 於 600+ LLM（Qwen3.6、DeepSeek-V4、GLM-5.1、InternLM3、Llama4、...）與 300+ MLLM（Qwen3-VL、Qwen3-Omni、InternVL3.5、Ovis2.5、GLM4.5v、Gemma4、Llava、Phi4、...）進行 CPT/SFT/DPO/GRPO（AAAI 2025）

TensorRT LLM 為使用者提供易於使用的 Python API 來定義大型語言模型（LLM），並支援最先進的最佳化，以在 NVIDIA GPU 上高效執行推論。TensorRT LLM 亦包含建立 Python 與 C++ 執行環境的元件，以高效方式協調推論執行。

FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.

Kimi K3 2.78 兆參數模型，單 CPU 推理 8.24 GB RAM，C99 可攜式：無 BLAS、無框架、無 GPU

FlashInfer：大型語言模型服務的核心函式庫

:electron: 一個非官方 https://bgm.tv UI 首先的 Android 與 iOS 應用程式，使用 React Native 開發。 一個無廣告、以愛好為驅動、不以盈利為目的、專門做 ACG 的類似豆瓣的追番記錄，bgm.tv 第三方客戶端。為行動裝置重新設計，內置大量強化的網頁端難以實現的功能，且提供相當的自定義選項。目前已適配 iOS / Android。

GLM-4.5：Agentic、Reasoning、和 Coding (ARC) 基礎模型

【TMM 2025🔥】大型視覺語言模型的混合專家模型 (Mixture-of-Experts)

MoBA：長文本 LLM 的區塊注意力混合模型

UCCL 是一個高效的 GPU 通訊函式庫，涵蓋集合通訊、P2P（例如 KV 快取傳輸、RL 權重傳輸）以及 EP（例如 GPU 驅動）

Noam Shazeer 等人所著「The Sparsely-Gated Mixture-of-Experts Layer」的 PyTorch 重新實作版。https://arxiv.org/abs/1701.06538

Tutel MoE：最佳化 Mixture-of-Experts 程式庫，使用 FP8/NVFP4/MXFP4 支援 GptOss/DeepSeek/Kimi-K2/Qwen3

⛷️ LLaMA-MoE：透過持續預訓練從 LLaMA 建構混合專家模型 (EMNLP 2024)

cuDNN Frontend 是 NVIDIA 的現代化開源 cuDNN 函式庫入口，並提供日益增加的高效能開源核心集合。

Adan：用於加速優化深度模型的自適應 Nesterov 動量演算法

DeepSeek-V3/R1 671B 全參數微調的開源解決方案，包含從訓練到推理的完整程式碼與腳本，以及實踐中累積的一些經驗和結論。

⚡ 適用於 Apple Silicon 的原生 MLX Swift LLM 推論伺服器。相容 OpenAI API、支援 100B+ MoE 模型的 SSD 串流、TurboQuant KV 快取壓縮，以及 macOS + iOS iPhone 應用程式。

[CVPR2026]🚀🚀🚀論文官方程式碼 "YOLO-Master: MOE-Accelerated with Specialized Transformers for Enhanced Real-time Detection." *(YOLO = You Only Look Once)* 🔥🔥🔥

純 Rust + CUDA LLM 推論引擎 — 無需 PyTorch，相容 OpenAI，支援 Qwen3 至 Kimi-K2 服務

中文 Mixtral 混合專家大模型（Chinese Mixtral MoE LLMs）

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp