moe

Engine suy luận và phục vụ hiệu suất cao, tối ưu bộ nhớ cho các LLM

Tinh chỉnh hiệu quả thống nhất cho hơn 100 LLM & VLM (ACL 2024)

SGLang là framework phục vụ hiệu suất cao cho các mô hình ngôn ngữ lớn và mô hình đa phương thức.

Sử dụng PEFT hoặc Full-parameter cho CPT/SFT/DPO/GRPO hơn 600 LLM (Qwen3.6, DeepSeek-V4, GLM-5.1, InternLM3, Llama4, ...) và hơn 300 MLLM (Qwen3-VL, Qwen3-Omni, InternVL3.5, Ovis2.5, GLM4.5v, Gemma4, Llava, Phi4, ...) (AAAI 2025).

TensorRT LLM cung cấp cho người dùng một API Python dễ sử dụng để định nghĩa các Mô hình Ngôn ngữ Lớn (LLM) và hỗ trợ các tối ưu hóa tiên tiến nhất để thực thi suy luận hiệu quả trên GPU NVIDIA. TensorRT LLM cũng bao gồm các thành phần để tạo môi trường thực thi (runtime) Python và C++ giúp điều phối quá trình thực thi suy luận đạt hiệu suất cao.

FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.

Mô hình Kimi K3 với 2,78 nghìn tỷ tham số chạy suy luận trên một CPU duy nhất với 8,24 GB RAM. C99 di động: không BLAS, không framework, không GPU.

FlashInfer: Thư viện Kernel cho phục vụ LLM

:electron: Một ứng dụng khách giao diện https://bgm.tv không chính thức dành cho Android và iOS, được xây dựng bằng React Native.

GLM-4.5: Mô hình nền tảng về Tác nhân, Lập luận và Lập trình (ARC)

【TMM 2025🔥】 Hỗn hợp chuyên gia (Mixture-of-Experts) cho các mô hình ngôn ngữ thị giác lớn (Large Vision-Language Models)

MoBA: Mixture of Block Attention dành cho các LLM ngữ cảnh dài (Long-Context LLMs)

UCCL là một thư viện giao tiếp hiệu quả dành cho GPU, bao gồm các hoạt động tập thể, P2P (ví dụ: truyền bộ đệm KV, truyền trọng số RL) và EP (ví dụ: do GPU điều khiển)

Bản cài đặt lại bằng PyTorch của "The Sparsely-Gated Mixture-of-Experts Layer" bởi Noam Shazeer et al. https://arxiv.org/abs/1701.06538

Tutel MoE: Thư viện Mixture-of-Experts được tối ưu hóa, hỗ trợ GptOss/DeepSeek/Kimi-K2/Qwen3 sử dụng FP8/NVFP4/MXFP4

⛷️ LLaMA-MoE: Xây dựng Mixture-of-Experts từ LLaMA với Continual Pre-training (EMNLP 2024)

cuDNN Frontend là điểm truy cập hiện đại, mã nguồn mở của NVIDIA vào thư viện cuDNN và tập hợp ngày càng phát triển các kernel mã nguồn mở hiệu năng cao.

Adan: Thuật toán động lượng Nesterov thích ứng giúp tối ưu hóa các mô hình học sâu nhanh hơn

Giải pháp mã nguồn mở cho việc tinh chỉnh toàn bộ tham số (full parameter fine-tuning) của DeepSeek-V3/R1 671B, bao gồm mã nguồn và tập lệnh hoàn chỉnh từ huấn luyện đến suy luận, cùng với một số kinh nghiệm và kết luận thực tế.

Máy chủ suy luận LLM MLX Swift gốc cho Apple Silicon. API tương thích với OpenAI, truyền phát SSD cho các mô hình MoE 100B+, nén bộ nhớ đệm TurboQuant KV, ứng dụng MACOS + iOS iPhone.

[CVPR2026] Mã nguồn chính thức cho bài báo "YOLO-Master: MOE-Accelerated with Specialized Transformers for Enhanced Real-time Detection."

Công cụ suy luận LLM bằng Rust thuần + CUDA — không cần PyTorch, tương thích với OpenAI, hỗ trợ từ Qwen3 đến Kimi-K2.

Mô hình ngôn ngữ lớn Mixtral MoE tiếng Trung.

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp