moe

Mesin inferensi dan serving ber-throughput tinggi serta hemat memori untuk LLM

Fine-Tuning Efisien Terpadu untuk 100+ LLM & VLM (ACL 2024)

SGLang adalah kerangka kerja penyajian berkinerja tinggi untuk model bahasa besar dan model multimodal.

Gunakan PEFT atau Full-parameter untuk CPT/SFT/DPO/GRPO 600+ LLM (Qwen3.6, DeepSeek-V4, GLM-5.1, InternLM3, Llama4, ...) dan 300+ MLLM (Qwen3-VL, Qwen3-Omni, InternVL3.5, Ovis2.5, GLM4.5v, Gemma4, Llava, Phi4, ...) (AAAI 2025).

TensorRT LLM menyediakan API Python yang mudah digunakan bagi pengguna untuk mendefinisikan Large Language Models (LLM) dan mendukung optimasi terkini untuk melakukan inferensi secara efisien pada GPU NVIDIA. TensorRT LLM juga berisi komponen untuk membuat runtime Python dan C++ yang mengatur eksekusi inferensi dengan performa tinggi.

FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.

Kimi K3 dengan 2,78 triliun parameter yang menjalankan inferensi pada satu CPU dalam RAM 8,24 GB. C99 portabel: tanpa BLAS, tanpa framework, tanpa GPU.

FlashInfer: Pustaka Kernel untuk LLM Serving

:electron: Aplikasi klien tidak resmi untuk https://bgm.tv yang mengutamakan UI untuk Android dan iOS, dibangun dengan React Native. Aplikasi ini bebas iklan, didorong oleh hobi, tidak bertujuan mencari keuntungan, dan khusus untuk mencatat riwayat menonton anime/ACG seperti Douban. Didesain ulang untuk perangkat seluler, dilengkapi dengan banyak fitur canggih yang sulit diimplementasikan di versi web, serta menyediakan opsi kustomisasi yang luas. Saat ini telah diadaptasi untuk iOS / Android.

GLM-4.5: Model dasar untuk Agentic, Reasoning, dan Coding (ARC)

【TMM 2025🔥】 Mixture-of-Experts untuk Model Visi-Bahasa Besar

MoBA: Mixture of Block Attention untuk LLM Konteks Panjang

UCCL adalah pustaka komunikasi yang efisien untuk GPU, mencakup kolektif, P2P (misal, transfer cache KV, transfer bobot RL), dan EP (misal, yang digerakkan oleh GPU)

Implementasi Ulang PyTorch dari "The Sparsely-Gated Mixture-of-Experts Layer" oleh Noam Shazeer dkk. https://arxiv.org/abs/1701.06538

Tutel MoE: Pustaka Mixture-of-Experts yang dioptimalkan, mendukung GptOss/DeepSeek/Kimi-K2/Qwen3 menggunakan FP8/NVFP4/MXFP4

⛷️ LLaMA-MoE: Membangun Mixture-of-Experts dari LLaMA dengan Pra-pelatihan Berkelanjutan (EMNLP 2024)

Frontend cuDNN adalah titik masuk modern dan sumber terbuka milik NVIDIA ke perpustakaan cuDNN serta kumpulan kernel sumber terbuka performa tinggi yang terus berkembang.

Adan: Algoritma Adaptive Nesterov Momentum untuk optimasi model deep learning yang lebih cepat.

Solusi sumber terbuka untuk penyetelan halus parameter penuh DeepSeek-V3/R1 671B, termasuk kode dan skrip lengkap dari pelatihan hingga inferensi, serta beberapa pengalaman dan kesimpulan praktis.

⚡ Server inferensi LLM MLX Swift native untuk Apple Silicon. API yang kompatibel dengan OpenAI, streaming SSD untuk model MoE 100B+, kompresi cache KV TurboQuant, aplikasi MACOS + iOS iPhone.

[CVPR2026] Kode resmi untuk makalah "YOLO-Master: MOE-Accelerated with Specialized Transformers for Enhanced Real-time Detection."

Mesin inferensi LLM murni Rust + CUDA — tanpa PyTorch, kompatibel dengan OpenAI, melayani Qwen3 hingga Kimi-K2

Model Bahasa Besar Campuran Pakar Mixtral Bahasa Tionghoa (Chinese Mixtral MoE LLMs)

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp