moe

Ein hocheffizientes und speichereffizientes Inferenz- und Serving-Engine für LLMs

Vereinheitlichte effiziente Feinabstimmung von 100+ LLMs & VLMs (ACL 2024)

SGLang ist ein hochleistungsfähiges Serving‑Framework für große Sprach‑ und multimodale Modelle.

Verwenden Sie PEFT oder Vollparameter für CPT/SFT/DPO/GRPO von über 600 LLMs und über 300 MLLMs (AAAI 2025).

TensorRT LLM bietet Benutzern eine benutzerfreundliche Python-API zum Definieren von Large Language Models (LLMs) und unterstützt modernste Optimierungen zur effizienten Inferenz auf NVIDIA-GPUs. TensorRT LLM enthält zudem Komponenten zum Erstellen von Python- und C++-Runtimes, die die Inferenzausführung performant steuern.

FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.

Ein 2,78-Billionen-Parameter-Modell Kimi K3, das Inferenz auf einer einzigen CPU in 8,24 GB RAM ausführt. Tragbares C99: kein BLAS, kein Framework, keine GPU.

FlashInfer: Kernel-Bibliothek für LLM-Serving

:electron: Ein inoffizieller, UI-fokussierter App-Client für https://bgm.tv für Android und iOS, entwickelt mit React Native.

GLM-4.5: Agentic, Reasoning und Coding (ARC) Foundation Models

【TMM 2025🔥】Mixture-of-Experts für Large Vision-Language Models

MoBA: Mixture of Block Attention für LLMs mit langem Kontext

UCCL ist eine effiziente Kommunikationsbibliothek für GPUs, die Collectives, P2P (z. B. KV-Cache-Transfer, RL-Gewichtetransfer) und EP (z. B. GPU-gesteuert) abdeckt.

PyTorch-Neuimplementierung von „The Sparsely-Gated Mixture-of-Experts Layer“ von Noam Shazeer et al. https://arxiv.org/abs/1701.06538

Tutel MoE: Optimierte Mixture-of-Experts-Bibliothek, unterstützt GptOss/DeepSeek/Kimi-K2/Qwen3 mit FP8/NVFP4/MXFP4

⛷️ LLaMA-MoE: Erstellung von Mixture-of-Experts aus LLaMA mit kontinuierlichem Vortraining (EMNLP 2024)

Das cuDNN Frontend ist NVIDIAs moderner Open-Source-Einstiegspunkt in die cuDNN-Bibliothek und eine wachsende Sammlung von Hochleistungs-Open-Source-Kerneln.

Adan: Adaptiver Nesterov-Momentum-Algorithmus für eine schnellere Optimierung von Deep-Modellen

Eine Open-Source-Lösung für das vollständige Parameter-Fine-Tuning von DeepSeek-V3/R1 671B, einschließlich vollständigem Code und Skripten vom Training bis zur Inferenz sowie einigen praktischen Erfahrungen und Schlussfolgerungen.

⚡ Nativer MLX Swift LLM Inferenzserver für Apple Silicon. OpenAI-kompatible API, SSD-Streaming für 100B+ MoE-Modelle, TurboQuant KV-Cache-Kompression, macOS + iOS iPhone-App.

[CVPR2026]🚀🚀🚀 Offizieller Code zum Papier „YOLO-Master: MOE-Accelerated with Specialized Transformers for Enhanced Real-time Detection.“ *(YOLO = You Only Look Once)* 🔥🔥🔥

Reines Rust + CUDA LLM-Inferenz-Engine — kein PyTorch, OpenAI-kompatibel, bedient Qwen3 bis Kimi-K2

Chinesisches Mixtral-MoE-Sprachmodell (Chinese Mixtral MoE LLMs).

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp