moe

LLM을 위한 고성능 및 메모리 효율적인 추론 및 서빙 엔진

100개 이상의 LLM 및 VLM을 위한 통합 효율적 미세 조정(ACL 2024)

SGLang은 대규모 언어 모델 및 멀티모달 모델을 위한 고성능 서빙 프레임워크입니다.

PEFT 또는 풀 파라미터를 사용하여 600개 이상의 LLM(Qwen3.6, DeepSeek-V4, GLM-5.1, InternLM3, Llama4, ...) 및 300개 이상의 MLLM(Qwen3-VL, Qwen3-Omni, InternVL3.5, Ovis2.5, GLM4.5v, Gemma4, Llava, Phi4, ...)을 학습/미세조정(CPT/SFT/DPO/GRPO)하는 툴킷 (AAAI 2025).

TensorRT LLM은 사용자가 대규모 언어 모델(LLM)을 정의할 수 있는 사용하기 쉬운 Python API를 제공하며, NVIDIA GPU에서 효율적으로 추론을 수행할 수 있는 최신 최적화를 지원합니다. 또한 TensorRT LLM에는 고성능 방식으로 추론 실행을 조율하는 Python 및 C++ 런타임을 생성하는 구성 요소가 포함되어 있습니다.

FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.

단일 CPU와 8.24 GB RAM에서 2조 7,800억 개의 파라미터를 가진 Kimi K3 추론 실행. 포터블 C99: BLAS, 프레임워크, GPU 없음.

FlashInfer: LLM 서빙을 위한 커널 라이브러리

:electron: React Native로 빌드된, Android 및 iOS용 비공식 https://bgm.tv UI 우선 앱 클라이언트.

GLM-4.5: 에이전틱, 추론, 코딩(ARC) 파운데이션 모델

【TMM 2025🔥】 대형 비전-언어 모델을 위한 Mixture-of-Experts

MoBA: 롱 컨텍스트 LLM을 위한 블록 어텐션의 혼합 (Mixture of Block Attention)

UCCL은 GPU를 위한 효율적인 통신 라이브러리로, 집합 통신, P2P (예: KV 캐시 전송, RL 가중치 전송) 및 EP (예: GPU 구동)를 포함합니다.

Noam Shazeer 외 공저 "The Sparsely-Gated Mixture-of-Experts Layer"의 PyTorch 재구현 버전 (https://arxiv.org/abs/1701.06538)

Tutel MoE: 최적화된 Mixture-of-Experts 라이브러리, FP8/NVFP4/MXFP4를 사용하여 GptOss/DeepSeek/Kimi-K2/Qwen3 지원

⛷️ LLaMA-MoE: 지속적 사전 학습을 통한 LLaMA 기반 Mixture-of-Experts 구축 (EMNLP 2024)

cuDNN Frontend는 NVIDIA의 현대적인 오픈 소스 cuDNN 라이브러리 진입점이자 고성능 오픈 소스 커널의 성장하는 컬렉션입니다.

Adan: 더 빠른 딥러닝 모델 최적화를 위한 적응형 Nesterov 모멘텀 알고리즘

DeepSeek-V3/R1 671B의 전체 매개변수 미세조정(Full Parameter Fine-tuning)을 위한 오픈소스 솔루션으로, 훈련부터 추론까지의 전체 코드와 스크립트, 그리고 실무에서 얻은 경험과 결론을 포함합니다.

Apple Silicon용 네이티브 MLX Swift LLM 추론 서버입니다. OpenAI 호환 API, 100B+ MoE 모델을 위한 SSD 스트리밍, TurboQuant KV 캐시 압축, macOS 및 iOS 앱을 지원합니다.

[CVPR2026] YOLO-Master: MOE-Accelerated with Specialized Transformers for Enhanced Real-time Detection 논문 공식 코드

Pure Rust + CUDA LLM 추론 엔진 — PyTorch 미사용, OpenAI 호환, Qwen3에서 Kimi-K2까지 서비스 제공

중국어 Mixtral 혼합 전문가 대형 언어 모델(Chinese Mixtral MoE LLMs)

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp