mixture-of-experts

DeepSpeed는 분산 학습과 추론을 쉽고, 효율적이며, 효과적으로 만들어주는 딥러닝 최적화 라이브러리입니다.

단일 CPU와 8.24 GB RAM에서 2조 7,800억 개의 파라미터를 가진 Kimi K3 추론 실행. 포터블 C99: BLAS, 프레임워크, GPU 없음.

LLM을 위한 추론 프록시 최적화

PyTorch 기반의 탈중앙화 딥러닝. 전 세계 수천 명의 자원봉사자 참여자를 바탕으로 모델을 학습하도록 구축되었습니다.

Colab 또는 일반 데스크톱에서 Mixtral-8x7B 모델 실행

【TMM 2025🔥】 대형 비전-언어 모델을 위한 Mixture-of-Experts

Noam Shazeer 외 공저 "The Sparsely-Gated Mixture-of-Experts Layer"의 PyTorch 재구현 버전 (https://arxiv.org/abs/1701.06538)

오픈 멀티모달 네이티브 MoE인 Aria의 코드베이스

Tutel MoE: 최적화된 Mixture-of-Experts 라이브러리, FP8/NVFP4/MXFP4를 사용하여 GptOss/DeepSeek/Kimi-K2/Qwen3 지원

⛷️ LLaMA-MoE: 지속적 사전 학습을 통한 LLaMA 기반 Mixture-of-Experts 구축 (EMNLP 2024)

cuDNN Frontend는 NVIDIA의 현대적인 오픈 소스 cuDNN 라이브러리 진입점이자 고성능 오픈 소스 커널의 성장하는 컬렉션입니다.

SMT: 대리 모델링 툴박스

Andrej Karpathy의 makemore에서 영감을 받아 처음부터 구현한 희소 혼합 전문가(sparse mixture of experts) 언어 모델

Swiftlet은 Apple 기기에서 대규모 Qwen Mixture-of-Experts 모델을 로컬로 실행하기 위한 Swift 및 Metal 런타임입니다. 스토리지에서 전문가 가중치를 스트리밍하여 iPhone을 포함한 저사양 RAM 환경에서도 35B 및 80B 모델을 실행할 수 있습니다.

중국어 Mixtral 혼합 전문가 대형 언어 모델(Chinese Mixtral MoE LLMs)

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

Krasis는 소비자용 VRAM 제한 하드웨어에서 대형 모델을 효율적으로 실행하는 데 중점을 둔 하이브리드 LLM 런타임입니다.

여러 LLM 전문가를 쉽게 병합하고 효율적으로 학습시키기 위한 라이브러리