mixture-of-experts
Repositori open source terpantau bertanda mixture-of-experts, diurutkan berdasarkan bintang.
Topik terkait
Topik yang sering muncul berdampingan dengan mixture-of-experts di repositori yang sama.
Yang sedang naik
Repositori yang dibuat dalam 90 hari terakhir dan bertanda mixture-of-experts.
- #1
Kimi K3 dengan 2,78 triliun parameter yang menjalankan inferensi pada satu CPU dalam RAM 8,24 GB. C99 portabel: tanpa BLAS, tanpa framework, tanpa GPU.
★ 7.533 - #2
Swiftlet adalah runtime Swift dan Metal yang menjalankan model Qwen Mixture-of-Experts secara lokal di perangkat Apple dengan melakukan streaming bobot expert dari penyimpanan, memungkinkan model 35B dan 80B berjalan dengan RAM rendah, termasuk di iPhone.
★ 631 - #3
Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp
★ 551 - #4
Run Qwen3.8-Flash-Next (125B MoE, 104 GB at 4-bit) on Macs with a fraction of that RAM by streaming experts from SSD. MLX + Swift, Ollama-compatible API.
★ 287
- #1
DeepSpeed adalah pustaka optimasi deep learning yang membuat pelatihan dan inferensi terdistribusi menjadi mudah, efisien, dan efektif.
★ 43.058+0Perubahan bintang dalam 7 hari terakhir - #2
Kimi K3 dengan 2,78 triliun parameter yang menjalankan inferensi pada satu CPU dalam RAM 8,24 GB. C99 portabel: tanpa BLAS, tanpa framework, tanpa GPU.
★ 7.533+490Perubahan bintang dalam 7 hari terakhir - #3★ 4.260+0Perubahan bintang dalam 7 hari terakhir
- #4
Deep learning terdesentralisasi di PyTorch. Dibuat untuk melatih model pada ribuan sukarelawan di seluruh dunia.
★ 2.515+0Perubahan bintang dalam 7 hari terakhir - #5
Jalankan model Mixtral-8x7B di Colab atau desktop konsumen
★ 2.334+0Perubahan bintang dalam 7 hari terakhir - #6★ 2.322+0Perubahan bintang dalam 7 hari terakhir
- #7
Implementasi Ulang PyTorch dari "The Sparsely-Gated Mixture-of-Experts Layer" oleh Noam Shazeer dkk. https://arxiv.org/abs/1701.06538
★ 1.253+0Perubahan bintang dalam 7 hari terakhir - #8★ 1.088+1Perubahan bintang dalam 7 hari terakhir
- #9
Tutel MoE: Pustaka Mixture-of-Experts yang dioptimalkan, mendukung GptOss/DeepSeek/Kimi-K2/Qwen3 menggunakan FP8/NVFP4/MXFP4
★ 1.018+2Perubahan bintang dalam 7 hari terakhir - #10
⛷️ LLaMA-MoE: Membangun Mixture-of-Experts dari LLaMA dengan Pra-pelatihan Berkelanjutan (EMNLP 2024)
★ 1.002+1Perubahan bintang dalam 7 hari terakhir - #11
Frontend cuDNN adalah titik masuk modern dan sumber terbuka milik NVIDIA ke perpustakaan cuDNN serta kumpulan kernel sumber terbuka performa tinggi yang terus berkembang.
★ 932+9Perubahan bintang dalam 7 hari terakhir - #12★ 912+0Perubahan bintang dalam 7 hari terakhir
- #13
Implementasi dari nol untuk model bahasa sparse mixture of experts yang terinspirasi oleh makemore karya Andrej Karpathy.
★ 814+0Perubahan bintang dalam 7 hari terakhir - #14
Swiftlet adalah runtime Swift dan Metal yang menjalankan model Qwen Mixture-of-Experts secara lokal di perangkat Apple dengan melakukan streaming bobot expert dari penyimpanan, memungkinkan model 35B dan 80B berjalan dengan RAM rendah, termasuk di iPhone.
★ 631+51Perubahan bintang dalam 7 hari terakhir - #15
Model Bahasa Besar Campuran Pakar Mixtral Bahasa Tionghoa (Chinese Mixtral MoE LLMs)
★ 612+0Perubahan bintang dalam 7 hari terakhir - #16
Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp
★ 551+19Perubahan bintang dalam 7 hari terakhir - #17
Krasis adalah runtime Hybrid LLM yang berfokus pada efisiensi menjalankan model yang lebih besar pada perangkat keras tingkat konsumen dengan VRAM terbatas
★ 519+3Perubahan bintang dalam 7 hari terakhir - #18
Pustaka untuk menggabungkan beberapa ahli LLM dengan mudah, dan melatih LLM yang digabungkan secara efisien.
★ 516+0Perubahan bintang dalam 7 hari terakhir
