mixture-of-experts
Repositórios de código aberto acompanhados marcados com mixture-of-experts, ordenados por estrelas.
Tópicos relacionados
Tópicos que aparecem com frequência ao lado de mixture-of-experts no mesmo repositório.
Em ascensão recentemente
Repositórios criados nos últimos 90 dias e marcados com mixture-of-experts.
- #1
Um Kimi K3 de 2,78 trilhões de parâmetros executando inferência em uma única CPU com 8,24 GB de RAM. C99 portátil: sem BLAS, sem framework, sem GPU.
★ 7.493 - #2
Swiftlet é um runtime Swift e Metal que executa grandes modelos Qwen Mixture-of-Experts localmente em dispositivos Apple, transmitindo pesos de especialistas do armazenamento, permitindo que modelos de 35B e 80B rodem com pouca RAM, inclusive no iPhone.
★ 631 - #3
Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp
★ 550 - #4
Run Qwen3.8-Flash-Next (125B MoE, 104 GB at 4-bit) on Macs with a fraction of that RAM by streaming experts from SSD. MLX + Swift, Ollama-compatible API.
★ 287
- #1
O DeepSpeed é uma biblioteca de otimização de deep learning que torna o treinamento e a inferência distribuídos fáceis, eficientes e eficazes.
★ 43.058+0Variação de estrelas nos últimos 7 dias - #2
Um Kimi K3 de 2,78 trilhões de parâmetros executando inferência em uma única CPU com 8,24 GB de RAM. C99 portátil: sem BLAS, sem framework, sem GPU.
★ 7.493+300Variação de estrelas nos últimos 7 dias - #3★ 4.260+0Variação de estrelas nos últimos 7 dias
- #4
Deep learning descentralizado em PyTorch. Criado para treinar modelos em milhares de voluntários ao redor do mundo.
★ 2.515+0Variação de estrelas nos últimos 7 dias - #5
Execute modelos Mixtral-8x7B no Colab ou em desktops domésticos.
★ 2.334+0Variação de estrelas nos últimos 7 dias - #6★ 2.322+0Variação de estrelas nos últimos 7 dias
- #7
Reimplementação em PyTorch de "The Sparsely-Gated Mixture-of-Experts Layer" por Noam Shazeer et al. https://arxiv.org/abs/1701.06538
★ 1.253+0Variação de estrelas nos últimos 7 dias - #8★ 1.088+1Variação de estrelas nos últimos 7 dias
- #9
Tutel MoE: Biblioteca otimizada de Mixture-of-Experts, com suporte a GptOss/DeepSeek/Kimi-K2/Qwen3 usando FP8/NVFP4/MXFP4
★ 1.018+2Variação de estrelas nos últimos 7 dias - #10
LLaMA-MoE: Construindo Mixture-of-Experts a partir do LLaMA com pré-treinamento contínuo (EMNLP 2024).
★ 1.002+1Variação de estrelas nos últimos 7 dias - #11
O frontend do cuDNN é o ponto de entrada moderno e de código aberto da NVIDIA para a biblioteca cuDNN e uma coleção crescente de kernels de código aberto de alto desempenho.
★ 932+9Variação de estrelas nos últimos 7 dias - #12★ 912+0Variação de estrelas nos últimos 7 dias
- #13
Implementação do zero de um modelo de linguagem de mistura esparsa de especialistas, inspirado no makemore de Andrej Karpathy :)
★ 814+0Variação de estrelas nos últimos 7 dias - #14
Swiftlet é um runtime Swift e Metal que executa grandes modelos Qwen Mixture-of-Experts localmente em dispositivos Apple, transmitindo pesos de especialistas do armazenamento, permitindo que modelos de 35B e 80B rodem com pouca RAM, inclusive no iPhone.
★ 631+48Variação de estrelas nos últimos 7 dias - #15
Modelos de Grandes Misturas de Especialistas (Mixtral MoE LLMs) em Chinês
★ 612+0Variação de estrelas nos últimos 7 dias - #16
Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp
★ 550+18Variação de estrelas nos últimos 7 dias - #17
Krasis é um runtime LLM híbrido focado na execução eficiente de modelos maiores em hardware de nível de consumidor com VRAM limitada.
★ 519+3Variação de estrelas nos últimos 7 dias - #18
Uma biblioteca para mesclar facilmente vários especialistas em LLM e treinar o LLM mesclado de forma eficiente.
★ 516+1Variação de estrelas nos últimos 7 dias
