inference-optimization
Repositórios de código aberto acompanhados marcados com inference-optimization, ordenados por estrelas.
Tópicos relacionados
Tópicos que aparecem com frequência ao lado de inference-optimization no mesmo repositório.
Em ascensão recentemente
Repositórios criados nos últimos 90 dias e marcados com inference-optimization.
- #1
Learn LLM Inference Engineering step by step - from KV cache, PagedAttention, and continuous batching to vLLM, SGLang, and GPUs.
★ 221
- #1
Operadores de inferência de rede neural de ponto flutuante de alta eficiência para dispositivos móveis, servidores e Web
★ 2.439+2Variação de estrelas nos últimos 7 dias - #2
Materiais do curso de Sistemas de Deep Learning Eficientes
★ 1.031+2Variação de estrelas nos últimos 7 dias - #3
BladeDISC é um projeto de compilador de formato dinâmico (Dynamic Shape Compiler) de ponta a ponta para cargas de trabalho de aprendizado de máquina.
★ 932+0Variação de estrelas nos últimos 7 dias - #4
Krasis é um runtime LLM híbrido focado na execução eficiente de modelos maiores em hardware de nível de consumidor com VRAM limitada.
★ 518+2Variação de estrelas nos últimos 7 dias
