inference-optimization
Repositorios de código abierto monitorizados etiquetados con inference-optimization, ordenados por estrellas.
Temas relacionados
Temas que aparecen con frecuencia junto a inference-optimization en un mismo repositorio.
Emergentes recientes
Repositorios creados en los últimos 90 días, etiquetados con inference-optimization.
- #1
Learn LLM Inference Engineering step by step - from KV cache, PagedAttention, and continuous batching to vLLM, SGLang, and GPUs.
★ 221
- #1
Operadores de inferencia de redes neuronales de punto flotante de alta eficiencia para móviles, servidores y Web.
★ 2439+2Variación de estrellas de los últimos 7 días - #2
Materiales del curso de sistemas eficientes de Deep Learning.
★ 1031+2Variación de estrellas de los últimos 7 días - #3
BladeDISC es un proyecto de compilador de formas dinámicas (Dynamic Shape Compiler) de extremo a extremo para cargas de trabajo de aprendizaje automático.
★ 932+0Variación de estrellas de los últimos 7 días - #4
Krasis es un entorno de ejecución de LLM híbrido que se centra en la ejecución eficiente de modelos grandes en hardware de consumo con VRAM limitada.
★ 518+2Variación de estrellas de los últimos 7 días
