inference-optimization
Dépôts open source suivis étiquetés inference-optimization, triés par étoiles.
Sujets associés
Sujets qui apparaissent souvent aux côtés de inference-optimization sur un même dépôt.
Ascensions récentes
Dépôts créés au cours des 90 derniers jours et étiquetés inference-optimization.
- #1
Learn LLM Inference Engineering step by step - from KV cache, PagedAttention, and continuous batching to vLLM, SGLang, and GPUs.
★ 221
- #1
Opérateurs d'inférence de réseaux de neurones à virgule flottante haute efficacité pour mobile, serveur et Web.
★ 2 439+2Évolution des étoiles sur les 7 derniers jours - #2
Supports de cours sur les systèmes d'apprentissage profond efficaces
★ 1 031+2Évolution des étoiles sur les 7 derniers jours - #3
BladeDISC est un projet de compilateur de formes dynamiques (Dynamic Shape Compiler) de bout en bout pour les charges de travail d'apprentissage automatique.
★ 932+0Évolution des étoiles sur les 7 derniers jours - #4
Krasis est un runtime LLM hybride axé sur l'exécution efficace de grands modèles sur du matériel grand public à VRAM limitée.
★ 518+2Évolution des étoiles sur les 7 derniers jours
