inference-optimization
Erfasste Open-Source-Repos mit dem Tag inference-optimization, sortiert nach Sternen.
Verwandte Themen
Themen, die häufig gemeinsam mit inference-optimization am selben Repo auftauchen.
Neue Aufsteiger
Repos, die in den letzten 90 Tagen erstellt und mit inference-optimization getaggt wurden.
- #1
Learn LLM Inference Engineering step by step - from KV cache, PagedAttention, and continuous batching to vLLM, SGLang, and GPUs.
★ 221
- #1
Hocheffiziente Gleitkomma-Inferenzoperatoren für neuronale Netze für Mobilgeräte, Server und das Web
★ 2.440+6Sterne-Änderung der letzten 7 Tage - #2
Kursmaterialien für effiziente Deep-Learning-Systeme
★ 1.030+4Sterne-Änderung der letzten 7 Tage - #3
BladeDISC ist ein End-to-End Dynamic Shape Compiler-Projekt für Machine-Learning-Workloads.
★ 931-1Sterne-Änderung der letzten 7 Tage - #4
Krasis ist eine hybride LLM-Laufzeitumgebung, die auf den effizienten Betrieb größerer Modelle auf Hardware mit begrenztem VRAM für Endverbraucher spezialisiert ist.
★ 516+3Sterne-Änderung der letzten 7 Tage
