inference-optimization
Repositori open source terpantau bertanda inference-optimization, diurutkan berdasarkan bintang.
Topik terkait
Topik yang sering muncul berdampingan dengan inference-optimization di repositori yang sama.
Yang sedang naik
Repositori yang dibuat dalam 90 hari terakhir dan bertanda inference-optimization.
- #1
Learn LLM Inference Engineering step by step - from KV cache, PagedAttention, and continuous batching to vLLM, SGLang, and GPUs.
★ 221
- #1
Operator inferensi jaringan saraf titik mengambang efisiensi tinggi untuk seluler, server, dan Web
★ 2.437+6Perubahan bintang dalam 7 hari terakhir - #2
Materi kursus Efficient Deep Learning Systems
★ 1.028+4Perubahan bintang dalam 7 hari terakhir - #3
BladeDISC adalah proyek Compiler Dynamic Shape end-to-end untuk beban kerja machine learning.
★ 932-1Perubahan bintang dalam 7 hari terakhir - #4
Krasis adalah runtime Hybrid LLM yang berfokus pada efisiensi menjalankan model yang lebih besar pada perangkat keras tingkat konsumen dengan VRAM terbatas
★ 516+3Perubahan bintang dalam 7 hari terakhir
