Pemilik · vllm-project

vllm-project

Repositori open source terpantau milik vllm-project, diurutkan berdasarkan bintang.

11 repositori

#1
vllm ↗@vllm-projectPython
Mesin inferensi dan serving ber-throughput tinggi serta hemat memori untuk LLM
★ 90.817+647Perubahan bintang dalam 7 hari terakhir
#2
vllm-omni ↗@vllm-projectPython
Framework untuk inferensi model yang efisien dengan model omni-modality
★ 6.593+216Perubahan bintang dalam 7 hari terakhir
#3
semantic-router ↗@vllm-projectGo
Router Mixture-of-Models yang dapat diprogram untuk inferensi LLM heterogen.
★ 5.506+182Perubahan bintang dalam 7 hari terakhir
#4
aibrix ↗@vllm-projectGo
Komponen infrastruktur yang hemat biaya dan dapat dipasang untuk inferensi GenAI
★ 5.053+15Perubahan bintang dalam 7 hari terakhir
#5
llm-compressor ↗@vllm-projectPython
Perpustakaan yang kompatibel dengan Transformers untuk menerapkan berbagai algoritma kompresi pada LLM guna optimalisasi penerapan dengan vLLM
★ 3.753+26Perubahan bintang dalam 7 hari terakhir
#6
vllm-ascend ↗@vllm-projectC++
Plugin perangkat keras yang dikelola komunitas untuk vLLM di Ascend
★ 2.749+31Perubahan bintang dalam 7 hari terakhir
#7
production-stack ↗@vllm-projectPython
Sistem referensi vLLM untuk penerapan klaster K8S-native dengan optimasi performa berbasis komunitas.
★ 2.550+24Perubahan bintang dalam 7 hari terakhir
#8
vllm-metal ↗@vllm-projectPython
Plugin perangkat keras yang dikelola komunitas untuk vLLM di Apple Silicon
★ 1.679+31Perubahan bintang dalam 7 hari terakhir
#9
guidellm ↗@vllm-projectPython
Evaluasi dan Tingkatkan Deploy LLM Anda untuk Kebutuhan Inferensi Dunia Nyata
★ 1.573+24Perubahan bintang dalam 7 hari terakhir
#10
recipes ↗@vllm-projectJavaScript
Resep umum untuk menjalankan vLLM
★ 1.007+12Perubahan bintang dalam 7 hari terakhir
#11
speculators ↗@vllm-projectPython
Pustaka terpadu untuk membangun, mengevaluasi, dan menyimpan algoritma speculative decoding untuk inferensi LLM di vLLM
★ 807+27Perubahan bintang dalam 7 hari terakhir

← Kembali ke peringkat pemilik