vllm-project
Dépôts open source suivis de vllm-project, triés par étoiles.
- #1
Un moteur d'inférence et de service à haut débit et économe en mémoire pour les LLM
★ 90 817+402Évolution des étoiles sur les 7 derniers jours - #2★ 6 593+136Évolution des étoiles sur les 7 derniers jours
- #3
Un routeur programmable de mélange de modèles pour l'inférence LLM hétérogène
★ 5 506+101Évolution des étoiles sur les 7 derniers jours - #4★ 5 053+10Évolution des étoiles sur les 7 derniers jours
- #5
Bibliothèque compatible avec Transformers pour appliquer divers algorithmes de compression aux LLM, optimisant ainsi leur déploiement avec vLLM.
★ 3 753+17Évolution des étoiles sur les 7 derniers jours - #6
Plugin Fzf pour Fish
★ 2 749+19Évolution des étoiles sur les 7 derniers jours - #7
Système de référence de vLLM pour le déploiement natif Kubernetes à l'échelle du cluster avec une optimisation des performances pilotée par la communauté.
★ 2 550+13Évolution des étoiles sur les 7 derniers jours - #8
Plugin matériel maintenu par la communauté pour vLLM sur Apple Silicon
★ 1 679+22Évolution des étoiles sur les 7 derniers jours - #9
Évaluez et améliorez vos déploiements LLM pour les besoins d'inférence en conditions réelles
★ 1 573+20Évolution des étoiles sur les 7 derniers jours - #10★ 1 011+13Évolution des étoiles sur les 7 derniers jours
- #11
Une bibliothèque unifiée pour construire, évaluer et stocker des algorithmes de décodage spéculatif pour l'inférence LLM dans vLLM.
★ 815+29Évolution des étoiles sur les 7 derniers jours
