zhihu/ZhiLight

Un moteur d'accélération d'inférence LLM hautement optimisé pour Llama et ses variantes.

↗ Ouvrir sur GitHub

Étoiles

908

Bifurcations

104

Langage

C++

Licence

Apache-2.0

Dernier push

il y a 6 mois

C++llm cuda gpt llm-inference pytorch llama inference-engine deepseek-r1 llm-serving model-serving

Aucune intel associée pour le moment

Ce dépôt n'est encore apparu dans aucune des sources que le radar suit. Le collecteur suit un calendrier — revenez une fois qu'il couvre ce dépôt.