zhihu/ZhiLight

Un motor de aceleración de inferencia LLM altamente optimizado para Llama y sus variantes.

↗ Abrir en GitHub

Estrellas

908

Bifurcaciones

104

Lenguaje

C++

Licencia

Apache-2.0

Último push

hace 6 meses

C++llm cuda gpt llm-inference pytorch llama inference-engine deepseek-r1 llm-serving model-serving

Aún no hay intel relacionado

Este repo no ha aparecido en ninguna de las fuentes que rastrea el radar. El recopilador funciona con un horario — vuelve cuando lo haya cubierto.