zhihu/ZhiLight

Um motor de aceleração de inferência de LLM altamente otimizado para Llama e suas variantes.

↗ Abrir no GitHub

Estrelas

908

Bifurcações

104

Linguagem

C++

Licença

Apache-2.0

Último push

há 6 meses

C++llm cuda gpt llm-inference pytorch llama inference-engine deepseek-r1 llm-serving model-serving

Ainda não há intel relacionado

Este repo ainda não apareceu em nenhuma das fontes que o radar rastreia. O coletor roda em um cronograma — volte quando ele cobrir este repo.