jmaczan/tiny-vllm

Construa seu próprio motor de inferência LLM de alto desempenho em C++ e CUDA - uma versão reduzida do vLLM.

↗ Abrir no GitHub

Estrelas

1.094

Bifurcações

85

Linguagem

C++

Licença

Apache-2.0

Último push

há 2 semanas

C++cpp ai llm cuda llm-inference vllm hpc inference course attention batching pagedattention tiny-vllm

Ainda não há intel relacionado

Este repo ainda não apareceu em nenhuma das fontes que o radar rastreia. O coletor roda em um cronograma — volte quando ele cobrir este repo.