flashinfer-ai/flashinfer

FlashInfer: Biblioteca de kernel para servir LLMs.

↗ Abrir no GitHub

Estrelas

6.321

Bifurcações

1.380

Linguagem

Python

Licença

Apache-2.0

Último push

há 1 semana

Python cuda llm-inference pytorch jit gpu nvidia attention moe distributed-inference large-large-models

Ainda não há intel relacionado

Este repo ainda não apareceu em nenhuma das fontes que o radar rastreia. O coletor roda em um cronograma — volte quando ele cobrir este repo.