flashinfer-ai/flashinfer

FlashInfer: Biblioteca de kernels para servir LLM

↗ Abrir en GitHub

Estrellas

6321

Bifurcaciones

1380

Lenguaje

Python

Licencia

Apache-2.0

Último push

hace 4 días

Python cuda llm-inference pytorch jit gpu nvidia attention moe distributed-inference large-large-models

Aún no hay intel relacionado

Este repo no ha aparecido en ninguna de las fuentes que rastrea el radar. El recopilador funciona con un horario — vuelve cuando lo haya cubierto.