xlite-dev/Awesome-LLM-Inference

📚 Uma lista curada de artigos incríveis sobre inferência de LLM/VLM com código: Flash-Attention, Paged-Attention, WINT8/4, paralelismo, etc. 🎉

↗ Abrir no GitHub

Estrelas

5.482

Bifurcações

429

Linguagem

Python

Licença

GPL-3.0

Último push

há 4 semanas

Python llm-inference vllm deepseek tensorrt-llm deepseek-r1 flash-attention paged-attention qwen3 deepseek-v3 awesome-llm flash-attention-3 flash-mla minimax-01 mla

Ainda não há intel relacionado

Este repo ainda não apareceu em nenhuma das fontes que o radar rastreia. O coletor roda em um cronograma — volte quando ele cobrir este repo.