Repositórios de código aberto acompanhados de jmaczan, ordenados por estrelas.
Construa seu próprio motor de inferência LLM de alto desempenho em C++ e CUDA - uma versão reduzida do vLLM.