jmaczan/tiny-vllm

@jmaczan

Baue deine eigene performante LLM-Inferenz-Engine in C++ und CUDA – eine kleinere Version von vLLM

↗ Auf GitHub öffnen

Sterne

1.094

Forks

Sprache

C++

Lizenz

Apache-2.0

Letzter Push

vor 2 Wochen

C++cpp ai llm cuda llm-inference vllm hpc inference course attention batching pagedattention tiny-vllm

Noch keine verwandte Intel

Dieses Repo ist noch in keiner der vom Radar verfolgten Quellen aufgetaucht. Der Collector läuft nach Zeitplan — schau wieder vorbei, sobald er dieses Repo abdeckt.

Verwandte Intel (0)

Noch keine verwandte Intel