jmaczan/tiny-vllm

使用 C++ 与 CUDA 构建你自己的高性能 LLM 推理引擎 - vLLM 的精简版

↗ 在 GitHub 打开

星数

1,094

Fork 数

85

语言

C++

许可

Apache-2.0

最后推送

2周前

C++cpp ai llm cuda llm-inference vllm hpc inference course attention batching pagedattention tiny-vllm

还没有相关情报

radar 追踪的来源里还没有出现过这个 repo。收集器按计划运行——等它覆盖到这个 repo 再回来看看。