jmaczan/tiny-vllm

C++とCUDAで高性能なLLM推論エンジンを構築する - vLLMの軽量版

↗ GitHub で開く

スター

1,094

フォーク

85

言語

C++

ライセンス

Apache-2.0

最終プッシュ

2 週間前

C++cpp ai llm cuda llm-inference vllm hpc inference course attention batching pagedattention tiny-vllm

関連 Intel はまだありません

このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。