patchy631/time-to-first-token

LLM 推論サービングと最適化のための、1日30分・10週間のロードマップ。vLLM、SGLang、量子化、予測デコード、ベンチマーク。

↗ GitHub で開く

スター

880

フォーク

103

言語

HTML

ライセンス

Apache-2.0

最終プッシュ

3 週間前

HTML llm llm-inference vllm mlops roadmap learning-resources sglang

関連 Intel はまだありません

このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。