vllm-project/speculators
@vllm-projectvLLM における LLM 推論用の予測デコード（speculative decoding）アルゴリズムの構築、評価、保存を行うための統合ライブラリ
スター
809
フォーク
210
言語
Python
ライセンス
Apache-2.0
最終プッシュ
23 時間前
関連 Intel（0）
関連 Intel はまだありません
このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。