メインコンテンツへスキップ
buildradar
Sign in

FasterDecoding/Medusa

@FasterDecoding

Medusa: 複数のデコードヘッドでLLMの生成を加速するシンプルなフレームワーク

スター
2,771
フォーク
205
言語
Jupyter Notebook
ライセンス
Apache-2.0
最終プッシュ
2 年前
Jupyter Notebookllmllm-inference

関連 Intel はまだありません

このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。