SigmanticAI/apex-inference-chip
@SigmanticAIFPGA上で実際のLLM(Qwen2.5-0.5B)を実行する推論チップ設計。RTLで実装された1つのトランスフォーマーデコーダ層は、すべてのシリコン値がゴールデンモデルとビット単位で一致します。測定値は0.56 tok/s、140倍の向上を達成し、完全な検証証跡を備えています。
スター
616
フォーク
11
言語
Python
ライセンス
Apache-2.0
最終プッシュ
3 週間前
関連 Intel(0)
関連 Intel はまだありません
このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。