メインコンテンツへスキップ
buildradar
Sign in

SigmanticAI/apex-inference-chip

@SigmanticAI

FPGA上で実際のLLM(Qwen2.5-0.5B)を実行する推論チップ設計。RTLで実装された1つのトランスフォーマーデコーダ層は、すべてのシリコン値がゴールデンモデルとビット単位で一致します。測定値は0.56 tok/s、140倍の向上を達成し、完全な検証証跡を備えています。

スター
616
フォーク
11
言語
Python
ライセンス
Apache-2.0
最終プッシュ
3 週間前
Python

関連 Intel はまだありません

このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。