NVMe から活性化された重みを直接ストリーミングすることで、利用可能な RAM を超えて 2.78 兆パラメータの Kimi K3 モデル全体を実行。依存関係のない埋め込み型 C 推論エンジン
このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。
