inference-engine

✍🏻 ソースコード深掘り、システム設計＆エンジニアリングブログ | Halfrost-Field 氷霜之地：ソースコード解析、システム設計とエンジニアリング実践ノート

2.78兆パラメータのKimi K3を単一CPU上で8.24 GBのRAMで推論実行。ポータブルC99: BLAS、フレームワーク、GPUなし。

FEDML - 大規模分散学習、モデルサービング、フェデレーテッドラーニングのための統一的でスケーラブルなMLライブラリ。クロスクラウドスケジューラであるFEDML Launchにより、あらゆるAIジョブをあらゆるGPUクラウドまたはオンプレミスクラスターで実行可能になります。このライブラリを基盤として、TensorOpera AI (https://TensorOpera.ai) はスケーラブルな生成AIプラットフォームを提供します。

新卒採用、秋採用、春採用、インターンシップに最適なプロジェクト！ゼロから高性能なディープラーニング推論ライブラリの実装を学び、llama2、Unet、Yolov5、Resnetなどの大規模モデルの推論をサポートします。

Golang によるルールエンジンの実装

OneDiff: diffusion models 向けのすぐに使える高速化ライブラリ。

MLX 上で 3 倍高速化 | Qwen 3.8 27B | 外部ドラフターなしで Apple Silicon 上のネイティブ MTP Speculative Decoding に対応

大規模LLM推論エンジン

多様な AI アクセラレータ向けに最適化された、LLM、VLM、DiT、REC モデル用の高性能推論エンジン。OpenAtom Foundation でホストされています。

動的な GPU 共有などのための仮想化 Elastic KV キャッシュ

Qualcomm® AI Hub Modelsは、パフォーマンス（レイテンシやメモリなど）が最適化され、Qualcomm®デバイスへのデプロイの準備が整った最先端の機械学習モデルのコレクションです。

Paddle.jsは、ブラウザ上で動作するオープンソースのディープラーニングフレームワークであるBaidu PaddlePaddleのためのWebプロジェクトです。Paddle.jsは、事前トレーニング済みのモデルをロードするか、Paddle.jsが提供するモデル変換ツールを使用してpaddle-hubからモデルを変換することができます。WebGL、WebGPU、WebAssemblyをサポートするすべてのブラウザで動作します。また、Baidu SmartprogramやWX miniprogramでも動作します。

NobodyWho は、あらゆるデバイス上で LLM をローカルかつ効率的に実行できる推論エンジンです。

MLX Studio - JANG_Qのホーム - 画像生成/編集 ＋ チャット/コード一体型 - ＋ OpenClaw (Anthropic API)

Llamaとその派生モデル向けの高最適化されたLLM推論加速エンジン。

多機能な Python コンピュータービジョンおよびビデオ分析フレームワーク

純粋なRust + CUDAによるLLM推論エンジン — PyTorchなし、OpenAI互換、Qwen3からKimi-K2まで提供

Apple Silicon で最大 4 倍高速なロスレス LLM デコード。DeepSeek の DSpark および z-lab の DFlash スペキュラティブデコードのネイティブ MLX ポート — Gemma-4、Qwen3.8、Muse-Glimmer、Nemotron、Ornith-1.0、三値 Bonsai-27B。

もう一つの言語モデル：C++/CUDA による LLM 推論（入出力以外のライブラリなし）

pylint などのプロジェクト向けの Python ソースコードの共通ベース表現

キャンパス採用やインターンシップに最適なプロジェクト。ゼロから手を動かして、LLaMA2/3およびQwen2.5をサポートする大規模言語モデル（LLM）推論フレームワークを実装します。

教師モデルからタイルまで — フルスクラッチのLLM蒸留・サービングエンジン：カスタムTriton/CUDAカーネル、FSDP蒸留、ページ化KV連続バッチ処理、推測デコーディング、Rustゲートウェイ、JAXオラクル、および解釈可能性ツール。

Krasis は、VRAM が限られたコンシューマー向けハードウェア上で大型モデルを効率的に実行することに特化したハイブリッド LLM ランタイムです

Intel デバイス向け推論エンジン。OpenAI エンドポイント経由で LLM、VLM、Whisper、Kokoro-TTS、埋め込み、再ランク付けモデルを提供します。