inference

Continual learning infra for self-improving agents

TensorRT C++ API チュートリアル

インストールや Bazel なしで TensorFlow モデルを C++ で実行

マジックナンバーのシグネチャをチェックしてバイナリファイルのタイプを推測する、小型で依存関係のない高速なPythonパッケージ

SageMaker Studio Lab を操作するためのサンプルノートブック。以下のリンクからアカウントに登録してください！

AI生産性向上ツール - 無料かつオープンソースで、ユーザーの生産性を向上させ、プライバシーとデータのセキュリティを保護します。内蔵のローカル専用ChatGPT、DeepSeek、Phi、Qwenなどのモデル、画像・動画・音声などのワンクリック一括インテリジェント処理を含みますが、これらに限定されません。

⚡ Apple Silicon向けのネイティブなMLX Swift LLM推論サーバー。OpenAI互換API、100B+ MoEモデル向けのSSDストリーミング、TurboQuant KVキャッシュ圧縮、macOSおよびiOS iPhoneアプリを搭載。

軽量な LLM モデル推論フレームワーク

マイクロコントローラおよび組み込みデバイス向けの機械学習推論エンジン

WAF の種類を特定するツール

yolort は、tensorrt、libtorch、onnxruntime、tvm、ncnn などの専用アクセラレータ上で yolov5 を実行するためのランタイムスタックです。

Privacy Meter: 統計および機械学習アルゴリズムのデータプライバシーを監査するオープンソースライブラリ

Graph Data Science: ナレッジグラフ構築のための Python 抽象化レイヤー。Pandas、NetworkX、RAPIDS、RDFlib、pySHACL、PyVis、morph-kgc、pslpython、pyarrow などの人気のグラフライブラリと統合されています。

古典的な ML モデル向けの Ollama。XGBoost、LightGBM、scikit-learn、CatBoost、ONNX モデルをネイティブの C99 推論コードに変換する AOT コンパイラ。1 つのコマンドでロードし、1 つのコマンドでサーブする。Python 推論より 336 倍高速。

最先端の yolov3 物体検出器をスクラッチからトレーニングする

純粋なRust + CUDAによるLLM推論エンジン — PyTorchなし、OpenAI互換、Qwen3からKimi-K2まで提供

LLM推論システム向けの正確、大規模、拡張可能なシミュレーター

ハードウェアアクセラレーションをサポートする、組み込みデバイス向けの軽量でポータブルな純粋な C99 製 onnx 推論エンジン。

高性能サーバーレス GPU タスクオーケストレーション — wavespeed.ai の裏にあるスケジューリングレイヤー

Deep Learning Streamer (DL Streamer) Pipeline Framework は、GStreamer* マルチメディアフレームワークをベースにしたオープンソースのストリーミングメディア分析フレームワークで、クラウドやエッジ向けに複雑なメディア分析パイプラインを構築するために使用されます。

llama3の推論をステップバイステップで実現し、コア概念を理解し、プロセスの導出をマスターし、コードを実装する。

mmdetectionモデルをTensorRTに変換し、fp16、int8、バッチ入力、動的シェイプなどをサポートする。

Inference-native Tokenmaxxing Agent Harness for Loop Engineering

YOLO による小物体検出およびインスタンスセグメンテーションのための Python ライブラリ

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

オープンソースの LLM を簡単にファインチューニング、構築、デプロイ！

Kubernetes上でディープラーニングのワークロードをより簡単かつ効率的に実行する

Triton Model Analyzer は、Triton Inference Server モデルの計算およびメモリ要件をよりよく理解するための CLI ツールです。

A project that optimizes OWL-ViT for real-time inference with NVIDIA TensorRT.

セキュアエンクレーブを使用した機密性の高い AI デプロイメント :lock: