llm-inference

GPT4All: あらゆるデバイスでローカルLLMを実行。オープンソースで商用利用可能。

RayはAIコンピューティングエンジンです。Rayは、コアとなる分散ランタイムと、MLワークロードを高速化するためのAIライブラリ群で構成されています。

Gitleaksでシークレットを検索 🔑

本プロジェクトは、大規模モデル関連の技術原理および実戦経験（大規模モデルのエンジニアリング、大規模モデルのアプリケーション実装）を共有することを目的としています。

事前学習、ファインチューニング、および大規模展開のためのレシピを備えた20以上の高性能LLM。

DeepSeekやLlamaなどのオープンソースLLMを、クラウド上でOpenAI互換のAPIエンドポイントとして実行できます。

OpenVINO™は、AI推論の最適化とデプロイのためのオープンソースツールキットです。

ローカルデプロイメントのための高速大規模言語モデルサービング

AIアプリやモデルを配信する最も簡単な方法 - モデル推論API、ジョブキュー、LLMアプリ、マルチモデルパイプラインなどを構築！

LMDeployは、LLMの圧縮、デプロイ、サービングのためのツールキットである。

データセンター規模の分散推論サービングフレームワーク

AlphaEvolveのオープンソース実装

Planoは、エージェンティックアプリのためのAIネイティブなプロキシサーバーおよびデータプレーンです。スマートなLLMルーティング、オブザーバビリティ、エージェントオーケストレーション、ガードレールを提供し、エージェントのコアロジックに集中できます。

2.78兆パラメータのKimi K3を単一CPU上で8.24 GBのRAMで推論実行。ポータブルC99: BLAS、フレームワーク、GPUなし。

MシリーズのMacBookであれば、約2GBのRAMでGemma 4 26B-A4Bの推論を実行可能。

FlashInfer: LLMサービングのためのカーネルライブラリ

モバイル、ウェアラブル、スマートホーム、ロボット向けの量子化、カーネル、ランタイム、推論エンジン。

Kubernetes上でのスケーラブルなマルチフレームワーク展開に対応した標準化された分散型生成AIおよび予測AI推論プラットフォーム

⚡ 純粋なRustによるWebGPU推論エンジン — OpenAI-API互換、GGUFネイティブ、あらゆるGPUで動作。Python不要。llama.cpp不要。単一バイナリ。

高性能なAIモデルサービング（vLLM, SGLang）およびオンデマンドのSSHアクセス可能なGPUインスタンスのためのGPUクラスターマネージャー。

Lemonadeは、ユーザーが自身のGPUやNPUから最適化されたLLMを配信することで、ローカルAIアプリの発見と実行を支援します。Discordに参加: https://discord.gg/5xXzkMu8Zk

📚コード付きの素晴らしいLLM/VLM推論論文の厳選リスト：Flash-Attention、Paged-Attention、WINT8/4、Parallelismなど🎉

Superduper: カスタムAIアプリケーションおよびエージェントを構築するためのエンドツーエンドフレームワーク。

Eko (Eko Keeps Operating) - 自然言語による本番環境対応のエージェンティックワークフローを構築 - eko.fellou.ai

RuVectorは、Rustで構築された高性能、リアルタイム、自己学習型のAI、Vector GNN、Memory DBです。

LLMの推論プロキシの最適化

加速化されたインフラストラクチャとマイクロサービスアーキテクチャに最適化された生成AIリファレンスワークフロー。

数千のファインチューニングされたLLMに対応するマルチLoRA推論サーバー。

物語やモデルを構築するための科学的手法、プロセス、アルゴリズム、システムのコレクション。

オペクショナルデータベースにリアルタイム分析ノードを追加します。Spice は、データグラウンデッドな AI アプリやエージェント向けに Rust で書かれた、ポータブルで高速化された SQL クエリ、検索、LLM 推論エンジンです。