llm-inference

分散型 LLM 推論。ホームデバイスを強力なクラスターに接続して LLM 推論を高速化します。デバイスが多いほど推論が高速になります。

Medusa: 複数のデコードヘッドでLLMの生成を加速するシンプルなフレームワーク

EAGLE-1 (ICML'24)、EAGLE-2 (EMNLP'24)、EAGLE-3 (NeurIPS'25) の公式実装

企業ではなくコミュニティによって構築された、ターミナル向けのオープンなコーディングエージェント。独自のモデルを持ち込み、コードを自分のマシンの上に保持し、誰にも縛られません。

本番環境対応の AI 駆動型アプリケーションを構築するための PHP エコシステムの Agentic フレームワーク。コンポーネント（LLM、ツール、ベクトル DB、メモリ）を、データや UI と対話するエージェントに接続します。

AICI: プロンプトとしての（Wasm）プログラム

Linux、Windows、Macの環境を問わず、GPUまたはCPU上でgradio UIを使用してLlama 2をローカルで実行。Generative Agents/Appsのローカルllama2バックエンドとして`llama2-wrapper`を使用できます。

超高速なサーバーレス GPU 推論、サンドボックス、バックグラウンドジョブ

ExecuTorch を活用し、React Native でデバイス上の AI モデルを実行する宣言的な方法。

オープンソースの継続的推論ベンチマーク研究プラットフォーム — Kimi K3 2.8T、MiniMax M3、DeepSeekv4、GLM5 - GB200 NVL72対MI355X対B200対GB300 NVL72、まもなく™ TPUv6e/v7/Trainium2/3 に対応

多様な AI アクセラレータ向けに最適化された、LLM、VLM、DiT、REC モデル用の高性能推論エンジン。OpenAtom Foundation でホストされています。

クレジット、助成金、リソースを通じてインドのAIを育成する非営利団体

llama、deepseek-distill、kokoro などのローカル LLM をブラウザ内で実行

AI を活用してウェブ検索を行えるソフトウェアのリスト: https://hf.co/spaces/felladrin/awesome-ai-web-search

エージェント向けのローカル AI アプリおよび推論エンジン。オープンウェイトの LLM をコンピュータ上でローカルに実行可能 — プライベート、100% オフライン。Discord への参加はこちら: https://discord.com/invite/8wGSsvmg4V

TPU 上での LLM スケーリングに関するブログ形式の短い解説書「How To Scale Your Model」のホーム

複数のドメインにわたる最高峰のペネトレーションテストツールと生産性ユーティリティの厳選されたコレクション。参加して探索、貢献し、ハッキングツールキットを強化しよう！

Leanでの定理証明のコパイロットとしてのLLM

動的な GPU 共有などのための仮想化 Elastic KV キャッシュ

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

ローコードアプローチにより、開発者と非エンジニアの両方にとってプロンプトの設計を効率化・簡素化します。

C++とCUDAで高性能なLLM推論エンジンを構築する - vLLMの軽量版

OpenAlpha_Evolve は、DeepMind の AlphaEvolve のような自律型コーディングエージェントに関する画期的な研究にインスパイアされた、オープンソースの Python フレームワークです。

「AI-Compass」は、AI 技術の海原を航海するための指針をコミュニティに提供します。初心者から上級開発者まで、AI のあらゆる分野への道を見つけることができます。開発者が AI のコアコンセプト、主要技術、最新トレンドを体系的に理解し、実践を通じて理論から実装までの全プロセスを習得することを目的としています。

最小プランの価格順に並べられた素晴らしいホスティングのリスト

コンピューター上でリアルタイムにチャットを行うための、複数のモデルの純粋な C++ 実装 (CPU & GPU 対応)

Llamaとその派生モデル向けの高最適化されたLLM推論加速エンジン。

LLM に関するノート。モデル推論、Transformer モデルの構造、LLM フレームワークのコード解析ノートを含む。

LLM 推論サービングと最適化のための、1日30分・10週間のロードマップ。vLLM、SGLang、量子化、予測デコード、ベンチマーク。

LLM.swiftは、macOS、iOS、watchOS、tvOS、visionOS向けに、ローカルで大規模言語モデルと簡単に対話できる、シンプルで読みやすいライブラリです。