local-llm

WebUI、ツール、メモリ、MCP、マルチエージェントワークフロー、自動化、チャットアプリを備えた、超軽量のオープンソース自己ホスト型PythonパーソナルAIエージェントフレームワーク。

単一ファイルでLLMを配布・実行

SimpleQAで約95%を達成 (例: 3090上のQwen3.6-27B)。すべてのローカルおよびクラウドLLM (llama.cpp, Ollama, Google, ...) をサポート。10以上の検索エンジン - arXiv、PubMed、プライベートドキュメント。すべてローカル＆暗号化。

動的ワークフローを備えたTypeScript AIエージェントオーケストレーションフレームワーク。グラフではなく目標を記述するだけでよい：コーディネーターが実行時にタスクDAGを計画し、任意のLLM（Claude、ChatGPT、Gemini、DeepSeek、またはローカルモデル）上で実行します。

オープンソースの音声AIプラットフォーム。VapiやRetellのセルフホスト型代替品。Speech to SpeechまたはLLM/STT/TTSに対応したオンプレミス、BYOK環境。ビジュアルワークフロービルダー、MCPネイティブ、テレフォニーサポート付き。

ローカルファーストのヘルスケアAI：臨床NERおよびHIPAA PIIの非識別化を100%オンデバイスで実行。2,200以上の医療モデル、21言語、Apple MLX + Python対応。クラウド不要、患者データはネットワーク外に出ない。Apache-2.0

1つのYAMLファイルからLLMをファインチューニング。レイヤーストリーミングにより、4 GBのラップトップGPUで8Bモデルを学習可能。

マルチエージェントプログラミングによるLLMの活用

Apple Silicon 向けの最速ローカル AI エンジン。Ollama の 4.2 倍高速、キャッシュ時 TTFT 0.08 秒、ツール呼び出し 100% 対応。17 個のツールパーサー、プロンプトキャッシュ、推論分離、クラウドローティングを搭載。OpenAI のドロップイン代替。Claude Code、Cursor、Aider と連携可能。

パーソナルAIノートブック。ファイルやウェブページの整理、それらからのノート生成を行います。オープンソース、ローカル＆オープンデータ、モデルの自由な選択（ローカル含む）に対応。

Apple Silicon 上のローカル AI により、Claude Code を 100% デバイス上で実行します。MLX ネイティブの Anthropic API サーバー。Muse-Glimmer 30B（マルチモーダル対応、画像読み取り可能）、Gemma 4 31B、Qwen 3.5 122B（65 tok/s）、DeepSeek V4 Flash（100万コンテキスト）など6つのモデルを搭載。プライベート、オフライン、エアギャップ環境に対応。NDA、法務、医療ワークフロー向けに構築されています。

Lua、Teal、Markdown、HTTP/2、QUIC、Redis、TypeScript、npm 不要の React 19、SQLite、PostgreSQL などをサポートする、小規模で自己完結型の純粋な Go 製ウェブサーバー ++

ローカルでのLLM実行に役立つ、厳選された素晴らしいプラットフォーム、ツール、プラクティス、リソースのリスト

小型LLM向けに最適化されたハーネス

ローカルファーストの AI エージェント。ローカル AI モデルに最適化。長文コンテキストウィンドウに対応。適切なツール呼び出しが可能。デバイス上でプライベートに動作。

Ollama、OpenAI（互換）、Gemini、Mistral、Poe、OpenRouter を使用して、書籍や文書全体を翻訳します。フォーマットを維持し、中断したところから再開可能です。ファイルサイズの制限はありません。

OpenAI、Azure、ElevenLabs の代替となる、無料かつ高品質なテキスト読み上げ（TTS）API エンドポイント

GPT-Live と同様の機能を備えた、デバイス上のリアルタイムマルチモーダル AI

Apple Silicon 向けの高性能な OpenAI および Anthropic 互換 LLM 推論サーバー。ネイティブ MLX、連続バッチ処理、マルチモーダルモデル、MCP ツール呼び出し、Claude Code をサポート。

Row - Bot - パーソナル AI ソブリンティ。統合ツール、パーソナル知識グラフ、音声、ビジョン、シェル、ブラウザ自動化、定期実行タスク、健康管理、メッセージングチャネルを備えた、ローカルファーストの AI アシスタント。Ollama を使用してローカルで実行するか、オプトインでクラウドモデルを追加可能。データは手元のマシンに保持されます。

エージェント向けのローカル AI アプリおよび推論エンジン。オープンウェイトの LLM をコンピュータ上でローカルに実行可能 — プライベート、100% オフライン。Discord への参加はこちら: https://discord.com/invite/8wGSsvmg4V

Apple Silicon 搭載 Mac で LLM をファインチューニング。MLX 上でネイティブ動作する SFT、DPO、GRPO、Vision、TTS、STT、Embedding、OCR のファインチューニング対応。Unsloth 互換 API。

プラグアンドプレイ対応のローカルAIスタジオ：無検閲チャット、画像・動画生成、コーディングエージェント。abliteratedされたLLMとComfyUIを100%オフラインで実行。インストーラー1つ、Docker不要、クラウド不要。

お気に入りのキャラクターに魂を宿す。Soul of Waifuは、Live2D/VRMアバター、音声チャット、ローカルLLMを備えたデスクトップ向けロールプレイ＆AIコンパニオンアプリです。没入感のあるチャット、RPGアドベンチャー、デスクトップを通じて共に成長します。

Ouroboros — 自己生成型 AI エージェント。2026年2月16日誕生。

WUPHF を使用すると、共有コンテキストを介して協調動作する AI チームメイトのパーソナルオフィスを立ち上げることができます。Claude Code、Codex、OpenClaw、OpenCode、ローカル LLM をサポートしています。

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

ローカル LLM で使用するための、シンプルでローカルホスト型の Web 検索 MCP サーバー

Synthadoc: 生ドキュメントを構造化されたローカルファーストのWikiに変換するオープンソースのLLM知識コンパイルエンジン。ツールを使用せずに自己管理および自己改善が可能な、従来のRAGに代わる透明性が高く人間が読める代替手段。

Apple Silicon向けのネイティブLLM推論サーバー。OpenAIおよびAnthropic API互換。Python不要。チャット、エージェントモード、ツール呼び出し機能を備えたMLX Core macOSアプリを同梱。