gguf

数百のモデルとプロバイダー。ハードウェアで動作するものを見つけるための単一コマンド。

単一ファイルでLLMを配布・実行

⚡ 純粋なRustによるWebGPU推論エンジン — OpenAI-API互換、GGUFネイティブ、あらゆるGPUで動作。Python不要。llama.cpp不要。単一バイナリ。

1つのYAMLファイルからLLMをファインチューニング。レイヤーストリーミングにより、4 GBのラップトップGPUで8Bモデルを学習可能。

オフライン AI のスイスアーミーナイフ。スマホや Mac でチャット、視覚認識、音声対話、画像生成が可能 — GGUF LLM、ビジョン、Whisper 音声認識、Stable Diffusion、ツール呼び出し、ローカルネットワークサーバーに対応。CPU、GPU、NPU で動作。アカウント不要、API キー不要、データがデバイス外に出ることは一切ありません。

Maidは、llama.cppモデルとローカルで連携し、Anthropic、DeepSeek、Ollama、Mistral、OpenAIのモデルとリモートで連携するための無料かつオープンソースのアプリケーションです。

Ollamaを学ぶ、CPUで大規模モデルのデプロイを使いこなす、オンライン読書アドレス：https://datawhalechina.github.io/handy-ollama/

ローカルファーストの AI エージェント。ローカル AI モデルに最適化。長文コンテキストウィンドウに対応。適切なツール呼び出しが可能。デバイス上でプライベートに動作。

ComfyUI 向けの LLM Agent フレームワーク。MCP サーバー、Omost、GPT-sovits、ChatTTS、GOT-OCR2.0、FLUX プロンプトノードを含み、Feishu や Discord にアクセス可能。o1、ollama、gemini、grok、qwen、GLM、deepseek、kimi、doubao など、OpenAI / aisuite 互換インターフェースを持つすべての LLM に対応。llama-3.3 Janus-Pro や Linkage graphRAG などのローカル LLM、VLM、GGUF にも対応。

llama.cpp の node.js バインディングを使用して、ローカルマシン上で AI モデルを実行します。生成レベルでモデル出力に JSON スキーマを強制します

16以上のモデルファミリーに対応したggml音声認識（speech-to-text）推論

Go言語でOllamaモデルを管理するツール

高精度な低ビット LLM 推論のための SOTA 量子化アルゴリズム。CPU、XPU、CUDA にシームレスに最適化され、多様なデータ型をサポート。vLLM、SGLang、Transformers と完全に互換性があります。

中国語、方言、アクセント、多言語音声に対応した、オープンソースの LLM ベース ASR モデルファミリ。FunASR、vLLM、ストリーミング、llama.cpp ランタイムをサポート。

OuteTTS モデル用インターフェース

エージェント向けのローカル AI アプリおよび推論エンジン。オープンウェイトの LLM をコンピュータ上でローカルに実行可能 — プライベート、100% オフライン。Discord への参加はこちら: https://discord.com/invite/8wGSsvmg4V

AI/ML モデル、データセット、コード、設定を OCI Artifact にパッケージングおよびバージョン管理するための CNCF 製オープンソース DevOps ツール

プラグアンドプレイ対応のローカルAIスタジオ：無検閲チャット、画像・動画生成、コーディングエージェント。abliteratedされたLLMとComfyUIを100%オフラインで実行。インストーラー1つ、Docker不要、クラウド不要。

Apple Silicon向けのネイティブLLM推論サーバー。OpenAIおよびAnthropic API互換。Python不要。チャット、エージェントモード、ツール呼び出し機能を備えたMLX Core macOSアプリを同梱。

Pythonで記述された、Hugging Faceモデルの推論メモリ要件を見積もるCLI

LLM.swiftは、macOS、iOS、watchOS、tvOS、visionOS向けに、ローカルで大規模言語モデルと簡単に対話できる、シンプルで読みやすいライブラリです。

純粋なJavaによるLlama 3以降の推論

Android 向けで現在最も高度な、完全オフラインのクライアントサイド AI スイート

ROOT権限不要のオープンソースAndroid画面リアルタイム翻訳ツール。ゲーム、ビジュアルノベル、マンガに最適です。オンデバイスおよびクラウドOCR、オフラインLLM、多様な翻訳サービス、音声読み上げ（TTS）をサポートし、画面上に直接翻訳を表示できます。

独自の知性を持つ Go - ハードウェアアクセラレーションを使用したローカル推論のために llama.cpp を直接統合する Go アプリケーション

視覚言語モデル（Qwen3-VL、Moondream 3、Florence-2、SmolVLM2、InternVL、Gemma 3、MiniCPM-V）用のComfyUIノード。さらに、オープン語彙検出、SAM2/SAM3セグメンテーション、動画の時間的推論、llama.cppによるGGUF、ホスト型LLM/VLM APIに対応。

llama.cpp を使用した組み込みベクトル検索およびセマンティック埋め込み用の Go ライブラリ。

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

Arabic-first generative speech recognition — Audar-ASR-V1 (Flash + Turbo). #1 on the Open Universal Arabic ASR Leaderboard. Model cards, benchmarks & inference.