llama-cpp

単一ファイルでLLMを配布・実行

オンデバイスSTTとカスタム学習済みAI強化モデルを備えた、最速かつ唯一のmacOS辞書アプリ。Windowsプリビルドも利用可能！ローカルのWispr Flowの代替品。XでDMを送ってイースターエッグをゲットしてください😉 - https://x.com/fluidvoiceapp

セルフホスト型、オフラインのChatGPTライクなチャットボット。Llama 2を搭載。100%プライベートで、データがデバイスから外部に出ません。新機能：Code Llama対応！

単一のコード行を変更するだけで、GPTを任意のLLMに置き換え可能。Xinferenceを使用すると、オープンソース、音声、マルチモーダルモデルをクラウド、オンプレミス、またはラップトップ上で実行できます。すべて統一された本番環境対応の推論APIを介して。

Mandarin、Cantonese、English、Japanese、Korean向けのオープンソースのSenseVoiceSmallモデル。ASR、言語ID、感情認識、音声イベント検出に対応。

PC、Mac、またはLinuxマシンをAIサーバーに変えましょう。LLM推論、チャットUI、音声、エージェント、ワークフロー、RAG、画像生成に対応。

LLM (🦙LLaMA/LLaVA) をローカルデバイスで効率的に実行するためのC#/.NETライブラリ。

オープンソースの AI カメラ機能プラットフォーム、AI NVR および CCTV 監視。Qwen、DeepSeek、SmolVLM、LLaVA、YOLO26 によるローカル VLM 動画解析。LLM を活用した自律型セキュリティカメラエージェント — Telegram、Discord、Slack を通じて自宅を見守り、理解し、記憶し、警備します。プラグイン可能な AI 機能。OpenAI、Google、Anthropic、またはローカル AI に対応。Mac Mini および AI PC で動作します。

オフライン AI のスイスアーミーナイフ。スマホや Mac でチャット、視覚認識、音声対話、画像生成が可能 — GGUF LLM、ビジョン、Whisper 音声認識、Stable Diffusion、ツール呼び出し、ローカルネットワークサーバーに対応。CPU、GPU、NPU で動作。アカウント不要、API キー不要、データがデバイス外に出ることは一切ありません。

コンシューマー向けおよび異種混在ハードウェア向けのLLM推測的推論サーバー。

Maidは、llama.cppモデルとローカルで連携し、Anthropic、DeepSeek、Ollama、Mistral、OpenAIのモデルとリモートで連携するための無料かつオープンソースのアプリケーションです。

ローカルファーストの AI エージェント。ローカル AI モデルに最適化。長文コンテキストウィンドウに対応。適切なツール呼び出しが可能。デバイス上でプライベートに動作。

セルフホスト型LLMのツール呼び出しおよび多段階エージェントワークフローのためのPythonフレームワーク

llama.cpp の node.js バインディングを使用して、ローカルマシン上で AI モデルを実行します。生成レベルでモデル出力に JSON スキーマを強制します

LLMを使用してUnityでキャラクターを作成しよう！

Mac に話しかけ、ドキュメントを検索。クラウド不要。デバイス上の音声 AI + RAG

中国語、方言、アクセント、多言語音声に対応した、オープンソースの LLM ベース ASR モデルファミリ。FunASR、vLLM、ストリーミング、llama.cpp ランタイムをサポート。

LLM のための居心地の良いホーム

llama.go は純粋な Golang による llama.cpp のようなものです！

llama.cppのReact Nativeバインディング

Docker Composeを使用してAIエージェントを構築・実行する。オープンソースのLLM、ツール、エージェントランタイムをオーケストレーションするためのすぐに使えるサンプルのコレクション

Cotabbyは、Mac全体で動作するローカルAI自動補完です。オープンソース。オンデバイス。タイピングするすべての場所で利用可能。

ANE、メディアエンジン、メモリ帯域幅の追跡を備えた、sudo 不要の Apple Silicon システムモニター（ネイティブ SwiftUI GUI）

ROOT権限不要のオープンソースAndroid画面リアルタイム翻訳ツール。ゲーム、ビジュアルノベル、マンガに最適です。オンデバイスおよびクラウドOCR、オフラインLLM、多様な翻訳サービス、音声読み上げ（TTS）をサポートし、画面上に直接翻訳を表示できます。

A minimalist, terminal-native coding agent written in C.

AIコーダー向けの自己評価型面接

視覚言語モデル（Qwen3-VL、Moondream 3、Florence-2、SmolVLM2、InternVL、Gemma 3、MiniCPM-V）用のComfyUIノード。さらに、オープン語彙検出、SAM2/SAM3セグメンテーション、動画の時間的推論、llama.cppによるGGUF、ホスト型LLM/VLM APIに対応。

GraphRAG-rs は、ドキュメントからナレッジグラフを構築し、設定可能なエンティティ抽出とローカル LLM の統合による自然言語クエリを可能にする、最先端かつ高性能な Rust 版 GraphRAG（Graph-based Retrieval Augmented Generation）実装です。

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp