llamacpp

Janは、コンピューター上で100%オフラインで動作するChatGPTのオープンソース代替品です。

あなたのAIセカンドブレイン。自己ホスト可能。Webまたはドキュメントから回答を取得。カスタムエージェントの構築、自動化のスケジュール設定、深層リサーチを実行。あらゆるオンラインまたはローカルのLLMを、あなた専用の自律型AI (gpt, claude, gemini, llama, qwen, mistral) に変換。無料で開始しましょう。

小型で特化したモデルを用いたエンタープライズRAGパイプライン構築のための統合フレームワーク

セルフホスト型、オフラインのChatGPTライクなチャットボット。Llama 2を搭載。100%プライベートで、データがデバイスから外部に出ません。新機能：Code Llama対応！

ローカルでAIを実行するための本番環境対応ツールキット

単一のコード行を変更するだけで、GPTを任意のLLMに置き換え可能。Xinferenceを使用すると、オープンソース、音声、マルチモーダルモデルをクラウド、オンプレミス、またはラップトップ上で実行できます。すべて統一された本番環境対応の推論APIを介して。

モバイル、ウェアラブル、スマートホーム、ロボット向けの量子化、カーネル、ランタイム、推論エンジン。

⚡ 純粋なRustによるWebGPU推論エンジン — OpenAI-API互換、GGUFネイティブ、あらゆるGPUで動作。Python不要。llama.cpp不要。単一バイナリ。

ローカルのOpenAI/Anthropic互換サーバー（llama.cpp, vllmなど）向けの信頼性の高いモデルスワッピング

ローカルツール（コード記述、ターミナル操作、Webブラウジング）を備えたターミナルエージェント。独自の永続的な自律エージェントを構築可能！

最先端の自然言語処理 (State of the Art Natural Language Processing)。

LLM (🦙LLaMA/LLaVA) をローカルデバイスで効率的に実行するためのC#/.NETライブラリ。

The most no-nonsense, locally or API-hosted AI code completion plugin for Visual Studio Code - like GitHub Copilot but 100% free.

AGiXT は、多様な AI プロバイダーにわたる指示管理と複雑なタスク実行をシームレスにオーケストレーションする、動的な AI Agent 自動化プラットフォームです。適応型メモリ、スマート機能、汎用性の高いプラグインシステムを組み合わせることで、効率的で包括的な AI ソリューションを提供します。

LSP-AI は、AI を活用した機能のバックエンドとして機能するオープンソースの言語サーバーです。ソフトウェアエンジニアを置き換えるのではなく、支援しエンパワーするよう設計されています。

RamaLama は、あらゆるソースからの AI モデルのローカル配信を簡素化し、コンテナのおなじみの操作性を通じて本番環境での推論への利用を容易にするオープンソースの開発者ツールです。

Bonsai デモ

Rustによる、即座に制御可能なローカル事前学習済みAIモデル

音声合成（TTS）、RAG、LLM。すべてローカルで！

VLLM、Sglang、llama.cpp、exllamav3 用コントロールパネル

大規模なLLM（およびVLM）のセルフホストに向けたオープンソースのLLM/VLMロードバランサーおよびサービングプラットフォーム🏓🦙 llm-dやDocker Model Runnerなどの代替プロジェクトで、より少ない構成要素とggmlエコシステムを基盤としたシンプルなデプロイメントを実現。CPUおよびGPUで動作します。

ネイティブ macOS アプリでお気に入りの LLaMA モデルとチャット

エージェント向けのローカル AI アプリおよび推論エンジン。オープンウェイトの LLM をコンピュータ上でローカルに実行可能 — プライベート、100% オフライン。Discord への参加はこちら: https://discord.com/invite/8wGSsvmg4V

Python、LangChain、LangGraph を使用して本番環境に対応した LLM アプリケーションと高度なエージェントを構築する。LangChain による生成 AI に関する書籍の伴走リポジトリです。

あらゆる LLM のトークン/秒および GPU メモリ要件を計算します。llama.cpp/ggml/bnb/QLoRA の量子化をサポート

.NET で Ollama を使用する最も簡単な方法

お気に入りのキャラクターに魂を宿す。Soul of Waifuは、Live2D/VRMアバター、音声チャット、ローカルLLMを備えたデスクトップ向けロールプレイ＆AIコンパニオンアプリです。没入感のあるチャット、RPGアドベンチャー、デスクトップを通じて共に成長します。

llama.cpp の WebAssembly バインディング - ブラウザでの LLM 推論を有効化

事前計算された埋め込みと高度な類似度計算を用いた、セマンティックテキスト検索用のFastAPIサービス。textractを通じて様々なファイル形式を標準サポート。

Androidデバイス上で、任意のGGUF SLM/LLMをローカルかつオンデバイスで実行する