gpt-oss

Kimi-K2.6、GLM-5.2、MiniMax、DeepSeek、gpt-oss、Qwen、Gemmaなどのモデルで動作を開始しましょう。

LLM向けの、高スループットかつメモリ効率の高い推論・サービングエンジン

SGLangは、大規模言語モデルおよびマルチモーダルモデル向けの高性能サービングフレームワークです。

[MLsys2026]: LEANNによる万能RAG。高速かつ正確で100%プライベートなRAGアプリケーションを個人デバイスで実行しながら、97%のストレージ節約を享受。

Qwen、Gemma、または任意のオープンウェイトLLMを簡単にファインチューニング、評価、デプロイ可能！

わずかなコードで、Qualcommデバイス上のNPU、GPU、CPU全体で最先端のLLMおよびVLMをローカル実行可能。

超大規模MoEモデル向けに構築された次世代トレーニングエンジン

llama.cpp を搭載し、追加のソフトウェアをインストールすることなく、Mac上のファイル、フォルダ、ウェブサイトの情報をもとに応答できるローカル LLM とチャットできるネイティブ macOS アプリ

ChatGPT、Gemini 3.6、Claude Fable 5、Claude Sonnet 5、DeepSeek V4、Grok、OpenRouter、Kimi k3、GLM 5.2、SiliconFlow、GPT-oss、Gemma 4、Qwen 3.7に対応した強力なZotero AIおよびMCPプラグイン

TokenSpeed は超高速な LLM 推論エンジンです。

エージェント向けのローカル AI アプリおよび推論エンジン。オープンウェイトの LLM をコンピュータ上でローカルに実行可能 — プライベート、100% オフライン。Discord への参加はこちら: https://discord.com/invite/8wGSsvmg4V

Codex CLIおよびClaude Code向けの軽量エージェントワークステーション。タスクスケジューラー、git worktree、リモートコントロールを搭載。

🚀 Hugging Faceを標準サポートした、LLM/VLM向けのPytorch分散ネイティブトレーニングライブラリ

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp