ggml

C/C++におけるLLM推論。

純粋なC/C++による拡散モデル（SD, Flux, Wan, Qwen Image, Z-Image,...）の推論

ggml を活用した、音声モデル向けのオールインワンかつ純粋な C++ 推論エンジン。TTS、STT、VAD、音声変換、音楽生成などを高度に最適化されたパフォーマンスでサポートします。Python 依存関係はありません。

GGMLライブラリを使用してiOSおよびMacOSでオフラインで動作するllamaなどの大規模言語モデル

16以上のモデルファミリーに対応したggml音声認識（speech-to-text）推論

Go言語でOllamaモデルを管理するツール

RWKV 言語モデルの CPU 上での INT4/INT5/INT8 および FP16 推論。

あらゆる LLM のトークン/秒および GPU メモリ要件を計算します。llama.cpp/ggml/bnb/QLoRA の量子化をサポート

ComfyUI用のカスタムノードです。あらゆるUNetおよびCLIPローダーにワンクリックの「仮想VRAM」機能を追加し、WanVideoWrapperでのMultiGPU統合を実現します。レイヤーのオフロードやブロックのスワップをDRAMまたはVRAMに管理し、GPUの潜在空間を最大限に活用します。また、UNet、CLIP、VAEなどのコンポーネントを選択したデバイスに直接ロードするためのノードも含まれています。

Androidデバイス上で、任意のGGUF SLM/LLMをローカルかつオンデバイスで実行する

高速なテキスト読み上げ生成を実現する、C/C++版の Suno AI Bark モデル

単一カメラからのリアルタイム3D全身再構築、複数人BVH出力、純粋なC++ランタイム、ONNX + ggml、手を含む70関節のスケルトン

多言語 ASR および TTS モデル（Cohere Transcribe、Parakeet TDT、Voxtral、Canary 1B v2 など）向けの C++ 製 ggml ランタイムハブ。汎用フォースドアライメント機能なども搭載

AIコーダー向けの自己評価型面接

追加の依存関係なしで、プレーンな C/C++ で実装された CLIP 推論