gguf

수백 개의 모델과 제공자. 하드웨어에서 실행할 수 있는 항목을 찾는 단 하나의 명령어.

단일 파일로 LLM을 배포하고 실행하세요.

⚡ 순수 Rust WebGPU 추론 엔진 — OpenAI API 호환, GGUF 네이티브, 모든 GPU에서 실행. Python 없음. llama.cpp 없음. 단일 바이너리.

단일 YAML로 LLM 파인튜닝. 레이어 스트리밍을 통해 4GB 노트북 GPU에서 8B 모델 학습 가능

오프라인 AI를 위한 스위스 아미 나이프. 휴대폰이나 Mac에서 GGUF LLM, 비전, Whisper 음성 인식, Stable Diffusion, 툴 호출, 로컬 네트워크 서버를 활용해 채팅하고, 보고, 말하고, 이미지를 생성하세요. CPU, GPU, NPU에서 실행됩니다. 계정도, API 키도 없으며 데이터가 기기 외부로 전혀 유출되지 않습니다.

Maid는 로컬에서는 llama.cpp 모델과 연동하고, 원격으로는 Anthropic, DeepSeek, Ollama, Mistral, OpenAI 모델과 통신할 수 있는 무료 오픈소스 애플리케이션입니다.

Ollama 핸즈온, CPU로 거대 언어 모델 배포하기, 온라인 읽기 주소: https://datawhalechina.github.io/handy-ollama/

로컬 우선 AI 에이전트. 로컬 AI 모델에 최적화됨. 긴 컨텍스트 윈도우. 적절한 도구 호출. 기기에서 비공개로 실행됨.

ComfyUI의 LLM Agent Framework는 MCP 서버, Omost, GPT-sovits, ChatTTS, GOT-OCR2.0 및 FLUX 프롬프트 노드를 포함하며, Feishu와 Discord에 액세스하고, o1, ollama, gemini, grok, qwen, GLM, deepseek, kimi, doubao와 같은 유사한 openai / aisuite 인터페이스를 가진 모든 LLM에 적응합니다. llama-3.3 Janus-Pro, Linkage graphRAG와 같은 로컬 LLM, VLM, GGUF에 적응합니다.

llama.cpp의 Node.js 바인딩을 사용하여 로컬 머신에서 AI 모델을 실행하고 생성 수준에서 JSON 스키마 강제 적용

16개 이상의 모델 계열을 지원하는 ggml 음성 인식 추론

Go로 작성된 Ollama 모델 관리 도구

고정밀 저비트 LLM 추론을 위한 SOTA 양자화 알고리즘. CPU/XPU/CUDA에 최적화되었으며, 다양한 데이터 타입을 지원하고 vLLM, SGLang, Transformers와 완벽히 호환됩니다.

FunASR, vLLM, 스트리밍, llama.cpp 런타임을 지원하는 중국어, 방언, 사투리 및 다국어 음성을 위한 오픈소스 LLM 기반 ASR 모델 패밀리

OuteTTS 모델을 위한 인터페이스입니다.

에이전트를 위한 로컬 AI 앱 및 추론 엔진. 비공개로 컴퓨터에서 100% 오프라인으로 오픈 웨이트 LLM을 로컬에서 실행하세요. Discord 참여하기: https://discord.com/invite/8wGSsvmg4V

AI/ML 모델, 데이터셋, 코드, 설정을 OCI 아티팩트로 패키징하고 버전 관리하기 위한 CNCF의 오픈 소스 DevOps 도구입니다.

플러그앤플레이 방식의 로컬 AI 스튜디오: 검열 없는 채팅, 이미지 및 비디오 생성, 코딩 에이전트. abliterated LLM + ComfyUI 100% 오프라인 구동. 원 클릭 설치, Docker 및 클라우드 불필요.

Apple Silicon용 네이티브 LLM 추론 서버. OpenAI 및 Anthropic API 호환. Python 미사용. 채팅, 에이전트 모드, 도구 호출을 지원하는 MLX Core macOS 앱 포함.

Python으로 작성된, Hugging Face 모델의 추론 메모리 요구량을 예측하기 위한 CLI

LLM.swift는 macOS, iOS, watchOS, tvOS 및 visionOS에서 로컬 대규모 언어 모델과 쉽게 상호 작용할 수 있도록 돕는 간결하고 읽기 쉬운 라이브러리입니다

순수 Java로 구현한 Llama 3+ 추론 엔진

오늘날 Android에서 가장 진보된 완전 오프라인 클라이언트 측 AI 스위트

루트 권한이 필요 없는 오픈소스 Android 실시간 화면 번역 도구. 게임, 비주얼 노벨, 만화에 적합하며 온디바이스 및 클라우드 OCR, 오프라인 LLM, 다중 번역 서비스, TTS를 지원하고 화면 위에 직접 번역문을 표시합니다.

하드웨어 가속을 사용하여 로컬 추론을 위해 llama.cpp를 직접 통합한 Go 애플리케이션입니다.

Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V 등 비전-언어 모델을 위한 ComfyUI 노드입니다. 오픈 어휘 탐지, SAM2/SAM3 세그멘테이션, 비디오 시간 추론, llama.cpp 기반 GGUF 및 호스팅된 LLM/VLM API를 지원합니다.

llama.cpp를 사용하는 임베디드 벡터 검색 및 의미론적 임베딩을 위한 Go 라이브러리

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

Arabic-first generative speech recognition — Audar-ASR-V1 (Flash + Turbo). #1 on the Open Universal Arabic ASR Leaderboard. Model cards, benchmarks & inference.