llama-cpp

단일 파일로 LLM을 배포하고 실행하세요.

온디바이스 STT와 맞춤형 훈련 AI 강화 모델을 갖춘 가장 빠르고 유일한 macOS 받아쓰기 앱입니다. Windows 빌드 버전도 제공됩니다! 로컬 Wispr Flow 대안입니다. 이스터에그를 위해 X로 DM 주세요 😉 - https://x.com/fluidvoiceapp

자가 호스팅형 오프라인 ChatGPT 유사 챗봇. Llama 2 탑재. 데이터가 기기를 벗어나지 않는 100% 프라이버시 보장. 신규: Code Llama 지원!

코드 한 줄만 바꾸면 GPT를 어떤 LLM으로든 교체할 수 있습니다. Xinference를 사용하면 클라우드, 온프레미스, 노트북에서 오픈소스, 음성, 멀티모달 모델을 단일 프로덕션용 통합 추론 API로 실행할 수 있습니다.

중국어, 광동어, 영어, 일본어, 한국어 ASR, 언어 식별, 감정 인식 및 오디오 이벤트 감지를 위한 오픈 소스 SenseVoiceSmall 모델입니다.

PC, Mac, Linux 시스템을 AI 서버로 전환하세요. LLM 추론, 채팅 UI, 음성, 에이전트, 워크플로, RAG, 이미지 생성을 지원합니다.

로컬 기기에서 LLM(🦙LLaMA/LLaVA)을 효율적으로 실행하기 위한 C#/.NET 라이브러리.

오픈소스 AI 카메라 스킬 플랫폼, AI NVR 및 CCTV 감시. Qwen, DeepSeek, SmolVLM, LLaVA, YOLO26을 이용한 로컬 VLM 비디오 분석. LLM 기반 에이전트 보안 카메라 에이전트 — Telegram, Discord 또는 Slack을 통해 집을 감시, 이해, 기억 및 보호합니다. 플러그인 가능한 AI 스킬. OpenAI, Google, Anthropic 또는 로컬 AI. Mac Mini 및 AI PC에서 실행됩니다.

오프라인 AI를 위한 스위스 아미 나이프. 휴대폰이나 Mac에서 GGUF LLM, 비전, Whisper 음성 인식, Stable Diffusion, 툴 호출, 로컬 네트워크 서버를 활용해 채팅하고, 보고, 말하고, 이미지를 생성하세요. CPU, GPU, NPU에서 실행됩니다. 계정도, API 키도 없으며 데이터가 기기 외부로 전혀 유출되지 않습니다.

소비자용 및 이기종 하드웨어를 위한 LLM 추측적 추론 서버

Maid는 로컬에서는 llama.cpp 모델과 연동하고, 원격으로는 Anthropic, DeepSeek, Ollama, Mistral, OpenAI 모델과 통신할 수 있는 무료 오픈소스 애플리케이션입니다.

로컬 우선 AI 에이전트. 로컬 AI 모델에 최적화됨. 긴 컨텍스트 윈도우. 적절한 도구 호출. 기기에서 비공개로 실행됨.

자체 호스팅 LLM 툴 호출 및 다단계 에이전트 워크플로우를 위한 Python 프레임워크

llama.cpp의 Node.js 바인딩을 사용하여 로컬 머신에서 AI 모델을 실행하고 생성 수준에서 JSON 스키마 강제 적용

LLM을 사용하여 Unity에서 캐릭터를 생성하세요!

클라우드 없이 Mac과 대화하고 문서에 대해 질의하세요. 온디바이스 음성 AI + RAG

FunASR, vLLM, 스트리밍, llama.cpp 런타임을 지원하는 중국어, 방언, 사투리 및 다국어 음성을 위한 오픈소스 LLM 기반 ASR 모델 패밀리

LLM을 위한 아늑한 보금자리.

순수 Golang으로 구현된 llama.cpp와 같은 라이브러리인 llama.go입니다!

llama.cpp의 React Native 바인딩

Docker Compose를 사용하여 AI 에이전트를 빌드하고 실행합니다. 오픈소스 LLM, 도구 및 에이전트 런타임을 오케스트레이션하기 위한 즉시 사용 가능한 예제 모음입니다.

Cotabby는 Mac 전체를 위한 로컬 AI 자동 완성 기능입니다. 오픈 소스. 온디바이스. 타이핑하는 모든 곳에서 사용하세요.

ANE / Media Engine / 메모리 대역폭 추적 기능을 갖춘 Sudo 권한이 필요 없는 Apple Silicon 시스템 모니터 (네이티브 SwiftUI GUI)

루트 권한이 필요 없는 오픈소스 Android 실시간 화면 번역 도구. 게임, 비주얼 노벨, 만화에 적합하며 온디바이스 및 클라우드 OCR, 오프라인 LLM, 다중 번역 서비스, TTS를 지원하고 화면 위에 직접 번역문을 표시합니다.

A minimalist, terminal-native coding agent written in C.

AI 코더를 위한 자가 평가 인터뷰 도구

Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V 등 비전-언어 모델을 위한 ComfyUI 노드입니다. 오픈 어휘 탐지, SAM2/SAM3 세그멘테이션, 비디오 시간 추론, llama.cpp 기반 GGUF 및 호스팅된 LLM/VLM API를 지원합니다.

GraphRAG-rs는 문서에서 지식 그래프를 구축하고 설정 가능한 엔티티 추출 및 로컬 LLM 통합을 통해 자연어 쿼리를 지원하는, 최첨단 고성능 Rust 구현 GraphRAG(그래프 기반 검색증강생성)입니다.

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp