local-llm

Python으로 작성된 초경량, 오픈소스, 자체 호스팅 개인 AI 에이전트 프레임워크. WebUI, 도구, 메모리, MCP, 멀티 에이전트 워크플로우, 자동화 및 채팅 앱 지원

단일 파일로 LLM을 배포하고 실행하세요.

SimpleQA에서 약 95% 성능 (예: 3090에서의 Qwen3.6-27B). 모든 로컬 및 클라우드 LLM(llama.cpp, Ollama, Google 등) 지원. arXiv, PubMed, 개인 문서 등 10개 이상의 검색 엔진. 모든 데이터는 로컬 저장 및 암호화됨.

동적 워크플로우를 지원하는 TypeScript AI 에이전트 오케스트레이션 프레임워크. 그래프가 아닌 목표를 정의하세요. 코디네이터가 런타임에 작업 DAG를 계획하고 Claude, ChatGPT, Gemini, DeepSeek 또는 로컬 모델 등 어떤 LLM에서든 실행합니다.

오픈소스 음성 AI 플랫폼. Vapi 및 Retell의 셀프 호스팅 대안. 온프레미스, 음성 간(Speech to Speech) 또는 LLM/STT/TTS 전반의 BYOK 지원, 시각적 워크플로우 빌더, MCP 네이티브 및 telephony 지원.

로컬 우선 헬스케어 AI: 100% 온디바이스로 실행되는 임상 NER 및 HIPAA PII 비식별화. 2,200개 이상의 의료 모델, 21개 언어, Apple MLX + Python 지원, 클라우드 및 네트워크 외부 유출 없음. Apache-2.0

단일 YAML로 LLM 파인튜닝. 레이어 스트리밍을 통해 4GB 노트북 GPU에서 8B 모델 학습 가능

멀티 에이전트 프로그래밍으로 LLM 활용하기

Apple Silicon을 위한 가장 빠른 로컬 AI 엔진. Ollama보다 4.2배 빠름, 0.08초 캐시된 TTFT, 100% 툴 콜링 지원. 17개의 툴 파서, 프롬프트 캐시, 추론 분리, 클라우드 라우팅 제공. OpenAI 드롭인 대체재. Claude Code, Cursor, Aider와 호환.

개인용 AI 노트북. 파일과 웹페이지를 정리하고 이로부터 노트를 생성합니다. 오픈 소스, 로컬 및 개방형 데이터, (로컬 포함) 오픈 모델 선택을 지원합니다.

Apple Silicon에서 로컬 AI를 사용하여 Claude Code를 100% 온디바이스로 실행합니다. MLX 네이티브 Anthropic API 서버. Muse-Glimmer 30B(멀티모달 지원, 이미지 판독 가능, 검열 해제됨), Gemma 4 31B, Qwen 3.5 122B(초당 65토큰), DeepSeek V4 Flash(1M 컨텍스트) 등 6개 모델 탑재. 개인용, 오프라인, 에어갭 환경 지원. NDA, 법률, 의료 워크플로우를 위해 제작되었습니다.

Lua, Teal, Markdown, HTTP/2, QUIC, Redis, TypeScript, npm 없는 React 19, SQLite 및 PostgreSQL 지원을 포함하는 작고 독립적인 순수 Go 웹 서버

로컬에서 LLM을 실행하는 데 도움이 되는 훌륭한 플랫폼, 도구, 모범 사례 및 리소스 모음

소형 LLM에 최적화된 하니스

로컬 우선 AI 에이전트. 로컬 AI 모델에 최적화됨. 긴 컨텍스트 윈도우. 적절한 도구 호출. 기기에서 비공개로 실행됨.

Ollama, OpenAI(호환), Gemini, Mistral, Poe 또는 OpenRouter를 사용하여 전체 길이의 책과 문서 번역. 서식 유지. 중단된 부분부터 다시 시작. 파일 크기 제한 없음.

OpenAI, Azure, ElevenLabs를 대체할 수 있는 무료 고품질 텍스트 음성 변환 API 엔드포인트

GPT-Live와 유사한 기능을 갖춘 온디바이스 실시간 멀티모달 AI

Apple Silicon을 위한 고성능 OpenAI 및 Anthropic 호환 LLM 추론 서버. 네이티브 MLX, 연속 배치, 멀티모달 모델, MCP 도구 호출 및 Claude Code 지원.

Row-Bot - 개인 AI 주권. 통합 도구, 개인 지식 그래프, 음성, 비전, 셸, 브라우저 자동화, 예약 작업, 건강 추적, 메시징 채널을 갖춘 로컬 우선 AI 어시스턴트입니다. Ollama를 통해 로컬에서 실행하거나 옵트인 클라우드 모델을 추가할 수 있습니다. 데이터는 사용자의 기기에 유지됩니다.

에이전트를 위한 로컬 AI 앱 및 추론 엔진. 비공개로 컴퓨터에서 100% 오프라인으로 오픈 웨이트 LLM을 로컬에서 실행하세요. Discord 참여하기: https://discord.com/invite/8wGSsvmg4V

Apple Silicon Mac에서 LLM 파인튜닝. MLX 네이티브 기반 SFT, DPO, GRPO, Vision, TTS, STT, Embedding, OCR 파인튜닝 지원. Unsloth 호환 API.

플러그앤플레이 방식의 로컬 AI 스튜디오: 검열 없는 채팅, 이미지 및 비디오 생성, 코딩 에이전트. abliterated LLM + ComfyUI 100% 오프라인 구동. 원 클릭 설치, Docker 및 클라우드 불필요.

🌌 좋아하는 캐릭터에게 영혼을 불어넣으세요. Soul of Waifu는 Live2D/VRM 아바타, 음성 채팅 및 로컬 LLM을 지원하는 데스크톱 롤플레잉 & AI 동반자 앱입니다. 몰입감 넘치는 채팅, RPG 모험, 데스크톱 환경에서 함께 진화해 보세요.

Ouroboros — 스스로 생성되는 AI 에이전트. 2026년 2월 16일 탄생.

WUPHF를 사용하면 공유된 컨텍스트를 기반으로 협업하는 AI 팀원으로 구성된 개인 사무실을 구축할 수 있습니다. Claude Code, Codex, OpenClaw, OpenCode, 로컬 LLM을 지원합니다.

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

로컬 LLM과 함께 사용할 수 있는 간단하고 로컬에서 호스팅되는 웹 검색 MCP 서버

Synthadoc: 원시 문서를 구조화된 로컬 우선 위키로 변환하는 오픈소스 LLM 지식 컴파일 엔진. 도구 없이도 자체 관리 및 자체 개선이 가능한, 기존 RAG에 대한 투명하고 사람이 읽을 수 있는 대안입니다.

Apple Silicon용 네이티브 LLM 추론 서버. OpenAI 및 Anthropic API 호환. Python 미사용. 채팅, 에이전트 모드, 도구 호출을 지원하는 MLX Core macOS 앱 포함.