llamacpp

컴퓨터에서 100% 오프라인으로 실행되는 오픈소스 ChatGPT 대안, Jan

당신의 AI 제2의 뇌. 셀프 호스팅 가능. 웹 또는 문서에서 답변 얻기. 커스텀 에이전트 구축, 자동화 예약, 심층 리서치 수행. 온라인 또는 로컬 LLM을 개인용 자율 AI(gpt, claude, gemini, llama, qwen, mistral)로 변환. 시작하기 - 무료.

소형 특화 모델을 활용한 엔터프라이즈 RAG 파이프라인 구축용 통합 프레임워크

자가 호스팅형 오프라인 ChatGPT 유사 챗봇. Llama 2 탑재. 데이터가 기기를 벗어나지 않는 100% 프라이버시 보장. 신규: Code Llama 지원!

로컬에서 AI를 실행하기 위한 프로덕션 준비 완료 툴킷

코드 한 줄만 바꾸면 GPT를 어떤 LLM으로든 교체할 수 있습니다. Xinference를 사용하면 클라우드, 온프레미스, 노트북에서 오픈소스, 음성, 멀티모달 모델을 단일 프로덕션용 통합 추론 API로 실행할 수 있습니다.

모바일, 웨어러블, 스마트 홈, 로봇을 위한 양자화, 커널, 런타임 및 추론 엔진

⚡ 순수 Rust WebGPU 추론 엔진 — OpenAI API 호환, GGUF 네이티브, 모든 GPU에서 실행. Python 없음. llama.cpp 없음. 단일 바이너리.

로컬 OpenAI/Anthropic 호환 서버(llama.cpp, vllm 등)를 위한 안정적인 모델 스와핑

로컬 도구를 갖춘 터미널 내의 에이전트: 코드 작성, 터미널 사용, 웹 브라우징 수행. 이를 기반으로 자신만의 지속적인 자율 에이전트를 만드세요!

최첨단 자연어 처리

로컬 기기에서 LLM(🦙LLaMA/LLaVA)을 효율적으로 실행하기 위한 C#/.NET 라이브러리.

The most no-nonsense, locally or API-hosted AI code completion plugin for Visual Studio Code - like GitHub Copilot but 100% free.

AGiXT는 다양한 AI 제공자 간의 명령어 관리와 복잡한 작업 실행을 원활하게 조율하는 동적 AI 에이전트 자동화 플랫폼입니다. 적응형 메모리, 스마트 기능, 다용도 플러그인 시스템을 결합하여 효율적이고 포괄적인 AI 솔루션을 제공합니다.

LSP-AI는 소프트웨어 엔지니어를 대체하는 것이 아니라 지원하고 역량을 강화하도록 설계된, AI 기반 기능의 백엔드 역할을 하는 오픈 소스 언어 서버입니다.

RamaLama는 모든 소스에서 AI 모델의 로컬 서빙을 단순화하고 익숙한 컨테이너 명령어를 통해 프로덕션 환경에서 추론에 활용할 수 있도록 지원하는 오픈소스 개발자 도구입니다.

Bonsai 데모

Rust로 구현된 즉각적이고 제어 가능한 로컬 사전 학습 AI 모델

텍스트 음성 변환(TTS), RAG, LLM. 모두 로컬에서 실행!

VLLM, Sglang, llama.cpp, exllamav3 제어판

대규모 자체 호스팅을 위한 오픈소스 LLM/VLM 로드 밸런서 및 서빙 플랫폼 🏓🦙. llm-d, Docker Model Runner 등의 대안으로, ggml 생태계를 기반으로 복잡성을 줄이고 간단하게 배포할 수 있습니다. CPU와 GPU에서 실행됩니다.

네이티브 macOS 앱에서 좋아하는 LLaMA 모델과 채팅

에이전트를 위한 로컬 AI 앱 및 추론 엔진. 비공개로 컴퓨터에서 100% 오프라인으로 오픈 웨이트 LLM을 로컬에서 실행하세요. Discord 참여하기: https://discord.com/invite/8wGSsvmg4V

Python, LangChain, LangGraph를 사용하여 프로덕션 수준의 LLM 애플리케이션 및 고급 에이전트 구축. LangChain을 활용한 생성형 AI 도서의 예제 저장소입니다.

모든 LLM의 토큰/초 및 GPU 메모리 요구량을 계산합니다. llama.cpp/ggml/bnb/QLoRA 양자화 지원

.NET에서 Ollama를 사용하는 가장 쉬운 방법

🌌 좋아하는 캐릭터에게 영혼을 불어넣으세요. Soul of Waifu는 Live2D/VRM 아바타, 음성 채팅 및 로컬 LLM을 지원하는 데스크톱 롤플레잉 & AI 동반자 앱입니다. 몰입감 넘치는 채팅, RPG 모험, 데스크톱 환경에서 함께 진화해 보세요.

llama.cpp용 WebAssembly 바인딩 - 브라우저 내 LLM 추론 활성화

사전 계산된 임베딩과 고급 유사도 측정 방식을 사용하여 의미론적 텍스트 검색을 수행하는 FastAPI 서비스이며, textract를 통해 다양한 파일 형식을 지원합니다.

Android 기기에서 GGUF SLM/LLM을 로컬로 실행