llama

LlamaIndex, Deep Lake, Pinecone을 사용하여 생성형 AI를 위한 RAG 코드를 구축하고, OpenAI 및 Hugging Face 모델을 활용해 생성 및 평가를 수행하는 프로그램 저장소

LLM의 쉽고 효율적인 미세 조정 (Llama, Llama2, Llama3, Qwen, Baichuan, GLM, Falcon 지원). 대형 모델의 고효율 양자화 훈련 및 배포

kani (カニ)는 도구 호출 언어 모델을 위한 고도로 확장 가능한 마이크로 프레임워크입니다. (NLP-OSS @ EMNLP 2023)

로컬 Copilot은 어디까지 왔을까? 코드 완성, 프로젝트 생성, 셸 지원 등을 위한 로컬 LLM Copilot의 최전선. 미래의 개발자 경험을 형성하는 도구들을 지금 확인하세요!

Yet Another Language Model: I/O를 제외한 라이브러리 의존성 없이 C++/CUDA로 구현한 LLM 추론 엔진

하드웨어 가속을 사용하여 로컬 추론을 위해 llama.cpp를 직접 통합한 Go 애플리케이션입니다.

Groq, Cartesia, Vercel 기반의 빠른 음성 비서

오픈소스 로컬 AI SDK - 클라우드나 API 키 없이 기기 내에서 AI를 실행합니다. GGUF, RAG, 이미지·음악·동영상 생성, 음성 인식, P2P 추론 등을 지원합니다. 크로스 플랫폼 지원: Linux, macOS, Windows, Android, iOS.

[ECCV2024] 로컬라이즈된 시각적 토큰화를 갖춘 접지형 멀티모달 대규모 언어 모델

Tensorflow를 사용하여 텍스트 전처리부터 Topic Models, BERT, GPT, LLM과 같은 최신 모델의 다운스트림 태스크까지 정리한 Deep Learning NLP 저장소입니다.

로컬 AI 어시스턴트

LLaVA-Mini는 이미지, 고해상도 이미지 및 비디오 이해를 효율적으로 지원하는 통합 대규모 멀티모달 모델(LMM)입니다.

AnglE을 사용하여 강력한 문장 임베딩 학습 및 추론 | STS 및 MTEB 리더보드 SOTA 달성

Visual Studio Code와 Continue 확장 프로그램을 사용하여 Code Llama를 활용하는 GitHub Copilot의 로컬 LLM 대안

LLM 기반 멀티 에이전트 강화 학습 및 추론을 위한 프레임워크

Chat snowflake - 텍스트 기반 SQL 변환

🏗️ 오픈소스 LLM을 간편하게 미세조정, 빌드 및 배포하세요!

[ICML 2024] LESS: 타겟 지시어 튜닝을 위한 영향력 있는 데이터 선택

Llama 3, DeepSeek R1 및 HuggingFace의 다양한 모델을 기반으로 일상 업무를 지원하는 AI 어시스턴트입니다.

Ollama, ChatGPT, Gemini, Claude, Mistral 등 AI를 활용하여 Git 및 Jujutsu 커밋 메시지를 생성하는 반응형 CLI

기기 내 로컬 인공 메모리

LLM을 위한 저지연 및 고처리량 서빙 엔진

[ACL 2024] 블록 확장을 적용한 Progressive LLaMA

RESTai는 AIaaS(AI as a Service) 오픈소스 플랫폼입니다. Ollama/vLLM 등에서 지원하는 다양한 퍼블릭 및 로컬 LLM을 지원합니다. 정밀한 임베딩 사용, 튜닝, 분석 등을 제공하며, 동적 로딩 생성기를 이용한 내장 이미지/오디오 생성, 라이브챗 배포, 내장 블록 기반 그래픽 언어, 프롬프트 버전 관리 등을 지원합니다.

WebRTC, REST, WS를 통해 ASR/STT, TTS, LLM을 지원하는 오픈 소스, 로컬, 자체 호스팅 최적화 언어 추론 서버

CUDA, cuda-python, cuBLAS, cuDNN, CUTLASS, TensorRT, TensorRT-LLM, Triton, TVM, MLIR, PTX 및 고성능 컴퓨팅(HPC) 관련 우수 프로젝트 목록

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton