llmops

Superduper: 맞춤형 AI 애플리케이션 및 에이전트 구축을 위한 엔드투엔드 프레임워크

LLM 실전 가이드: 기초부터 LLMOps 모범 사례를 적용하여 AWS에 고급 LLM 및 RAG 앱을 배포하는 방법까지

cube studio 오픈소스 클라우드 네이티브 올인원 머신러닝/딥러닝/대형 모델 AI 플랫폼. MLOps 알고리즘 파이프라인 전체 프로세스, 연산력 임대 플랫폼, 노트북 온라인 개발, 드래그 앤 드롭 작업 흐름 파이프라인 오케스트레이션, 멀티 노드 멀티 GPU 분산 학습, 하이퍼파라미터 탐색, 추론 서비스 VGPU 가상화, 엣지 컴퓨팅, 어노테이션 플랫폼 자동 어노테이션, DeepSeek 등 대형 모델 SFT 미세조정/보상 모델/강화학습 학습, vllm/ollama/mindie 대형 모델 멀티 노드 추론, 사내 지식 베이스, AI 모델 마켓, 국산 CPU/GPU/NPU 승텐(Ascend) 생태계 지원, RDMA 지원, PyTorch/TF/MXNet/DeepSpeed/Paddle/ColossalAI/Horovod/Ray/Volcano 등 분산 처리 지원

단일 YAML로 LLM 파인튜닝. 레이어 스트리밍을 통해 4GB 노트북 GPU에서 8B 모델 학습 가능

🤖 LLMOps 모범 사례를 활용해 프로덕션 수준의 엔드투엔드 LLM 및 RAG 시스템 구축 방법을 𝗺𝘂𝗿𝗼 무료로 𝗟𝗲𝗮𝗿𝗻하세요: ~ 소스 코드 + 12개의 실습 강의

수천 개의 파인튜닝된 LLM으로 확장 가능한 멀티 LoRA 추론 서버

메모리 레이어로서의 에이전트 스킬

LLM 실험 및 AI 에이전트를 위한 평가 및 추적

LLM 평가 및 AI 에이전트 테스트를 위한 플랫폼

🕹️ 프롬프트 디자인, 버전 관리, 즉시 배포, 협업, 문제 해결, 모니터링 등을 간소화하도록 설계된 오픈소스, 개발자 중심 LLMOps 플랫폼입니다.

Laminar - AI 에이전트 전용으로 구축된 오픈 소스 관측 가능성 플랫폼. YC S24.

AGiXT는 다양한 AI 제공자 간의 명령어 관리와 복잡한 작업 실행을 원활하게 조율하는 동적 AI 에이전트 자동화 플랫폼입니다. 적응형 메모리, 스마트 기능, 다용도 플러그인 시스템을 결합하여 효율적이고 포괄적인 AI 솔루션을 제공합니다.

LLM, 에이전트, RAG, 파인튜닝, LLMOps 및 AI 시스템 기술을 활용하여 '제2의 두뇌' AI 어시스턴트를 구축하는 법을 배워보세요.

LLM 프롬프트를 실전 테스트하기 위한 오픈 소스 시각적 프로그래밍 환경입니다.

비싼 프롬프트를 저렴한 파인튜닝 모델로 전환하세요.

Ascend 기반 vLLM을 위한 커뮤니티 유지보수 하드웨어 플러그인

AI 엔지니어링을 위한 오픈소스 플랫폼: OpenTelemetry 기반 LLM 모니터링, GPU 모니터링, 가드레일, 평가, 프롬프트 관리, 볼트, 플레이그라운드. 🚀💻 50개 이상의 LLM 공급자, VectorDB, 에이전트 프레임워크 및 GPU와 통합됩니다.

Apache Hamilton은 데이터 과학자와 엔지니어가 데이터 혈통(lineage)/추적 및 메타데이터를 인코딩하는 테스트 가능하고 모듈화된 자체 문서화 데이터 흐름을 정의할 수 있도록 돕습니다. Python이 실행되는 모든 곳에서 실행되고 확장됩니다.

의사결정을 내리는 애플리케이션(챗봇, 에이전트, 시뮬레이션 등)을 구축하세요. 자체 인프라에서 모니터링, 추적, 지속성 유지 및 실행이 가능합니다.

cubestudio 오픈소스 클라우드 네이티브 원스톱 머신러닝/딥러닝/대형언어모델 AI 플랫폼

UpTrain은 생성형 AI 애플리케이션을 평가하고 개선하기 위한 오픈소스 통합 플랫폼입니다. 20개 이상의 사전 구성된 검사(언어, 코드, 임베디드 사용 사례 포함)에 대한 등급을 제공하고, 실패 사례에 대한 원인 분석을 수행하며, 이를 해결하는 방법에 대한 통찰력을 제공합니다.

Bionic은 기업을 위한 주권형 AI입니다. 온프레미스에서 실행되며 민감한 데이터 및 시스템과 안전하게 연동되는 ChatGPT 스타일의 AI입니다.

🤖 미래에서 온 자체 수정 프레임워크 🔮 세계 최초 AMS

데이터를 활용하여 LLM Agent, 워크플로 및 애플리케이션을 구축할 수 있는 노코드 멀티 에이전트 프레임워크

인간과 에이전트를 위한 재현 가능한 개발 환경

통합 MCP 서버 관리 앱 (MCP Manager).

AICI: (Wasm) 프로그램으로서의 프롬프트

LLM 및 AI 에이전트 애플리케이션을 평가, 모니터링, 개선하기 위한 오픈소스 엔드투엔드 플랫폼. 트레이싱, 평가, 시뮬레이션, 데이터셋, 게이트웨이, 가드레일 제공. 자체 호스팅 가능. Apache 2.0.

Postgres를 위한 확장 가능하고 빠르며 디스크 효율적인 벡터 검색, pgvecto.rs의 후속작

대규모 자체 호스팅을 위한 오픈소스 LLM/VLM 로드 밸런서 및 서빙 플랫폼 🏓🦙. llm-d, Docker Model Runner 등의 대안으로, ggml 생태계를 기반으로 복잡성을 줄이고 간단하게 배포할 수 있습니다. CPU와 GPU에서 실행됩니다.