evaluation

오픈소스 AI 엔지니어링 플랫폼: LLM 평가, 관측성, 지표, 프롬프트 관리, 플레이그라운드, 데이터셋. OpenTelemetry, LangChain, OpenAI SDK, LiteLLM 등과 통합. 🍊YC W23

에이전트, LLM 및 ML 모델을 위한 오픈 소스 AI 엔지니어링 플랫폼. MLflow를 통해 모든 규모의 팀이 비용을 제어하고 모델 및 데이터 접근을 관리하면서 프로덕션 수준의 AI 애플리케이션을 디버깅, 평가, 모니터링 및 최적화할 수 있습니다.

프롬프트, 에이전트 및 RAG 테스트. AI를 위한 레드 티밍/모의 해킹/취약점 스캐닝. GPT, Claude, Gemini, DeepSeek 등의 성능 비교. 명령줄 및 CI/CD 통합을 지원하는 간단한 선언형 설정. OpenAI 및 Anthropic에서 사용 중.

포괄적인 추적, 자동화된 평가, 프로덕션 준비가 완료된 대시보드를 통해 LLM 애플리케이션, RAG 시스템 및 에이전트 워크플로우를 디버깅, 평가 및 모니터링하세요.

오픈소스 LLM 지식 플랫폼: 원시 문서를 쿼리 가능한 RAG, 자율 추론 에이전트, 자체 유지 관리되는 위키로 전환합니다.

LLM 애플리케이션 평가 기능 강화 🚀

Qwen, Gemma 또는 모든 오픈 웨이트 LLM을 손쉽게 파인튜닝, 평가 및 배포하세요!

OpenCompass는 100개 이상의 데이터셋을 바탕으로 Llama3, Mistral, InternLM2, GPT-4, LLaMa2, Qwen, GLM, Claude 등 다양한 모델을 지원하는 LLM 평가 플랫폼입니다.

🧊 오픈소스 LLM 관측 가능성(observability) 플랫폼. 한 줄의 코드로 모니터링, 평가, 실험을 수행하세요. YC W23 🍓

차세대 AI Agent 최적화 플랫폼: Cozeloop은 개발, 디버깅, 평가부터 모니터링까지 전체 라이프사이클 관리 기능을 제공하여 AI agent 개발의 어려움을 해결합니다.

AutoRAG: 이제 에이전트가 컴퓨터에서 무엇이든 찾을 수 있습니다. 자주 사용할수록 더 똑똑해집니다.

AI 시스템 구축, 평가 및 최적화. 평가, RAG, 에이전트, 파인튜닝, 합성 데이터 생성, 데이터셋 관리, MCP 등을 포함합니다.

텍스트, 이미지, 비디오, 오디오 작업을 아우르는 올인원 멀티모달 평가 툴킷

대규모 멀티모달 모델(LMM)을 위한 오픈소스 평가 툴킷, 220개 이상의 LMM과 80개 이상의 벤치마크 지원

오도메트리 및 SLAM 평가를 위한 Python 패키지

LLM 평가 및 AI 에이전트 테스트를 위한 플랫폼

MTEB: 다양한 언어와 모달리티에 걸친 임베딩의 최첨단 평가

효율적인 대형 모델(LLM, VLM, AIGC) 평가 및 성능 벤치마킹을 위한 간소화되고 사용자 정의 가능한 프레임워크입니다.

SuperCLUE: 중국어 범용 대규모 언어 모델 종합 벤치마크

Laminar - AI 에이전트 전용으로 구축된 오픈 소스 관측 가능성 플랫폼. YC S24.

Klipse는 기술 블로그에 인터랙티브 코드 스니펫을 삽입하기 위한 JavaScript 플러그인입니다.

LLM 프롬프트를 실전 테스트하기 위한 오픈 소스 시각적 프로그래밍 환경입니다.

YAO = Yielding AI Outcomes. 재사용 가능한 에이전트 스킬을 위한 엄격한 엔지니어링, 평가, 거버넌스 및 이식성 시스템입니다.

Lighteval은 다양한 백엔드에서 LLM을 평가하기 위한 올인원 툴킷입니다

🤗 Evaluate: 머신러닝 모델과 데이터셋을 손쉽게 평가하기 위한 라이브러리입니다.

UpTrain은 생성형 AI 애플리케이션을 평가하고 개선하기 위한 오픈소스 통합 플랫폼입니다. 20개 이상의 사전 구성된 검사(언어, 코드, 임베디드 사용 사례 포함)에 대한 등급을 제공하고, 실패 사례에 대한 원인 분석을 수행하며, 이를 해결하는 방법에 대한 통찰력을 제공합니다.

RAG 구축: GraphRAG, LightRAG, Neo4j-llm-graph-builder를 통합하여 지식 그래프 구축 및 검색 수행; DeepSearch 기술을 통합하여 프라이빗 RAG 추론 구현; GraphRAG용 자체 평가 프레임워크 제작

The Fable Workflow: Claude Fable 5의 작동 원리를 모든 모델이 실행할 수 있는 스킬로 추출하고, 무결성을 유지하는 평가 시스템을 포함합니다. 생각하기 / 행동하기 / 증명하기.

MCP 서버, MCP 앱 및 ChatGPT 앱을 채팅, 검사, 디버깅하기 위한 테스트 및 평가 플랫폼.

📰 LLM 기반 getLong Context Modeling 관련 필독 논문 및 블로그 모음 🔥