evaluation

Platform rekayasa AI sumber terbuka: evaluasi LLM, observabilitas, metrik, manajemen prompt, playground, dan dataset. Terintegrasi dengan OpenTelemetry, LangChain, OpenAI SDK, LiteLLM, dan lainnya. 🍊YC W23

Platform rekayasa AI sumber terbuka untuk agen, LLM, dan model ML. MLflow memungkinkan tim dari berbagai skala untuk men-debug, mengevaluasi, memantau, dan mengoptimalkan aplikasi AI berkualitas produksi sambil mengontrol biaya serta mengelola akses ke model dan data.

Uji prompt, agen, dan RAG Anda. Red teaming/pentesting/pemindaian kerentanan untuk AI. Bandingkan performa GPT, Claude, Gemini, DeepSeek, dan lainnya. Konfigurasi deklaratif sederhana dengan integrasi baris perintah dan CI/CD. Digunakan oleh OpenAI dan Anthropic.

Debug, evaluasi, dan pantau aplikasi LLM, sistem RAG, dan alur kerja agen Anda dengan pelacakan komprehensif, evaluasi otomatis, dan dasbor siap produksi.

Platform pengetahuan LLM open-source: mengubah dokumen mentah menjadi RAG yang dapat dikueri, agen penalaran otonom, dan Wiki yang dapat dikelola sendiri.

Tingkatkan Evaluasi Aplikasi LLM Anda 🚀

Lakukan fine-tuning, evaluasi, dan deploy Qwen, Gemma, atau LLM open weight lainnya dengan mudah!

OpenCompass adalah platform evaluasi LLM, mendukung berbagai model (Llama3, Mistral, InternLM2, GPT-4, LLaMa2, Qwen, GLM, Claude, dll.) pada 100+ dataset.

🧊 Platform observabilitas LLM sumber terbuka. Satu baris kode untuk memantau, mengevaluasi, dan bereksperimen. YC W23 🍓

Platform Optimasi AI Agent Generasi Berikutnya: Cozeloop mengatasi tantangan dalam pengembangan AI agent dengan menyediakan kemampuan manajemen siklus hidup penuh mulai dari pengembangan, debugging, evaluasi, hingga pemantauan.

AutoRAG: Sekarang agen Anda dapat menemukan apa pun di komputer Anda. Menjadi lebih cerdas jika Anda sering menggunakannya.

Membangun, Mengevaluasi, dan Mengoptimalkan Sistem AI. Mencakup evaluasi, RAG, agen, fine-tuning, pembuatan data sintetis, manajemen dataset, MCP, dan lainnya.

Toolkit evaluasi multimodal serbaguna untuk tugas teks, gambar, video, dan audio.

Toolkit evaluasi open-source untuk large multi-modality models (LMMs), mendukung 220+ LMM, 80+ benchmark

Paket Python untuk evaluasi odometri dan SLAM

Platform untuk evaluasi LLM dan pengujian agen AI

MTEB: Evaluasi mutakhir untuk embedding lintas bahasa dan modalitas

Kerangka kerja yang efisien dan dapat disesuaikan untuk evaluasi model besar (LLM, VLM, AIGC) serta tolok ukur performa.

SuperCLUE: Benchmark Komprehensif Model Bahasa Besar Bahasa Mandarin | Benchmark untuk Model Dasar dalam Bahasa Mandarin

Laminar - platform observabilitas sumber terbuka yang dibuat khusus untuk agen AI. YC S24.

Klipse adalah plugin JavaScript untuk menyematkan cuplikan kode interaktif di blog teknologi.

Lingkungan pemrograman visual open-source untuk menguji prompt LLM secara mendalam.

YAO = Yielding AI Outcomes. Sistem teknik, evaluasi, tata kelola, dan portabilitas yang ketat untuk keterampilan agen yang dapat digunakan kembali.

Lighteval adalah perangkat lengkap Anda untuk mengevaluasi LLM di berbagai backend

🤗 Evaluate: Pustaka untuk mengevaluasi model dan dataset pembelajaran mesin dengan mudah.

UpTrain adalah platform terpadu open-source untuk mengevaluasi dan meningkatkan aplikasi Generative AI. Kami menyediakan penilaian untuk 20+ pemeriksaan yang telah dikonfigurasi sebelumnya (mencakup kasus penggunaan bahasa, kode, dan embedding), melakukan analisis akar penyebab pada kasus kegagalan, serta memberikan wawasan tentang cara mengatasinya.

Mengintegrasikan GraphRAG, LightRAG, dan Neo4j-llm-graph-builder untuk konstruksi dan pencarian knowledge graph. Menggabungkan teknologi DeepSearch untuk penalaran RAG privat serta menyediakan kerangka evaluasi khusus untuk GraphRAG.

Alur Kerja Fable: cara kerja Claude Fable 5, diringkas menjadi keterampilan yang dapat dijalankan oleh model apa pun, dengan evaluasi yang menjaganya tetap jujur. Berpikir / bertindak / membuktikan.

Platform pengujian dan evaluasi untuk mengobrol, memeriksa, dan men-debug server MCP, aplikasi MCP, dan aplikasi ChatGPT.

📰 Makalah dan blog wajib baca tentang Pemodelan Konteks Panjang berbasis LLM 🔥