evaluation

🪢 Plataforma de ingeniería de IA de código abierto: evaluaciones de LLM, observabilidad, métricas, gestión de prompts, playground, conjuntos de datos. Se integra con OpenTelemetry, LangChain, OpenAI SDK, LiteLLM y más. 🍊 YC W23

La plataforma de ingeniería de IA de código abierto para agentes, LLMs y modelos de ML. MLflow permite a equipos de todos los tamaños depurar, evaluar, monitorear y optimizar aplicaciones de IA de calidad de producción mientras controlan los costos y gestionan el acceso a modelos y datos.

Prueba tus prompts, agentes y RAGs. Pruebas de penetración, análisis de vulnerabilidades y red teaming para IA. Compara el rendimiento de GPT, Claude, Gemini, DeepSeek y más. Configuraciones declarativas simples con integración para línea de comandos y CI/CD. Utilizado por OpenAI y Anthropic.

Depura, evalúa y monitoriza tus aplicaciones de LLM, sistemas RAG y flujos de trabajo de agentes con seguimiento exhaustivo, evaluaciones automatizadas y paneles listos para producción.

Plataforma de conocimiento LLM de código abierto: transforma documentos sin procesar en un RAG consultable, un agente de razonamiento autónomo y una Wiki automantenible.

Potencia las evaluaciones de tus aplicaciones de LLM 🚀

¡Ajusta, evalúa y despliega fácilmente Qwen, Gemma o cualquier LLM de pesos abiertos!

OpenCompass es una plataforma de evaluación de LLM, que admite una amplia gama de modelos (Llama3, Mistral, InternLM2, GPT-4, LLaMa2, Qwen, GLM, Claude, etc.) en más de 100 conjuntos de datos.

🧊 Plataforma de observabilidad de LLM de código abierto. Una línea de código para monitorear, evaluar y experimentar. YC W23 🍓

Plataforma de optimización de agentes de IA de próxima generación: Cozeloop aborda los desafíos en el desarrollo de agentes de IA ofreciendo capacidades de gestión de ciclo de vida completo desde el desarrollo, depuración y evaluación hasta la supervisión.

AutoRAG: Ahora tu agente puede encontrar cualquier cosa en tu computadora. Se vuelve más inteligente si lo usas con frecuencia.

Construye, evalúa y optimiza sistemas de IA. Incluye evaluaciones, RAG, agentes, ajuste fino, generación de datos sintéticos, gestión de conjuntos de datos, MCP y más.

Kit de herramientas de evaluación multimodal todo en uno para tareas de texto, imagen, video y audio

Kit de herramientas de evaluación de código abierto para grandes modelos multimodales (LMMs), compatible con más de 220 LMMs y más de 80 benchmarks

Paquete de Python para la evaluación de odometría y SLAM

La plataforma para evaluaciones de LLM y pruebas de agentes de IA

MTEB: Evaluación de vanguardia de incrustaciones en varios idiomas y modalidades.

Un marco de trabajo optimizado y personalizable para la evaluación eficiente y el análisis de rendimiento de modelos grandes (LLM, VLM, AIGC).

SuperCLUE: Benchmark integral de modelos de lenguaje grande en chino | Un benchmark para modelos fundamentales en chino

Laminar: plataforma de observabilidad de código abierto diseñada específicamente para agentes de IA. YC S24.

Klipse es un plugin de JavaScript para incrustar fragmentos de código interactivos en blogs técnicos.

Un entorno de programación visual de código abierto para realizar pruebas de estrés a los prompts de LLM.

YAO = Yielding AI Outcomes. Un sistema riguroso de ingeniería, evaluación, gobernanza y portabilidad para habilidades de agentes reutilizables.

Lighteval es tu caja de herramientas todo en uno para evaluar LLMs en múltiples backends

🤗 Evaluate: Una biblioteca para evaluar fácilmente modelos y conjuntos de datos de machine learning.

UpTrain es una plataforma unificada de código abierto para evaluar y mejorar aplicaciones de IA generativa. Proporcionamos calificaciones para más de 20 comprobaciones preconfiguradas (que cubren casos de uso de lenguaje, código e incrustaciones), realizamos análisis de causa raíz en casos de falla y brindamos información sobre cómo resolverlos.

Integración de GraphRAG, LightRAG y Neo4j-llm-graph-builder para la construcción y búsqueda de grafos de conocimiento. Combinación de DeepSearch para el razonamiento RAG privado. Creación de un marco de evaluación personalizado para GraphRAG.

El flujo de trabajo Fable: cómo funcionaba Claude Fable 5, destilado en habilidades que cualquier modelo puede ejecutar, con la evaluación que lo mantiene honesto. Pensar / actuar / demostrar.

Plataforma de pruebas y evaluación para chatear, inspeccionar y depurar servidores MCP, aplicaciones MCP y aplicaciones de ChatGPT.

📰 Artículos y blogs de lectura imprescindible sobre modelado de contexto largo basado en LLM 🔥