llm-evaluation

🪢 Plataforma de engenharia de IA de código aberto: avaliações de LLM, observabilidade, métricas, gerenciamento de prompts, playground, conjuntos de dados. Integra-se com OpenTelemetry, LangChain, SDK da OpenAI, LiteLLM e muito mais. 🍊YC W23

A plataforma de engenharia de IA de código aberto para agentes, LLMs e modelos de ML. O MLflow permite que equipes de todos os tamanhos depurem, avaliem, monitorem e otimizem aplicações de IA com qualidade de produção, controlando custos e gerenciando o acesso a modelos e dados.

Teste seus prompts, agentes e RAGs. Ferramenta de red teaming, pentesting e varredura de vulnerabilidades para IA. Compare o desempenho de GPT, Claude, Gemini, DeepSeek e outros. Utiliza configurações declarativas simples com integração via linha de comando e CI/CD. Utilizado pela OpenAI e Anthropic.

Depure, avalie e monitore suas aplicações de LLM, sistemas RAG e fluxos de trabalho baseados em agentes com rastreamento abrangente, avaliações automatizadas e painéis prontos para produção.

O framework de avaliação de LLM.

Auditoria independente de agentes de IA. Executada por humanos ou pelo próprio agente para responder à pergunta mais crucial na economia de agentes de IA: o agente está fazendo o que deveria fazer? Com o iFixAi, você obtém essa resposta em menos de 120 segundos.

Observabilidade e Avaliação de IA

O scanner de vulnerabilidades para LLM

非线智能 NoneLinear - ReLE评测：中文AI大模型能力评测（持续更新）：目前已囊括374个大模型，覆盖chatgpt、gpt-5.4、谷歌gemini-3.1-pro、Claude-4.6、文心ERNIE-X1.1、ERNIE-5.0、qwen3.6-max、qwen3.6-plus、百川、讯飞星火、商汤senseChat等商用模型， 以及step3.5-flash、kimi-k2.6、ernie4.5、MiniMax-M2.7、deepseek-v4、Qwen3.6、llama4、智谱GLM-5.1、MiMo-V2、LongCat、gemma4、mistral等开源大模型。不仅提供排行榜，也提供规模超200万的大模型缺陷库！方便广大社区研究分析、改进大模型。

🧊 Plataforma de observabilidade de LLM de código aberto. Uma linha de código para monitorar, avaliar e experimentar. YC W23 🍓

Uma plataforma full-stack de Red Teaming para IA que protege ecossistemas de IA por meio de varredura de agentes, habilidades, MCP, infraestrutura de IA e avaliação de jailbreak de LLM.

🐢 Biblioteca de código aberto para avaliação e teste de agentes de LLM

Agent OS: o agente torna-se mais inteligente por conta própria. Mantemos a linha: o comando de avaliação e o resultado esperado nunca entram no contrato de sucesso que entregamos a ele. Avaliação em estágios, loop de evolução orçado. Servidor MCP, 13 runtimes: Claude Code, Codex CLI, Gemini CLI, OpenCode, Copilot, Kiro e mais.

O guia prático de LLMs: dos fundamentos à implementação de aplicações avançadas de LLM e RAG na AWS usando as melhores práticas de LLMOps

AutoRAG: Agora seu agente pode encontrar qualquer coisa no seu computador. Ele fica mais inteligente conforme você o utiliza com frequência.

Toolkit de avaliação multimodal tudo-em-um para tarefas de texto, imagem, vídeo e áudio.

Uma coleção de métodos científicos, processos, algoritmos e sistemas para construir histórias e modelos.

Avaliação e rastreamento para experimentos de LLM e agentes de IA.

Laminar - plataforma de observabilidade de código aberto criada especificamente para agentes de IA. YC S24.

Recursos abrangentes sobre IA Generativa, incluindo um roteiro detalhado, projetos, casos de uso, preparação para entrevistas e preparação para codificação.

Scanner de vulnerabilidades LLM baseado em agentes / kit de red teaming de IA 🧪

Plataforma open-source de ponta a ponta para avaliar, observar e melhorar aplicações de LLM e agentes de IA. Rastreamento, avaliações, simulações, conjuntos de dados, gateway e guardrails. Auto-hospedável. Licença Apache 2.0.

Construa, aprimore e transforme conjuntos de dados usando modelos de IA sem código

Uma ferramenta poderosa para fuzzing automatizado de LLMs. Projetada para ajudar desenvolvedores e pesquisadores de segurança a identificar e mitigar potenciais jailbreaks em APIs de LLM.

O Prompty facilita a criação, gerenciamento, depuração e avaliação de prompts de LLM para suas aplicações de IA. O Prompty é uma classe de ativos e formato para prompts de LLM projetado para melhorar a observabilidade, compreensibilidade e portabilidade para desenvolvedores.

[JMLR 2026] "UQLM: Um pacote Python para quantificação de incerteza em grandes modelos de linguagem"

CI/CD nativo de rastreamento para agentes de IA — falhas de produção tornam-se testes de regressão que bloqueiam o PR. Detecte automaticamente, agrupe, congele em casos herméticos e reproduza em CI por custo zero.

A pilha de melhoria contínua para agentes. Nossos dados de ambiente e avaliações impulsionam a melhoria e o monitoramento de agentes.

Agente de pesquisa de ações com IA, fluxos de trabalho resilientes, RAG baseado em evidências, relatórios versionados e avaliação de qualidade automatizada.

Uma biblioteca curada e direta dos melhores recursos para construir e avaliar agentes de IA — artigos, blogs, palestras, ferramentas e benchmarks. Mantida pela BenchFlow.