evaluation

🪢 Plataforma de engenharia de IA de código aberto: avaliações de LLM, observabilidade, métricas, gerenciamento de prompts, playground, conjuntos de dados. Integra-se com OpenTelemetry, LangChain, SDK da OpenAI, LiteLLM e muito mais. 🍊YC W23

A plataforma de engenharia de IA de código aberto para agentes, LLMs e modelos de ML. O MLflow permite que equipes de todos os tamanhos depurem, avaliem, monitorem e otimizem aplicações de IA com qualidade de produção, controlando custos e gerenciando o acesso a modelos e dados.

Teste seus prompts, agentes e RAGs. Ferramenta de red teaming, pentesting e varredura de vulnerabilidades para IA. Compare o desempenho de GPT, Claude, Gemini, DeepSeek e outros. Utiliza configurações declarativas simples com integração via linha de comando e CI/CD. Utilizado pela OpenAI e Anthropic.

Depure, avalie e monitore suas aplicações de LLM, sistemas RAG e fluxos de trabalho baseados em agentes com rastreamento abrangente, avaliações automatizadas e painéis prontos para produção.

Plataforma de conhecimento LLM de código aberto: transforme documentos brutos em um RAG consultável, um agente de raciocínio autônomo e uma Wiki de auto-manutenção.

Turbine as avaliações da sua aplicação LLM.

Faça o ajuste fino, avalie e implante facilmente Qwen, Gemma ou qualquer LLM de pesos abertos!

OpenCompass é uma plataforma de avaliação de LLM, suportando uma ampla gama de modelos (Llama3, Mistral, InternLM2, GPT-4, LLaMa2, Qwen, GLM, Claude, etc.) em mais de 100 conjuntos de dados.

🧊 Plataforma de observabilidade de LLM de código aberto. Uma linha de código para monitorar, avaliar e experimentar. YC W23 🍓

Plataforma de otimização de agentes de IA de próxima geração: o Cozeloop aborda desafios no desenvolvimento de agentes de IA, oferecendo recursos de gerenciamento de ciclo de vida completo, desde desenvolvimento, depuração e avaliação até monitoramento.

AutoRAG: Agora seu agente pode encontrar qualquer coisa no seu computador. Ele fica mais inteligente conforme você o utiliza com frequência.

Construa, avalie e otimize sistemas de IA. Inclui avaliações, RAG, agentes, ajuste fino, geração de dados sintéticos, gerenciamento de conjuntos de dados, MCP e muito mais.

Toolkit de avaliação multimodal tudo-em-um para tarefas de texto, imagem, vídeo e áudio.

Kit de ferramentas de avaliação de código aberto para grandes modelos multimodais (LMMs), com suporte a mais de 220 LMMs e mais de 80 benchmarks.

Pacote Python para avaliação de odometria e SLAM.

A plataforma para avaliações de LLM e testes de agentes de IA.

MTEB: Avaliação de ponta para embeddings em diversos idiomas e modalidades.

Uma estrutura simplificada e personalizável para avaliação eficiente de grandes modelos (LLM, VLM, AIGC) e benchmarking de desempenho.

SuperCLUE: Benchmark abrangente para modelos de linguagem em chinês

Laminar - plataforma de observabilidade de código aberto criada especificamente para agentes de IA. YC S24.

Klipse é um plugin JavaScript para incorporar trechos de código interativos em blogs técnicos.

Um ambiente de programação visual de código aberto para testar prompts de LLMs.

YAO = Yielding AI Outcomes. Um sistema rigoroso de engenharia, avaliação, governança e portabilidade para habilidades de agentes reutilizáveis.

Lighteval é o seu kit de ferramentas completo para avaliar LLMs em múltiplos backends

🤗 Evaluate: Uma biblioteca para avaliar facilmente modelos e conjuntos de dados de aprendizado de máquina.

UpTrain é uma plataforma unificada de código aberto para avaliar e melhorar aplicações de IA Generativa. Fornecemos notas para mais de 20 verificações pré-configuradas (cobrindo casos de uso de linguagem, código e embedding), realizamos análise de causa raiz em casos de falha e oferecemos insights sobre como resolvê-los.

Integração de GraphRAG, LightRAG e Neo4j-llm-graph-builder para construção e busca de grafos de conhecimento. Combina a tecnologia DeepSearch para raciocínio em RAG privado e inclui um framework de avaliação personalizado para GraphRAG.

O fluxo de trabalho Fable: como o Claude Fable 5 funcionava, destilado em habilidades que qualquer modelo pode executar, com a avaliação que mantém a integridade. Pensar / agir / provar.

Plataforma de teste e avaliação para conversar, inspecionar e depurar servidores MCP, aplicativos MCP e aplicativos ChatGPT.

📰 Artigos e blogs essenciais sobre modelagem de contexto longo baseada em LLM 🔥