llmops

Plantillas de nube listas para ejecutar para RAG, pipelines de IA y búsqueda empresarial con datos en vivo. Compatible con Docker. Siempre sincronizado con SharePoint, Google Drive, S3, Kafka, PostgreSQL, APIs de datos en tiempo real y más.

La pasarela de IA más rápida y ligera. Núcleo en Rust con SDK de Python. Llama a más de 100 APIs de LLM en formato OpenAI (o nativo) con seguimiento de costos, barreras de protección, balanceo de carga y registro [Bedrock, Azure, OpenAI, Anthropic, VertexAI, vLLM, Nvidia NIM]

🪢 Plataforma de ingeniería de IA de código abierto: evaluaciones de LLM, observabilidad, métricas, gestión de prompts, playground, conjuntos de datos. Se integra con OpenTelemetry, LangChain, OpenAI SDK, LiteLLM y más. 🍊 YC W23

Composio potencia más de 1000 conjuntos de herramientas, búsqueda de herramientas, gestión de contexto, autenticación y un entorno de pruebas aislado para ayudarte a crear agentes de IA que conviertan la intención en acción.

La plataforma de ingeniería de IA de código abierto para agentes, LLMs y modelos de ML. MLflow permite a equipos de todos los tamaños depurar, evaluar, monitorear y optimizar aplicaciones de IA de calidad de producción mientras controlan los costos y gestionan el acceso a modelos y datos.

Este proyecto tiene como objetivo compartir principios tecnológicos y experiencias prácticas relacionados con modelos grandes (ingeniería de LLM, implementación de aplicaciones de LLM).

Prueba tus prompts, agentes y RAGs. Pruebas de penetración, análisis de vulnerabilidades y red teaming para IA. Compara el rendimiento de GPT, Claude, Gemini, DeepSeek y más. Configuraciones declarativas simples con integración para línea de comandos y CI/CD. Utilizado por OpenAI y Anthropic.

☁️ Construye aplicaciones de IA multimodales con una pila nativa de la nube

Depura, evalúa y monitoriza tus aplicaciones de LLM, sistemas RAG y flujos de trabajo de agentes con seguimiento exhaustivo, evaluaciones automatizadas y paneles listos para producción.

<⚡️> SuperAGI: Un framework de agentes de IA autónomos de código abierto enfocado en desarrolladores. Permite a los desarrolladores construir, gestionar y ejecutar agentes autónomos útiles de forma rápida y confiable.

SDK de Python para el marco de observabilidad, monitorización y evaluación de agentes de IA. Incluye funciones como el seguimiento de agentes, LLM y herramientas, depuración de sistemas multiagente, panel autohospedado y análisis avanzados con vista de línea de tiempo y gráfico de ejecución

Potencia las evaluaciones de tus aplicaciones de LLM 🚀

Una pasarela de IA ultrarrápida con barreras de seguridad integradas. Enruta a más de 1.600 LLMs y más de 50 barreras de IA con una API rápida y sencilla.

Ejecuta cualquier LLM de código abierto, como DeepSeek y Llama, como un endpoint de API compatible con OpenAI en la nube.

BISHENG es una plataforma DevOps de LLM abierta para aplicaciones de IA empresarial de próxima generación. Las características potentes e integrales incluyen: flujo de trabajo GenAI, RAG, Agent, gestión unificada de modelos, evaluación, SFT, gestión de conjuntos de datos, gestión de sistemas a nivel empresarial, observabilidad y más.

Observabilidad y evaluación de IA

Construye, administra y despliega sistemas de IA/ML

La forma más sencilla de servir aplicaciones y modelos de IA: ¡crea APIs de inferencia de modelos, colas de trabajos, aplicaciones LLM, pipelines de múltiples modelos y más!

⚙️🦀 Construye aplicaciones LLM modulares y escalables en Rust

Evidently es un marco de observabilidad de código abierto para ML y LLM. Evalúa, prueba y monitorea cualquier sistema impulsado por IA o canalización de datos. Desde datos tabulares hasta Gen AI. Más de 100 métricas.

La pasarela de IA empresarial más rápida (50 veces más rápida que LiteLLM) con equilibrador de carga adaptativo, modo clúster, barandillas de seguridad (guardrails), soporte para más de 1000 modelos y una sobrecarga de <100 µs a 5k RPS.

Observabilidad de código abierto para tu aplicación GenAI o LLM, basada en OpenTelemetry.

Plano es un servidor proxy nativo de IA y plano de datos para aplicaciones agénticas. Enrutamiento inteligente de LLM, observabilidad, orquestación de agentes y barreras de seguridad para que te concentres en la lógica central de tus agentes.

ClearML: CI/CD automático y mágico para optimizar tu carga de trabajo de IA. Gestión de experimentos, gestión de datos, pipelines, orquestación, programación y despliegue en una sola solución MLOps/LLMOps

Despliega agentes de IA en Google Cloud en minutos, no en meses. Plantillas listas para producción con CI/CD integrado, evaluación y observabilidad.

🧊 Plataforma de observabilidad de LLM de código abierto. Una línea de código para monitorear, evaluar y experimentar. YC W23 🍓

Una lista impresionante y seleccionada de las mejores herramientas LLMOps para desarrolladores

🐢 Biblioteca de pruebas y evaluación de código abierto para agentes LLM

Plataforma de optimización de agentes de IA de próxima generación: Cozeloop aborda los desafíos en el desarrollo de agentes de IA ofreciendo capacidades de gestión de ciclo de vida completo desde el desarrollo, depuración y evaluación hasta la supervisión.

ZenML 🙏: Una plataforma de IA desde pipelines hasta agentes. https://zenml.io.