data-engineering

SQL Translator es una herramienta para convertir consultas en lenguaje natural en código SQL utilizando inteligencia artificial. Este proyecto es 100% gratuito y de código abierto.

pandas en AWS - Integración sencilla con Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer y S3 (Parquet, CSV, JSON y EXCEL).

Una lista de recursos útiles para aprender ingeniería de datos desde cero

Maestro: El orquestador de flujos de trabajo de Netflix

Kit de herramientas de procesamiento de datos ultrarrápido

Memphis.dev es una plataforma de streaming de datos altamente escalable y fácil de usar.

Aprende a diseñar, desarrollar, desplegar e iterar aplicaciones de ML listas para producción.

Reemplazo directo de Apache Spark escrito en Rust, que unifica el procesamiento por lotes, el procesamiento de flujos y las cargas de trabajo de IA intensivas en computación.

Una lista increíble de proyectos de ingeniería de datos de código abierto

Apache DevLake es una plataforma de datos de desarrollo de código abierto para ingerir, analizar y visualizar datos fragmentados de herramientas de DevOps, extrayendo información para la excelencia en ingeniería, la experiencia del desarrollador y el crecimiento de la comunidad.

Aprende a construir tu asistente de IA Second Brain con LLMs, agentes, RAG, fine-tuning, LLMOps y técnicas de sistemas de IA.

Meltano: el motor de integración de datos declarativo centrado en código que impulsa tus ideas de productos más ambiciosas basadas en datos y ML. Dile adiós a escribir, mantener y escalar tus propias integraciones de API.

Apache Hamilton ayuda a los científicos de datos e ingenieros a definir flujos de datos comprobables, modulares y autodocumentados que codifican la procedencia, el rastreo y los metadatos. Se ejecuta y escala en cualquier lugar donde lo haga Python.

Un nuevo SOTA para RAG: una arquitectura de recuperación original y una base de conocimientos de código abierto para humanos y agentes.

Un servicio de clasificación personalizada de Machine Learning de bajo código para artículos, listados, resultados de búsqueda y recomendaciones que aumenta la participación del usuario. Un motor Learn-to-Rank amigable.

Motor de contratos de datos para la pila de datos moderna. https://www.soda.io

Datart es una plataforma abierta de visualización de datos de próxima generación

Procesamiento de flujos en Python.

El mejor lugar para aprender ingeniería de datos. Creado y mantenido por la comunidad de ingeniería de datos.

Feathr – Una plataforma de ingeniería de datos e IA escalable y unificada para empresas

Una lista curada de recursos increíbles sobre dbt

Más de 2000 preguntas de entrevista para ingenieros de datos

MLRun es una plataforma MLOps de código abierto para construir y gestionar rápidamente aplicaciones de ML continuas a lo largo de su ciclo de vida. MLRun se integra en tu entorno de desarrollo y CI/CD, automatizando la entrega de datos de producción, pipelines de ML y aplicaciones en línea.

🔥🔥🔥 Reverse ETL de código abierto - alternativa a hightouch y census.

Una lista exhaustiva de más de 180 canales de YouTube sobre ciencia de datos, ingeniería de datos, aprendizaje automático, aprendizaje profundo, informática, programación, ingeniería de software, etc.

👾 nao es un agente de análisis de código abierto. (1) Crea contexto con la CLI de nao-core, (2) despliega la interfaz de chat de nao para todos.

:bar_chart: :clipboard: Paneles de control usando archivos YAML o JSON

ktx es una capa de contexto ejecutable para agentes de datos y análisis 🐙 Permite que Claude Code, Codex u otros agentes de IA consulten bases de datos analíticas con precisión y con el contexto completo de su empresa.

DataFrames de streaming en Python para Kafka.

Python concurrente simplificado