elt

Apache Airflow - Uma plataforma para criar, agendar e monitorar fluxos de trabalho programaticamente

Movimentação de dados de código aberto para pipelines ELT e agentes de IA — de APIs, bancos de dados e arquivos para warehouses, lakes e aplicações de IA. Tanto auto-hospedado quanto em nuvem.

O dbt permite que analistas e engenheiros de dados transformem seus dados usando as mesmas práticas que engenheiros de software utilizam para construir aplicações.

SeaTunnel é uma ferramenta de integração de dados massivos, distribuída, de alto desempenho e multimodal.

Construa, execute e gerencie pipelines de dados para integrar e transformar dados.

Pipelines de dados para configurações de nuvem e dados de segurança. Construa soluções de inventário de ativos em nuvem, CSPM, FinOps e gerenciamento de vulnerabilidades. Extraia dados de AWS, Azure, GCP e mais de 70 fontes de nuvem e SaaS.

Flink CDC é uma ferramenta de integração de dados em streaming

data load tool (dlt) é uma biblioteca Python de código aberto que facilita o carregamento de dados.

Alternativa ao Segment focada em privacidade e segurança, escrita em Golang e React

Um sistema para processamento de dados e ETL baseado em agentes com LLM.

Maestro: O orquestrador de fluxos de trabalho da Netflix.

Framework de transformação de dados escalável e eficiente - compatível com versões anteriores do dbt.

Meltano: o motor de integração de dados declarativo e code-first que impulsiona suas ideias mais ousadas de produtos baseados em dados e ML. Diga adeus à escrita, manutenção e escalonamento de suas próprias integrações de API.

BI de código aberto para engenheiros

OLake - Replicação mais rápida de bancos de dados, Kafka e S3 para Apache Iceberg com otimização de tabelas (chamada OLake Fusion). Ingestão de dados eficiente, rápida e escalável para análise em tempo real. Fontes suportadas: Postgres, MongoDB, MySQL, Oracle, MSSql, DB2, Kafka, S3.

ETL/ELT open-source para implantar nos seus próprios servidores ou nuvem. Construído sobre DuckDB: pipelines visuais no-code/low-code ou SQL, 385 componentes, dbt, CDC, qualidade de dados, reverse ETL, linhagem e MCP para agentes de IA. Sem nuvem de fornecedor, sem cobrança por linha.

🌊 Sincronize continuamente os sistemas onde seus dados residem com os sistemas onde você deseja que eles estejam, gerenciando seus fluxos de dados com o Estuary. 🌊

Sling é uma ferramenta de CLI que extrai dados de um armazenamento/banco de dados de origem e os carrega em um armazenamento/banco de dados de destino.

Optimus é um orquestrador de fluxo de trabalho fácil de usar, confiável e de alto desempenho para transformação de dados, modelagem de dados, pipelines e gerenciamento de qualidade de dados.

Integração dbt + Metabase

Um pacote dbt gratuito para criar e carregar Data Warehouses compatíveis com Data Vault 2.0 (impulsionado pelo dbt, uma ferramenta de engenharia de dados de código aberto, marca registrada da dbt Labs).