data-pipeline

Movimentação de dados de código aberto para pipelines ELT e agentes de IA — de APIs, bancos de dados e arquivos para warehouses, lakes e aplicações de IA. Tanto auto-hospedado quanto em nuvem.

Capacitando a inteligência de dados com SQL distribuído para fragmentação, escalabilidade e segurança em todos os bancos de dados.

Captura de dados alterados (CDC) para diversos bancos de dados. Por favor, registre problemas em https://github.com/debezium/dbz/issues.

Motor de pipeline de IA de alto desempenho com núcleo em C++ e mais de 50 nós extensíveis em Python. Construa, depure e dimensione fluxos de trabalho de LLM com mais de 13 provedores de modelos, mais de 8 bancos de dados vetoriais e orquestração de agentes, tudo a partir da sua IDE. Inclui extensão para VS Code, SDKs em TypeScript/Python e implantação via Docker.

Líder em infraestrutura de dados de clientes.

Processamento de dados para e com modelos de fundação! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

Flink CDC é uma ferramenta de integração de dados em streaming

Onde o acesso a dados encontra a inteligência operacional.

Alternativa ao Segment focada em privacidade e segurança, escrita em Golang e React

Uma lista de recursos úteis para aprender Engenharia de Dados do zero.

ingestr é uma ferramenta CLI para copiar dados entre quaisquer bancos de dados com um único comando de forma integrada.

Orquestrador de fluxo de trabalho auto-hospedável para equipes cujo foco principal não é a orquestração. YAML declarativo sobre seus scripts, comandos SSH, containers, etc.; mantém fluxos de trabalho separados da lógica de negócios. Um binário, sem banco de dados, roda em recursos de hardware limitados. Alternativa ao Airflow / Cron / Agendador de Tarefas.

Memphis.dev é uma plataforma de streaming de dados altamente escalável e de fácil utilização

Servidor de inferência open-source e cluster de produção para todos os modelos que seu agente precisa.

Uma biblioteca de registro de dados de código aberto para modelos de machine learning e pipelines de dados. 📚 Fornece visibilidade sobre a qualidade dos dados e o desempenho do modelo ao longo do tempo. 🛡️ Suporta coleta de dados com preservação de privacidade, garantindo segurança e robustez. 📈

Solução de observabilidade de dados nativa do dbt para engenheiros de dados e análise. Monitore seus pipelines de dados em minutos. Disponível como serviço self-hosted ou em nuvem com recursos premium.

Uma biblioteca leve de processamento de fluxo para Go

Ferramenta de linha de comando para gerenciamento de tarefas e automação

🔥🔥🔥 Reverse ETL open source - alternativa ao hightouch e census.

OLake - Replicação mais rápida de bancos de dados, Kafka e S3 para Apache Iceberg com otimização de tabelas (chamada OLake Fusion). Ingestão de dados eficiente, rápida e escalável para análise em tempo real. Fontes suportadas: Postgres, MongoDB, MySQL, Oracle, MSSql, DB2, Kafka, S3.

Código-fonte que acompanha o livro: Data Science on the Google Cloud Platform, Valliappa Lakshmanan, O'Reilly 2017

ETL/ELT open-source para implantar nos seus próprios servidores ou nuvem. Construído sobre DuckDB: pipelines visuais no-code/low-code ou SQL, 385 componentes, dbt, CDC, qualidade de dados, reverse ETL, linhagem e MCP para agentes de IA. Sem nuvem de fornecedor, sem cobrança por linha.

zerocode-tdd é uma estrutura de testes automatizados de código aberto, orientada a resultados, para pipelines de dados, ETL, REST API, Kafka, bancos de dados e cenários de carga, tudo definido em JSON ou YAML simples — sem necessidade de codificação.

🌊 Sincronize continuamente os sistemas onde seus dados residem com os sistemas onde você deseja que eles estejam, gerenciando seus fluxos de dados com o Estuary. 🌊

O SeaTunnel é uma plataforma de integração de dados distribuída de alto desempenho para sincronização e transformação de dados massivos (offline e tempo real).

Pipelines de dados mais inteligentes para áudio.

Ferramenta pythonica para orquestrar fluxos de trabalho de aprendizado de máquina, alto desempenho e computação quântica em ambientes de computação heterogêneos.

Engenharia de Dados Prática: Um guia prático de projeto imobiliário

O Conduit transmite dados entre armazenamentos de dados. Um substituto para o Kafka Connect. Não requer JVM.

Uma lista curada de ferramentas de código aberto usadas em plataformas de análise e no ecossistema de engenharia de dados