data-engineering

APIs limpas para limpeza de dados. Implementação em Python do pacote R Janitor.

Código-fonte que acompanha o livro: Data Science on the Google Cloud Platform, Valliappa Lakshmanan, O'Reilly 2017

Primeira plataforma de descoberta e observabilidade de dados de código aberto. Facilitamos a vida dos profissionais de dados para que possam focar no seu negócio.

Um template de pacote Python abrangente para iniciar e padronizar suas iniciativas de MLOps e pipelines de dados.

Uma coleção curada de mais de 300 artigos de blogs de engenharia das principais empresas de tecnologia. Aprenda como as melhores equipes de engenharia resolvem problemas do mundo real em escala.

O guia de SQL mais abrangente de um especialista do mundo real! Aprenda tudo, desde o básico até consultas avançadas, otimizações e SQL no mundo real

Quilt é uma plataforma de gerenciamento de dados científicos na AWS que ajuda equipes e IA a encontrar, confiar e reutilizar dados por meio de pacotes de dados profundamente versionados e ricos em contexto.

ETL/ELT open-source para implantar nos seus próprios servidores ou nuvem. Construído sobre DuckDB: pipelines visuais no-code/low-code ou SQL, 385 componentes, dbt, CDC, qualidade de dados, reverse ETL, linhagem e MCP para agentes de IA. Sem nuvem de fornecedor, sem cobrança por linha.

Uma lista curada, porém incompleta, de recursos de IA centrados em dados.

Um Hub de Conhecimento de Engenharia de Dados e Machine Learning

Repositório oficial do Open Data Contract Standard (ODCS).

📙 Awesome Data Catalogs e plataformas de observabilidade.

Impor contratos de dados.

🌊 Sincronize continuamente os sistemas onde seus dados residem com os sistemas onde você deseja que eles estejam, gerenciando seus fluxos de dados com o Estuary. 🌊

FlyFish é uma plataforma de código de visualização de dados. Podemos criar um modelo de dados rapidamente de forma simples e gerar rapidamente um conjunto de soluções de visualização de dados arrastando e soltando.

Um guia abrangente para construir um data warehouse moderno com SQL Server, incluindo processos de ETL, modelagem de dados e análises.

Núcleo do Egeria

Mais um repositório com conceitos básicos, desafios técnicos e recursos sobre engenharia de dados em espanhol 🧙✨

Framework orientado pela comunidade, simples, porém poderoso, para computação distribuída sobre dados de forma rápida e econômica.

Neum AI é um framework de primeira linha para gerenciar a criação e sincronização de embeddings vetoriais em larga escala.

Materiais suplementares para o curso da Udemy The Complete dbt (Data Build Tool) Bootcamp

Engenharia de Dados Prática: Um guia prático de projeto imobiliário

Framework Python para construir pipelines de dados eficientes. Promove modularidade e colaboração, permitindo a criação de pipelines complexos a partir de componentes simples e reutilizáveis.

Estrutura de engenharia de dados agêntica e de código aberto para dbt, SQL e data warehouses em nuvem. Mais de 100 ferramentas, 10 warehouses, com tecnologia de IA.

Conheça melhor seus dados! Datavines é uma plataforma de observabilidade de dados de nova geração, com suporte para gerenciamento de metadados e qualidade de dados.

Potencialize o BigQuery com BigFunctions.

Compilação de exemplos reais de alto perfil de projetos de machine learning que falharam.

VectorFlow é um pipeline de incorporação de vetores de alto volume que ingere dados brutos, os transforma em vetores e os grava em um banco de dados vetorial de sua escolha.

O Data Flow Engine é um motor impulsionado por dados de baixo nível voltado para integração, sincronização, troca e compartilhamento de dados, além de configuração e agendamento de tarefas. Ele adota arquiteturas como separação de controle e execução, múltiplas camadas de fluxo e biblioteca de plugins para lidar com problemas reais de dados, como tarefas de dados em grande escala, relatórios de alta frequência, coleta de alta frequência e compatibilidade com dados heterogêneos.

Synmetrix – camada semântica de código aberto pronta para produção no Cube