data-engineering

SQL Translator é uma ferramenta para converter consultas em linguagem natural em código SQL usando inteligência artificial. Este projeto é 100% gratuito e de código aberto.

pandas no AWS - Integração fácil com Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer e S3 (Parquet, CSV, JSON e EXCEL).

Uma lista de recursos úteis para aprender Engenharia de Dados do zero.

Maestro: O orquestrador de fluxos de trabalho da Netflix.

Kit de ferramentas de manipulação de dados extremamente rápido

Memphis.dev é uma plataforma de streaming de dados altamente escalável e de fácil utilização

Aprenda a projetar, desenvolver, implantar e iterar aplicações de ML em nível de produção.

Substituto direto para o Apache Spark escrito em Rust, unificando processamento em lote, processamento de fluxo e cargas de trabalho de IA intensivas em computação.

Uma lista incrível de projetos de engenharia de dados de código aberto.

Apache DevLake é uma plataforma de dados de desenvolvimento de código aberto para ingerir, analisar e visualizar dados fragmentados de ferramentas de DevOps, extraindo insights para excelência em engenharia, experiência do desenvolvedor e crescimento da comunidade.

Aprenda a construir seu assistente de IA 'Second Brain' com LLMs, agentes, RAG, fine-tuning, LLMOps e técnicas de sistemas de IA.

Meltano: o motor de integração de dados declarativo e code-first que impulsiona suas ideias mais ousadas de produtos baseados em dados e ML. Diga adeus à escrita, manutenção e escalonamento de suas próprias integrações de API.

O Apache Hamilton ajuda cientistas de dados e engenheiros a definir fluxos de dados testáveis, modulares e auto-documentados, que codificam linhagem/rastreamento e metadados. Executa e escala em qualquer lugar onde o Python execute.

Um novo SOTA para RAG — uma arquitetura de recuperação original e uma base de conhecimento open source para humanos e agentes.

Um serviço de classificação personalizada de Machine Learning low-code para artigos, listagens, resultados de pesquisa e recomendações que aumenta o engajamento do usuário. Um motor de Learn-to-Rank amigável.

Motor de contratos de dados para a pilha de dados moderna. https://www.soda.io

Datart é uma plataforma aberta de visualização de dados de próxima geração.

Processamento de fluxo em Python

O melhor lugar para aprender engenharia de dados. Criado e mantido pela comunidade de engenharia de dados.

Feathr – Uma plataforma escalável e unificada de engenharia de dados e IA para empresas.

Uma lista curada de recursos incríveis sobre dbt

Mais de 2000 perguntas de entrevista para engenheiros de dados.

MLRun é uma plataforma MLOps de código aberto para construir e gerenciar rapidamente aplicações de ML contínuas ao longo de seu ciclo de vida. O MLRun integra-se ao seu ambiente de desenvolvimento e CI/CD, automatizando a entrega de dados de produção, pipelines de ML e aplicações online.

🔥🔥🔥 Reverse ETL open source - alternativa ao hightouch e census.

Uma lista abrangente de mais de 180 canais do YouTube sobre Ciência de Dados, Engenharia de Dados, Aprendizado de Máquina, Aprendizado Profundo, Ciência da Computação, programação, engenharia de software, etc.

nao é um agente de análise de código aberto. (1) Crie contexto com a CLI nao-core, (2) implante a interface de chat nao para todos.

Dashboards usando arquivos YAML ou JSON.

ktx é uma camada de contexto executável para agentes de dados e análise 🐙 Permite que Claude Code, Codex ou outros agentes de IA consultem bancos de dados analíticos com precisão e contexto completo da sua empresa

DataFrames de streaming em Python para Kafka

Python concorrente simplificado