bigdata

Este é um repositório com links para tudo o que você gostaria de aprender sobre engenharia de dados

🚀 2,3x mais rápido que o MinIO para payloads de objetos de 4KB. O RustFS é um sistema de armazenamento de objetos de alto desempenho compatível com S3, de código aberto, que suporta migração e coexistência com outras plataformas compatíveis com S3, como MinIO e Ceph.

Banco de dados de séries temporais de alto desempenho e escalável, projetado para cenários de IoT Industrial (IIoT).

Capacitando a inteligência de dados com SQL distribuído para fragmentação, escalabilidade e segurança em todos os bancos de dados.

Guia introdutório de Big Data :star:

Uma lista curada de frameworks de big data, recursos e outras coisas incríveis.

JuiceFS é um sistema de arquivos POSIX distribuído construído sobre Redis e S3.

Data Agent Ready Warehouse: Uma solução para Analytics, Busca, IA e Sandbox Python, reconstruída do zero. Arquitetura unificada sobre seu S3.

DataFrame híbrido Out-of-Core Apache Arrow/NumPy para Python, ML, visualização e exploração de grandes dados tabulares a um bilhão de linhas por segundo 🚀

Upserts, exclusões e processamento incremental em Big Data.

Um sistema de processamento em lote nativo da nuvem (Projeto sob a CNCF)

Mais de 100 modelos HTML5 de visualização de big data; inclui setores como comunidade, gestão predial, governo, transporte, bancos e finanças. Os modelos mais recentes, completos e modernos da web, com atualizações contínuas.

Um framework de integração de dados

Use JSON para gerar instruções SQL estruturadas, implementado com Vue3 + TypeScript + Vite + Ant Design + MonacoEditor. Projeto simples (focado em lógica, leve em interface), ideal para prática.

Apache Avro é um sistema de serialização de dados.

Aprendizado de Big Data do zero, incluindo vídeos de treinamento, materiais de entrevista e guias de estudo para cada etapa.

GridDB é um banco de dados open source de próxima geração que torna o IoT de séries temporais e big data rápidos e fáceis.

Aix-DB utiliza a estrutura LangChain/LangGraph, combinada com a arquitetura de colaboração multiagente MCP Skills, para realizar a conversão de linguagem natural em insights de dados de ponta a ponta.

.NET for Apache® Spark™ torna o Apache Spark™ facilmente acessível para desenvolvedores .NET.

Extensão para SQL em tempo real baseada no Flink open source; implementa principalmente join entre streams e tabelas de dimensão, suportando toda a sintaxe nativa do Flink SQL.

Byzer (anteriormente MLSQL): Uma linguagem de programação open-source de baixo código para pipelines de dados, análise e IA.

Repositório de conhecimento de Big Data abrangendo modelagem de data warehouse, computação em tempo real, Big Data, data middle platform, design de sistemas, Java, algoritmos, etc.

Serviço distribuído de orquestração de Big Data

Web crawler de imagens multiprocessado para Google e Naver (Selenium)

Tutoriais de Apache Spark e Python (pySpark) para análise de Big Data e Machine Learning em notebooks IPython / Jupyter

Fluxos de trabalho de preparação de dados ágeis facilitados com Pandas, Dask, cuDF, Dask-cuDF, Vaex e PySpark

Primeira plataforma de descoberta e observabilidade de dados de código aberto. Facilitamos a vida dos profissionais de dados para que possam focar no seu negócio.

Apache Celeborn é um serviço elástico e de alto desempenho para dados de shuffle e spilled.

Sincronização de dados em golang para ClickHouse.

Apache Livy é uma interface REST de código aberto para interagir com o Apache Spark de qualquer lugar.