big-data

Os padrões de sistemas de grande escala escaláveis, confiáveis e de alto desempenho

ClickHouse® é um sistema de gerenciamento de banco de dados analítico em tempo real

Apache Spark - Um mecanismo de análise unificado para processamento de dados em larga escala

Notebooks Python de ciência de dados: Deep learning (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, big data (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, essenciais de Python, AWS e várias linhas de comando.

Apache Flink

Plataforma IoT de código aberto - Gerenciamento de dispositivos, coleta, processamento e visualização de dados.

Um protocolo de segurança cibernética de código aberto para sincronizar dados de grafos descentralizados.

Guia introdutório de Big Data :star:

A página oficial da engine de consulta SQL distribuída Presto para big data

O livro de receitas de Engenharia de Dados

Repositório oficial do Trino, o motor de consulta SQL distribuído para big data, anteriormente conhecido como PrestoSQL (https://trino.io)

Um banco de dados de grafos distribuído e rápido de código aberto, apresentando escalabilidade horizontal e alta disponibilidade

Interface web de código aberto para gerenciamento do Apache Kafka.

O mecanismo de consulta aberta mais rápido do mundo para análises de sub-segundo, tanto dentro quanto fora do data lakehouse. Com a flexibilidade para suportar quase qualquer cenário, o StarRocks oferece desempenho de primeira classe para análises multidimensionais, análises em tempo real e consultas ad-hoc. Um projeto da Linux Foundation.

Mecanismo de busca OSS cloud-native para observabilidade.

O compilador de Python para C mais utilizado

Mecanismo de consulta SQL Apache DataFusion.

Uma biblioteca de Gradient Boosting on Decision Trees rápida, escalável e de alto desempenho, usada para classificação, regressão, ranking e outras tarefas de aprendizado de máquina para Python, R, Java e C++. Suporta computação em CPU e GPU.

Um framework de armazenamento de código aberto que permite construir uma arquitetura Lakehouse com motores de computação como Spark, PrestoDB, Flink, Trino, Hive e APIs

Apache Beam é um modelo de programação unificado para processamento de dados em lote e em tempo real (streaming).

H2O é uma plataforma de aprendizado de máquina de código aberto, distribuída, rápida e escalável: Deep Learning, Gradient Boosting (GBM) & XGBoost, Random Forest, Generalized Linear Modeling (GLM com Elastic Net), K-Means, PCA, Generalized Additive Models (GAM), RuleFit, Support Vector Machine (SVM), Stacked Ensembles, Automatic Machine Learning (AutoML), etc.

Arkime é um sistema de código aberto para captura, indexação e banco de dados de pacotes completos em larga escala.

O Feature Store de código aberto para IA/ML

A plataforma de busca por IA

Banco de dados de sincronização multi-primário contínua com uma API HTTP/JSON intuitiva, projetado para confiabilidade

Notebook baseado na web que permite análise de dados interativa e orientada a dados, além de documentos colaborativos com SQL, Scala e mais.

Hazelcast é uma plataforma de dados em tempo real unificada que combina processamento de fluxo com armazenamento de dados rápido, permitindo que clientes ajam instantaneamente sobre dados em movimento para obter insights em tempo real.

Apache IoTDB

Pipelines centrados em dados e versionamento de dados

Apache Hive