spark

Solução de armazenamento de dados de alto desempenho.

Este é o repositório GitHub para Learning Spark: Lightning-Fast Data Analytics [2ª Edição]

Mais de 50 imagens públicas do DockerHub para Docker e Kubernetes - DevOps, CI/CD, GitHub Actions, CircleCI, Jenkins, TeamCity, Alpine, CentOS, Debian, Fedora, Ubuntu, Hadoop, Kafka, ZooKeeper, HBase, Cassandra, Solr, SolrCloud, Presto, Apache Drill, Nifi, Spark, Consul, Riak

Magics e kernels do Jupyter para trabalhar com clusters Spark remotos.

Taier é uma plataforma de desenvolvimento de big data para submissão, agendamento, operação, manutenção e exibição de informações de indicadores.

PySpark-Tutorial fornece algoritmos básicos usando PySpark

Acelerador Apache DataFusion Comet para Spark

Gerenciamento de dados mestres escalável, resolução de identidade, resolução de entidades e deduplicação usando ML.

GraphFrames é um pacote para o Apache Spark que fornece grafos baseados em DataFrame.

Apache Amoro (em incubação) é um sistema de gerenciamento de Lakehouse construído sobre formatos de data lake abertos.

Um Hub de Conhecimento de Engenharia de Dados e Machine Learning

Apache Celeborn é um serviço elástico e de alto desempenho para dados de shuffle e spilled.

ADAM é uma plataforma de análise genômica com formatos de arquivo especializados construída usando Apache Avro, Apache Spark e Apache Parquet. Licenciado sob Apache 2.

Servidor para o projeto ListenBrainz, incluindo o código front-end (JavaScript/React) e todos os componentes de processamento de dados utilizados pelo projeto.

Plugin NVIDIA cuDF para Apache Spark - acelere o Apache Spark com GPUs

Um tutorial gratuito para Apache Spark.

O Sparkling Water fornece funcionalidade H2O dentro do cluster Spark

Interface R para o Apache Spark

Apache Livy é uma interface REST de código aberto para interagir com o Apache Spark de qualquer lugar.

Um protocolo aberto para compartilhamento seguro de dados

Projeto open source para preparação de dados para aplicações GenAI

Bindings de linguagem e extensões em C# e F# para o Apache Spark

Um conector para o Spark que permite leitura e escrita de/para o cluster Redis

Tipos expressivos para Spark.

O TiSpark foi criado para executar o Apache Spark sobre o TiDB/TiKV.

Uma lista curada de recursos incríveis relacionados às linguagens de programação Ada e SPARK.

DoEKS é uma ferramenta para construir, implantar e escalar Plataformas de Dados no Amazon EKS

Este repositório contém o código de desenvolvimento do sparkMeasure, uma biblioteca de análise de desempenho e solução de problemas para o Apache Spark. Ele simplifica a coleta, agregação e exportação de métricas de tarefas/estágios do Spark, sendo projetado para uso prático por desenvolvedores e engenheiros de dados em fluxos de trabalho de análise interativa, testes e monitoramento de produção.

Mais de 80 ferramentas CLI para DevOps e Dados - AWS, GCP, GCF Python Cloud Functions, anonimizador de logs, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, conversores e validadores de dados Spark (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr, etc.

Scriptis é para análise interativa de dados com desenvolvimento de scripts (SQL, Pyspark, HiveQL), submissão de tarefas (Spark, Hive), UDF, gerenciamento de funções e recursos e diagnóstico inteligente.