spark

Solución de almacenamiento de datos de alto rendimiento

Repositorio de GitHub para Learning Spark: Lightning-Fast Data Analytics [2.ª edición].

Más de 50 imágenes públicas de DockerHub para Docker y Kubernetes - DevOps, CI/CD, GitHub Actions, CircleCI, Jenkins, TeamCity, Alpine, CentOS, Debian, Fedora, Ubuntu, Hadoop, Kafka, ZooKeeper, HBase, Cassandra, Solr, SolrCloud, Presto, Apache Drill, Nifi, Spark, Consul, Riak

Magics y kernels de Jupyter para trabajar con clústeres remotos de Spark.

Taier es una plataforma de desarrollo de big data para el envío, programación, operación, mantenimiento y visualización de información de indicadores.

PySpark-Tutorial ofrece algoritmos básicos utilizando PySpark

Acelerador Spark Apache DataFusion Comet

Gestión de datos maestros escalable, resolución de identidad, resolución de entidades y deduplicación mediante ML

GraphFrames es un paquete para Apache Spark que proporciona grafos basados en DataFrames.

Apache Amoro (en incubación) es un sistema de gestión de Lakehouse construido sobre formatos de lago de datos abiertos.

Un centro de conocimiento sobre ingeniería de datos y aprendizaje automático

Apache Celeborn es un servicio elástico y de alto rendimiento para datos de shuffle y desbordamiento.

ADAM es una plataforma de análisis genómico con formatos de archivo especializados construidos usando Apache Avro, Apache Spark y Apache Parquet. Licenciado bajo Apache 2.

Servidor para el proyecto ListenBrainz, que incluye el código de la interfaz (JavaScript/React) que sirve y todos los componentes de procesamiento de datos que utiliza.

Complemento de NVIDIA cuDF para Apache Spark: acelera Apache Spark con GPUs

Tutorial gratuito para Apache Spark.

Sparkling Water proporciona funcionalidad de H2O dentro de un clúster de Spark

Interfaz de R para Apache Spark.

Apache Livy es una interfaz REST de código abierto para interactuar con Apache Spark desde cualquier lugar.

Proyecto de código abierto para la preparación de datos en aplicaciones de GenAI

Un protocolo abierto para el intercambio seguro de datos.

Enlace y extensiones de los lenguajes C# y F# para Apache Spark.

Un conector para Spark que permite leer y escribir en clústeres de Redis

Tipos expresivos para Spark.

TiSpark está diseñado para ejecutar Apache Spark sobre TiDB/TiKV

Una lista curada de recursos increíbles relacionados con los lenguajes de programación Ada y SPARK

DoEKS es una herramienta para construir, desplegar y escalar plataformas de datos en Amazon EKS

Este repositorio contiene el código de desarrollo de sparkMeasure, una biblioteca de análisis y resolución de problemas de rendimiento para Apache Spark. Simplifica la recopilación, agregación y exportación de métricas de tareas/etapas de Spark, diseñada para desarrolladores e ingenieros de datos en flujos de trabajo de análisis interactivo, pruebas y monitoreo de producción.

Más de 80 herramientas CLI para DevOps y datos: AWS, GCP, GCF Python Cloud Functions, anonimizador de logs, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, conversores y validadores de datos Spark (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr, etc.

Scriptis es una herramienta para el análisis interactivo de datos con desarrollo de scripts (SQL, Pyspark, HiveQL), envío de tareas (Spark, Hive), UDF, funciones, gestión de recursos y diagnóstico inteligente.