spark

Solution de stockage de données haute performance

Dépôt GitHub pour Learning Spark : Lightning-Fast Data Analytics [2e édition].

Plus de 50 images DockerHub publiques pour Docker et Kubernetes - DevOps, CI/CD, GitHub Actions, CircleCI, Jenkins, TeamCity, Alpine, CentOS, Debian, Fedora, Ubuntu, Hadoop, Kafka, ZooKeeper, HBase, Cassandra, Solr, SolrCloud, Presto, Apache Drill, Nifi, Spark, Consul, Riak.

Magics et kernels Jupyter pour travailler avec des clusters Spark distants.

Taier est une plateforme de développement Big Data dédiée à la soumission, la planification, l'exploitation, la maintenance et l'affichage d'indicateurs.

PySpark-Tutorial fournit des algorithmes de base utilisant PySpark.

Accélérateur Spark Apache DataFusion Comet

Gestion évolutive des données de référence, résolution d'identité, résolution d'entités et déduplication utilisant le ML.

GraphFrames est un package pour Apache Spark fournissant des graphes basés sur les DataFrames

Apache Amoro (en incubation) est un système de gestion de Lakehouse basé sur des formats de lac de données ouverts.

Un centre de connaissances dédié à l'ingénierie des données et au machine learning.

Apache Celeborn est un service élastique et haute performance pour le shuffle et les données déversées.

ADAM est une plateforme d'analyse génomique utilisant des formats de fichiers spécialisés basés sur Apache Avro, Apache Spark et Apache Parquet. Sous licence Apache 2.

Serveur pour le projet ListenBrainz, incluant le code front-end (javascript/react) et tous les composants de traitement de données utilisés par LB.

Plugin NVIDIA cuDF pour Apache Spark - accélérez Apache Spark avec les GPU.

Un tutoriel gratuit pour Apache Spark.

Sparkling Water intègre les fonctionnalités de H2O au sein d'un cluster Spark.

Interface R pour Apache Spark.

Apache Livy est une interface REST open source permettant d'interagir avec Apache Spark depuis n'importe où.

Projet open source pour la préparation de données destinées aux applications GenAI

Un protocole ouvert pour le partage sécurisé de données.

Liaisons et extensions des langages C# et F# pour Apache Spark

Connecteur Spark permettant la lecture et l'écriture vers un cluster Redis.

Types expressifs pour Spark.

TiSpark est conçu pour exécuter Apache Spark au-dessus de TiDB/TiKV.

Une liste organisée de ressources sur les langages de programmation Ada et SPARK

DoEKS est un outil pour construire, déployer et mettre à l'échelle des plateformes de données sur Amazon EKS.

Ce dépôt contient le code de développement de sparkMeasure, une bibliothèque d'analyse et de dépannage des performances pour Apache Spark. Elle simplifie la collecte, l'agrégation et l'exportation des métriques de tâches et d'étapes Spark, et est conçue pour une utilisation pratique par les développeurs et les ingénieurs de données dans les flux de travail d'analyse interactive, de test et de surveillance en production.

Plus de 80 outils CLI pour DevOps et Data : AWS, GCP, GCF Python Cloud Functions, anonymiseur de logs, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, convertisseurs et validateurs de données Spark (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr, etc.

Scriptis est un outil d'analyse de données interactive avec développement de scripts (SQL, Pyspark, HiveQL), soumission de tâches (Spark, Hive), UDF, fonctions, gestion des ressources et diagnostic intelligent.