spark

Leistungsstarke Datenspeicherlösung

Das ist das GitHub-Repository für Learning Spark: Lightning-Fast Data Analytics [2nd Edition]

Über 50 öffentliche DockerHub-Images für Docker & Kubernetes – DevOps, CI/CD, GitHub Actions, CircleCI, Jenkins, TeamCity, Alpine, CentOS, Debian, Fedora, Ubuntu, Hadoop, Kafka, ZooKeeper, HBase, Cassandra, Solr, SolrCloud, Presto, Apache Drill, Nifi, Spark, Consul, Riak

Jupyter Magics und Kernel für die Arbeit mit Remote-Spark-Clustern

Taier ist eine Big-Data-Entwicklungsplattform für Übermittlung, Planung, Betrieb, Wartung und Anzeige von Indikatoreninformationen

PySpark-Tutorial bietet grundlegende Algorithmen unter Verwendung von PySpark

Apache DataFusion Comet Spark Accelerator

Skalierbare Stammdatenverwaltung, Identitätsauflösung, Entitätsauflösung und Deduplizierung mittels ML

GraphFrames ist ein Paket für Apache Spark, das DataFrame-basierte Graphen bereitstellt.

Apache Amoro (incubating) ist ein Lakehouse-Verwaltungssystem, das auf offenen Data-Lake-Formaten aufbaut.

Ein Wissenszentrum für Data Engineering & Machine Learning

Apache Celeborn ist ein elastischer und hochleistungsfähiger Dienst für Shuffle- und ausgelagerte Daten.

ADAM ist eine Genomanalyse-Plattform mit spezialisierten Dateiformaten, entwickelt unter Verwendung von Apache Avro, Apache Spark und Apache Parquet. Lizenziert unter Apache 2.

Server für das ListenBrainz-Projekt, einschließlich des bereitgestellten Front-End-Codes (JavaScript/React) und aller Datenverarbeitungskomponenten, die von LB verwendet werden.

NVIDIA cuDF für Apache Spark Plugin – Beschleunigung von Apache Spark mit GPUs

Ein kostenloses Tutorial für Apache Spark.

Sparkling Water stellt H2O-Funktionalität innerhalb eines Spark-Clusters bereit

R-Schnittstelle für Apache Spark

Apache Livy ist eine Open-Source-REST-Schnittstelle zur Interaktion mit Apache Spark von überall aus.

Ein offenes Protokoll für den sicheren Datenaustausch

Open-Source-Projekt zur Datenaufbereitung für GenAI-Anwendungen

C#- und F#-Sprachbindungen und -erweiterungen für Apache Spark

Ein Spark-Connector zum Lesen von und Schreiben in ein/aus einem Redis-Cluster

Ausdrucksstarke Typen für Spark.

TiSpark wurde entwickelt, um Apache Spark auf TiDB/TiKV auszuführen.

Eine kuratierte Liste fantastischer Ressourcen rund um die Programmiersprachen Ada und SPARK

DoEKS ist ein Tool zum Erstellen, Bereitstellen und Skalieren von Datenplattformen auf Amazon EKS

Dieses Repository enthält den Entwicklungscode für sparkMeasure, eine Apache Spark-Bibliothek zur Leistungsanalyse und Fehlerbehebung. Sie vereinfacht das Erfassen, Aggregieren und Exportieren von Spark-Task-/Stage-Metriken und ist für den praktischen Einsatz durch Entwickler und Data Engineers in interaktiven Analyse-, Test- und Produktionsüberwachungs-Workflows konzipiert.

80+ DevOps- und Data-CLI-Tools – AWS, GCP, GCF Python Cloud Functions, Log Anonymizer, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Spark Data Converters & Validators (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr usw.

Scriptis dient der interaktiven Datenanalyse mit Skriptentwicklung (SQL, Pyspark, HiveQL), Task-Übermittlung (Spark, Hive), UDF, Funktionen, Ressourcenverwaltung und intelligentem Diagnose.