spark

Solusi penyimpanan data performa tinggi

Repositori GitHub untuk Learning Spark: Lightning-Fast Data Analytics [Edisi ke-2]

50+ citra publik DockerHub untuk Docker & Kubernetes - DevOps, CI/CD, GitHub Actions, CircleCI, Jenkins, TeamCity, Alpine, CentOS, Debian, Fedora, Ubuntu, Hadoop, Kafka, ZooKeeper, HBase, Cassandra, Solr, SolrCloud, Presto, Apache Drill, Nifi, Spark, Consul, Riak

Jupyter magic dan kernel untuk bekerja dengan kluster Spark jarak jauh

Taier adalah platform pengembangan big data untuk pengiriman, penjadwalan, operasional dan pemeliharaan, serta tampilan informasi indikator

PySpark-Tutorial menyediakan algoritma dasar menggunakan PySpark

Akselerator Apache DataFusion Comet Spark

Manajemen data master, resolusi identitas, resolusi entitas, dan deduplikasi yang dapat menskalakan menggunakan ML

GraphFrames adalah paket untuk Apache Spark yang menyediakan Graf berbasis DataFrame.

Apache Amoro (incubating) adalah sistem manajemen Lakehouse yang dibangun di atas format open data lake.

Pusat Pengetahuan Data Engineering & Machine Learning

Apache Celeborn adalah layanan elastis dan berkinerja tinggi untuk data shuffle dan spilled.

ADAM adalah platform analisis genom dengan format file khusus yang dibangun menggunakan Apache Avro, Apache Spark, dan Apache Parquet. Berlisensi Apache 2.

Server untuk proyek ListenBrainz, termasuk kode front-end (javascript/react) yang disajikannya dan semua komponen pemrosesan data yang digunakan oleh LB.

Plugin NVIDIA cuDF untuk Apache Spark - mempercepat Apache Spark dengan GPU.

Tutorial gratis untuk Apache Spark.

Sparkling Water menyediakan fungsionalitas H2O di dalam klaster Spark.

Antarmuka R untuk Apache Spark

Apache Livy adalah antarmuka REST sumber terbuka untuk berinteraksi dengan Apache Spark dari mana saja.

Proyek open source untuk penyiapan data aplikasi GenAI

Protokol terbuka untuk berbagi data yang aman

Pengikatan bahasa dan ekstensi C# serta F# untuk Apache Spark

Konektor untuk Spark yang memungkinkan pembacaan dan penulisan dari/ke kluster Redis

Tipe ekspresif untuk Spark.

TiSpark dibuat untuk menjalankan Apache Spark di atas TiDB/TiKV

Daftar kurasi sumber daya luar biasa terkait bahasa pemrograman Ada dan SPARK

DoEKS adalah alat untuk membangun, menyebarkan, dan menskalakan Platform Data di Amazon EKS

Repositori ini berisi kode pengembangan untuk sparkMeasure, pustaka analisis dan pemecahan masalah kinerja Apache Spark. Pustaka ini menyederhanakan pengumpulan, agregasi, dan ekspor metrik tugas/tahap Spark, serta dirancang untuk penggunaan praktis oleh pengembang dan data engineer dalam alur kerja analisis interaktif, pengujian, dan pemantauan produksi.

80+ Alat CLI DevOps & Data - AWS, GCP, GCF Python Cloud Functions, Log Anonymizer, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Pengonversi & Validator Data Spark (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr, dll.

Scriptis ditujukan untuk analisis data interaktif dengan pengembangan skrip (SQL, Pyspark, HiveQL), pengiriman tugas (Spark, Hive), UDF, fungsi, manajemen sumber daya, dan diagnosis cerdas.