pyspark

Perpustakaan dataframe Python yang portabel

Pustaka Python Machine Learning yang sederhana dan terdistribusi untuk memindahkan algoritma ML ke Spark.

State of the Art Natural Language Processing.

Apache Linkis membangun lapisan middleware komputasi untuk memfasilitasi koneksi, tata kelola, dan orkestrasi antara aplikasi tingkat atas dan mesin data dasar.

Pengganti Apache Spark drop-in yang ditulis dalam Rust, menyatukan pemrosesan batch, pemrosesan stream, dan beban kerja AI yang intensif komputasi.

Daftar kurasi paket dan sumber daya Apache Spark yang luar biasa.

Pustaka Petastorm memungkinkan pelatihan dan evaluasi model deep learning secara mandiri atau terdistribusi dari dataset berformat Apache Parquet. Mendukung framework ML seperti TensorFlow, PyTorch, dan PySpark, serta dapat digunakan dengan kode Python murni.

Lapisan kompatibilitas yang ringan dan dapat diperluas antar pustaka dataframe!

Tutorial Apache Spark & Python (pySpark) untuk Analisis Big Data dan Machine Learning sebagai notebook IPython / Jupyter

:truck: Alur kerja Persiapan Data Agile menjadi lebih mudah dengan Pandas, Dask, cuDF, Dask-cuDF, Vaex, dan PySpark

Jupyter magic dan kernel untuk bekerja dengan kluster Spark jarak jauh

Hopsworks - Platform AI yang intensif data dengan Feature Store

PySpark-Tutorial menyediakan algoritma dasar menggunakan PySpark

GraphFrames adalah paket untuk Apache Spark yang menyediakan Graf berbasis DataFrame.

MapReduce, Spark, Java, dan Scala untuk Buku Algoritma Data

Sparkling Water menyediakan fungsionalitas H2O di dalam klaster Spark.

80+ Alat CLI DevOps & Data - AWS, GCP, GCF Python Cloud Functions, Log Anonymizer, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Pengonversi & Validator Data Spark (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr, dll.

Framework Python untuk membangun pipeline data yang efisien. Mendukung modularitas dan kolaborasi, memungkinkan pembuatan pipeline kompleks dari komponen yang sederhana dan dapat digunakan kembali.

Scriptis ditujukan untuk analisis data interaktif dengan pengembangan skrip (SQL, Pyspark, HiveQL), pengiriman tugas (Spark, Hive), UDF, fungsi, manajemen sumber daya, dan diagnosis cerdas.

Metode pembantu pengujian PySpark dengan pesan kesalahan yang bagus

Metode PySpark untuk meningkatkan produktivitas pengembang.

Perbandingan DataFrame Pandas, Polars, Spark, dan Snowpark yang ramah pengguna dan lainnya!

Pelajari Apache Spark dalam Scala, Python (PySpark), dan R (SparkR) dengan membangun cluster Anda sendiri dengan antarmuka JupyterLab di Docker. :zap: