pyspark

Thư viện dataframe Python di động

Thư viện Python Machine Learning đơn giản và phân tán, chuyển đổi các thuật toán ML cho Spark

Xử lý Ngôn ngữ Tự nhiên Tiên tiến nhất (State of the Art)

Apache Linkis xây dựng một lớp trung gian tính toán để hỗ trợ kết nối, quản trị và điều phối giữa các ứng dụng cấp cao và các công cụ dữ liệu bên dưới.

Giải pháp thay thế Apache Spark thả nổi được viết bằng Rust, hợp nhất xử lý hàng loạt, xử lý luồng và khối lượng công việc AI đòi hỏi tính toán cao.

Danh sách tổng hợp các gói và tài nguyên tuyệt vời cho Apache Spark.

Thư viện Petastorm hỗ trợ huấn luyện và đánh giá trên một máy đơn hoặc phân tán các mô hình học sâu từ tập dữ liệu định dạng Apache Parquet. Thư viện hỗ trợ các framework ML như Tensorflow, Pytorch và PySpark, có thể sử dụng từ mã nguồn Python thuần túy.

Lớp tương thích nhẹ và có thể mở rộng giữa các thư viện dataframe!

Hướng dẫn Apache Spark & Python (pySpark) cho Phân tích Dữ liệu lớn và Máy học dưới dạng Jupyter / IPython notebook

:truck: Quy trình chuẩn bị dữ liệu linh hoạt được thực hiện dễ dàng với Pandas, Dask, cuDF, Dask-cuDF, Vaex và PySpark

Jupyter magics và kernels để làm việc với các cụm Spark từ xa

Hopsworks - Nền tảng AI thâm canh dữ liệu với Feature Store

PySpark-Tutorial cung cấp các thuật toán cơ bản sử dụng PySpark

GraphFrames là một gói dành cho Apache Spark cung cấp các đồ thị dựa trên DataFrame

Sách MapReduce, Spark, Java và Scala cho Thuật toán dữ liệu

Sparkling Water cung cấp tính năng của H2O bên trong cụm Spark

Hơn 80 công cụ CLI cho DevOps & Dữ liệu - AWS, GCP, GCF Python Cloud Functions, Log Anonymizer, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, các bộ chuyển đổi & kiểm định dữ liệu Spark (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr, v.v.

Framework Python để xây dựng các đường ống dữ liệu hiệu quả. Nó thúc đẩy tính mô-đun và cộng tác, cho phép tạo ra các đường ống phức tạp từ các thành phần đơn giản, có thể tái sử dụng.

Scriptis là công cụ phân tích dữ liệu tương tác hỗ trợ phát triển script (SQL, Pyspark, HiveQL), gửi tác vụ (Spark, Hive), UDF, hàm, quản lý tài nguyên và chẩn đoán thông minh.

Các phương thức hỗ trợ kiểm thử PySpark với thông báo lỗi trực quan.

Các phương thức pyspark giúp nâng cao năng suất lập trình viên

So sánh DataFrame giữa Pandas, Polars, Spark và Snowpark cho con người và hơn thế nữa!

Học Apache Spark bằng Scala, Python (PySpark) và R (SparkR) bằng cách xây dựng cụm của riêng bạn với giao diện JupyterLab trên Docker. :zap: