spark

Giải pháp lưu trữ dữ liệu hiệu năng cao

Đây là kho lưu trữ GitHub cho sách Learning Spark: Phân tích dữ liệu tốc độ cao [Phiên bản thứ 2]

Hơn 50 DockerHub image công khai cho Docker & Kubernetes - DevOps, CI/CD, GitHub Actions, CircleCI, Jenkins, TeamCity, Alpine, CentOS, Debian, Fedora, Ubuntu, Hadoop, Kafka, ZooKeeper, HBase, Cassandra, Solr, SolrCloud, Presto, Apache Drill, Nifi, Spark, Consul, Riak

Jupyter magics và kernels để làm việc với các cụm Spark từ xa

Taier là một nền tảng phát triển dữ liệu lớn dùng để gửi, lập lịch, vận hành, bảo trì và hiển thị thông tin chỉ số

PySpark-Tutorial cung cấp các thuật toán cơ bản sử dụng PySpark

Trình tăng tốc Apache DataFusion Comet Spark

Quản lý dữ liệu tổng thể có thể mở rộng, phân giải danh tính, phân giải thực thể và khử trùng lặp sử dụng ML

GraphFrames là một gói dành cho Apache Spark cung cấp các đồ thị dựa trên DataFrame

Apache Amoro (đang ủ) là một hệ thống quản lý Lakehouse được xây dựng trên các định dạng hồ dữ liệu mở.

Trung tâm kiến thức về Kỹ thuật dữ liệu & Học máy

Apache Celeborn là một dịch vụ linh hoạt và hiệu suất cao dành cho dữ liệu xáo trộn (shuffle) và dữ liệu tràn (spilled data).

ADAM là nền tảng phân tích bộ gen với các định dạng file chuyên biệt được xây dựng bằng Apache Avro, Apache Spark và Apache Parquet. Cấp phép theo Apache 2.

Máy chủ cho dự án ListenBrainz, bao gồm mã giao diện người dùng (javascript/react) và tất cả các thành phần xử lý dữ liệu mà LB sử dụng.

Plugin NVIDIA cuDF cho Apache Spark - tăng tốc Apache Spark bằng GPU

Hướng dẫn miễn phí về Apache Spark.

Sparkling Water cung cấp tính năng của H2O bên trong cụm Spark

Giao diện R cho Apache Spark

Apache Livy là một giao diện REST mã nguồn mở để tương tác với Apache Spark từ bất kỳ đâu.

Dự án mã nguồn mở chuẩn bị dữ liệu cho các ứng dụng GenAI

Một giao thức mở để chia sẻ dữ liệu bảo mật

Liên kết ngôn ngữ C# và F# cùng các tiện ích mở rộng cho Apache Spark

Một trình kết nối cho Spark cho phép đọc và ghi dữ liệu từ/đến Redis cluster

Các kiểu dữ liệu biểu cảm cho Spark.

TiSpark được xây dựng để chạy Apache Spark trên nền tảng TiDB/TiKV

Danh sách tổng hợp các tài nguyên hữu ích liên quan đến ngôn ngữ lập trình Ada và SPARK.

DoEKS là công cụ để xây dựng, triển khai và mở rộng quy mô các Nền tảng Dữ liệu trên Amazon EKS

Kho lưu trữ này chứa mã phát triển cho sparkMeasure, một thư viện phân tích và khắc phục sự cố hiệu năng Apache Spark. Nó đơn giản hóa việc thu thập, tổng hợp và xuất các chỉ số tác vụ/giai đoạn của Spark, được thiết kế cho việc sử dụng thực tế bởi các nhà phát triển và kỹ sư dữ liệu trong các quy trình phân tích tương tác, kiểm thử và giám sát sản xuất.

Hơn 80 công cụ CLI cho DevOps & Dữ liệu - AWS, GCP, GCF Python Cloud Functions, Log Anonymizer, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, các bộ chuyển đổi & kiểm định dữ liệu Spark (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr, v.v.

Scriptis là công cụ phân tích dữ liệu tương tác hỗ trợ phát triển script (SQL, Pyspark, HiveQL), gửi tác vụ (Spark, Hive), UDF, hàm, quản lý tài nguyên và chẩn đoán thông minh.