bigdata

Đây là kho lưu trữ chứa các liên kết đến mọi thứ bạn muốn học về kỹ thuật dữ liệu (data engineering)

🚀 Nhanh hơn 2.3x so với MinIO đối với tải trọng đối tượng 4KB. RustFS là hệ thống lưu trữ đối tượng hiệu năng cao, mã nguồn mở, tương thích S3, hỗ trợ di chuyển và đồng tồn tại với các nền tảng tương thích S3 khác như MinIO và Ceph.

Cơ sở dữ liệu chuỗi thời gian hiệu suất cao, có thể mở rộng được thiết kế cho các kịch bản IIoT (Industrial IoT)

Trao quyền cho trí tuệ dữ liệu với SQL phân tán để sharding, khả năng mở rộng và bảo mật trên tất cả các cơ sở dữ liệu.

Hướng dẫn nhập môn Big Data :star:

Danh sách tổng hợp các framework big data, tài nguyên và các nội dung tuyệt vời khác.

JuiceFS là một hệ thống tệp POSIX phân tán được xây dựng trên nền tảng Redis và S3.

Data Agent Ready Warehouse: Dành cho Phân tích, Tìm kiếm, AI, Python Sandbox — được xây dựng lại từ đầu. Kiến trúc thống nhất trên S3 của bạn.

DataFrame Apache Arrow/NumPy kết hợp ngoài bộ nhớ (out-of-core) dành cho Python, ML, trực quan hóa và khám phá dữ liệu dạng bảng lớn với tốc độ một tỷ hàng mỗi giây 🚀

Thao tác Upsert, Xóa và Xử lý Tăng dần trên Big Data.

Hệ thống xử lý hàng loạt Cloud Native (Dự án thuộc CNCF)

Hơn 100 mẫu HTML5 trực quan hóa dữ liệu lớn; bao gồm các ngành: cộng đồng, tài sản, chính phủ, giao thông, tài chính ngân hàng, v.v.

Một framework tích hợp dữ liệu

🔨 Tạo câu lệnh SQL có cấu trúc bằng JSON, dựa trên Vue3 + TypeScript + Vite + Ant Design + MonacoEditor. Dự án đơn giản (nặng logic, nhẹ giao diện), phù hợp để luyện tập~

Apache Avro là một hệ thống tuần tự hóa dữ liệu.

Học Big Data, học Big Data từ con số không, bao gồm video học tập và tài liệu phỏng vấn cho từng giai đoạn học Big Data

GridDB là cơ sở dữ liệu mã nguồn mở thế hệ mới giúp xử lý dữ liệu lớn và IoT chuỗi thời gian nhanh chóng, dễ dàng.

Aix-DB dựa trên framework LangChain/LangGraph, kết hợp kiến trúc cộng tác đa tác tử MCP Skills, thực hiện chuyển đổi từ ngôn ngữ tự nhiên thành thông tin chi tiết về dữ liệu từ đầu đến cuối.

.NET for Apache® Spark™ giúp các nhà phát triển .NET dễ dàng tiếp cận Apache Spark™.

Dựa trên Flink mã nguồn mở, mở rộng SQL thời gian thực của nó; chủ yếu thực hiện việc nối (join) giữa luồng và bảng chiều, hỗ trợ tất cả các cú pháp Flink SQL nguyên bản

Byzer (trước đây là MLSQL): Ngôn ngữ lập trình mã nguồn mở ít mã (low-code) dành cho đường ống dữ liệu, phân tích và AI.

Kho tri thức dữ liệu lớn liên quan đến mô hình hóa kho dữ liệu, tính toán thời gian thực, dữ liệu lớn, trung tâm dữ liệu, thiết kế hệ thống, Java, thuật toán, v.v.

Dịch vụ điều phối Big Data phân tán

Trình thu thập hình ảnh web đa tiến trình cho Google, Naver (Selenium)

Hướng dẫn Apache Spark & Python (pySpark) cho Phân tích Dữ liệu lớn và Máy học dưới dạng Jupyter / IPython notebook

:truck: Quy trình chuẩn bị dữ liệu linh hoạt được thực hiện dễ dàng với Pandas, Dask, cuDF, Dask-cuDF, Vaex và PySpark

Nền tảng khám phá và quan sát dữ liệu mã nguồn mở đầu tiên. Chúng tôi giúp công việc của các chuyên gia dữ liệu trở nên dễ dàng hơn để bạn có thể tập trung vào doanh nghiệp của mình.

Apache Celeborn là một dịch vụ linh hoạt và hiệu suất cao dành cho dữ liệu xáo trộn (shuffle) và dữ liệu tràn (spilled data).

Đồng bộ hóa dữ liệu trong golang cho ClickHouse.

Apache Livy là một giao diện REST mã nguồn mở để tương tác với Apache Spark từ bất kỳ đâu.