spark

Data Engineering Zoomcamp là khóa học miễn phí kéo dài 9 tuần về xây dựng đường ống dữ liệu sẵn sàng cho môi trường sản xuất. Khóa tiếp theo bắt đầu vào tháng 1 năm 2026. Tham gia khóa học tại đây 👇🏼

Apache Spark - Công cụ phân tích hợp nhất để xử lý dữ liệu quy mô lớn

Các notebook Python về khoa học dữ liệu: Deep learning (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, big data (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, kiến thức Python cơ bản, AWS và các dòng lệnh khác nhau.

Làm cho công ty của bạn hướng dữ liệu. Kết nối với mọi nguồn dữ liệu, dễ dàng trực quan hóa, tạo bảng điều khiển và chia sẻ dữ liệu của bạn.

Công nghệ container Docker mới nhất, học hỏi các thực hành tốt nhất từ các trường hợp thực tế! | Tìm hiểu và thấu hiểu các công nghệ Docker & Container với thực hành DevOps thực tế!

Hướng dẫn nhập môn Big Data :star:

Danh sách tài liệu gian lận Data Science để thống trị thế giới

GUI cho ChatGPT API và nhiều LLM. Hỗ trợ agent, hỏi đáp dựa trên tệp, tinh chỉnh (finetuning) GPT và truy vấn với tìm kiếm web. Tất cả đều có giao diện người dùng gọn gàng.

Blog học tập Flink. http://www.54tianzhisheng.cn/ Bao gồm các nội dung nhập môn, khái niệm, nguyên lý, thực chiến, tối ưu hóa hiệu suất, phân tích mã nguồn Flink. Liên quan đến các case study học tập như Flink Connector, Metrics, Library, DataStream API, Table API & SQL, cùng với chia sẻ case study dự án lớn về ứng dụng thực tế của Flink (PVUV, lưu trữ nhật ký, khử trùng lặp dữ liệu thời gian thực hàng chục tỷ, giám sát và cảnh báo). Chào mọi người ủng hộ chuyên mục của tôi "Động cơ tính toán thời gian thực dữ liệu lớn Flink thực chiến và tối ưu hóa hiệu suất"

Chuyên mục phỏng vấn doanh nghiệp lớn: Hướng dẫn kỹ thuật dành cho lập trình viên Java, bao gồm câu hỏi phỏng vấn, kiến trúc hệ thống, mẹo nghề nghiệp và middleware phổ biến, giúp bạn trở nên xuất sắc hơn!

Bộ công cụ triển khai và huấn luyện mô hình học sâu sử dụng JVM. Các điểm nổi bật bao gồm nhập mô hình cho keras, tensorflow và onnx/pytorch, một thư viện C++ mô-đun nhỏ gọn để chạy mã toán học, và một thư viện toán học dựa trên Java chạy trên cốt lõi C++. Cũng bao gồm samediff: một thư viện chạy học sâu giống pytorch/tensorflow...

Bộ phân tích cú pháp và chuyển đổi mã nguồn SQL cho Python

Một khung lưu trữ mã nguồn mở cho phép xây dựng kiến trúc Lakehouse với các công cụ tính toán bao gồm Spark, PrestoDB, Flink, Trino, Hive và các API

🧙 Xây dựng, chạy và quản lý các đường ống dữ liệu để tích hợp và chuyển đổi dữ liệu.

H2O là Nền tảng Học máy Mã nguồn mở, Phân tán, Nhanh & Có thể mở rộng: Deep Learning, Gradient Boosting (GBM) & XGBoost, Random Forest, Generalized Linear Modeling (GLM với Elastic Net), K-Means, PCA, Generalized Additive Models (GAM), RuleFit, Support Vector Machine (SVM), Stacked Ensembles, Automatic Machine Learning (AutoML), v.v.

Alluxio, giải pháp điều phối dữ liệu cho phân tích và học máy trên đám mây

Một Parameter Server linh hoạt và mạnh mẽ cho học máy quy mô lớn

Notebook trên nền web cho phép phân tích dữ liệu tương tác, dựa trên dữ liệu và tài liệu cộng tác với SQL, Scala và nhiều hơn nữa.

Thư viện Python Machine Learning đơn giản và phân tán, chuyển đổi các thuật toán ML cho Spark

cube studio开源云原生一站式机器学习/深度学习/大模型AI平台，mlops算法链路全流程，算力租赁平台，notebook在线开发，拖拉拽任务流pipeline编排，多机多卡分布式训练，超参搜索，推理服务VGPU虚拟化，边缘计算，标注平台自动化标注，deepseek等大模型sft微调/奖励模型/强化学习训练，vllm/ollama/mindie大模型多机推理，私有知识库，AI模型市场，支持国产cpu/gpu/npu 昇腾生态，支持RDMA，支持pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano等分布式

Xử lý Ngôn ngữ Tự nhiên Tiên tiến nhất (State of the Art)

The Hunting ELK

Bitset nén tốt hơn trong Java: được sử dụng bởi Apache Spark, Netflix Atlas, Apache Pinot, Tablesaw và nhiều bên khác

Deequ là một thư viện được xây dựng trên Apache Spark để định nghĩa "unit test cho dữ liệu", nhằm đo lường chất lượng dữ liệu trong các tập dữ liệu lớn.

🔨 Tạo câu lệnh SQL có cấu trúc bằng JSON, dựa trên Vue3 + TypeScript + Vite + Ant Design + MonacoEditor. Dự án đơn giản (nặng logic, nhẹ giao diện), phù hợp để luyện tập~

Apache Linkis xây dựng một lớp trung gian tính toán để hỗ trợ kết nối, quản trị và điều phối giữa các ứng dụng cấp cao và các công cụ dữ liệu bên dưới.

Apache Paimon là một định dạng hồ chứa dữ liệu cho phép xây dựng Kiến trúc Realtime Lakehouse với Flink và Spark cho cả hoạt động stream và batch.

Koalas: pandas API trên Apache Spark.

Giải pháp thay thế Apache Spark thả nổi được viết bằng Rust, hợp nhất xử lý hàng loạt, xử lý luồng và khối lượng công việc AI đòi hỏi tính toán cao.

DataSphereStudio là một cổng thông tin quản lý và phát triển ứng dụng dữ liệu một điểm dừng (one-stop), bao gồm các kịch bản như trao đổi dữ liệu, khử nhạy/làm sạch, phân tích/khai phá, đo lường chất lượng, trực quan hóa và lập lịch tác vụ.