spark

Data Engineering Zoomcamp adalah kursus gratis selama 9 minggu tentang membangun pipeline data yang siap produksi. Kohort berikutnya dimulai pada Januari 2026. Bergabunglah dengan kursus di sini 👇🏼

Apache Spark - Mesin analitik terpadu untuk pemrosesan data skala besar

Notebook Python untuk data science: Deep learning (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, big data (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, dasar-dasar Python, AWS, dan berbagai baris perintah.

Jadikan perusahaan Anda berbasis data. Hubungkan ke sumber data apa pun, visualisasikan dengan mudah, buat dasbor, dan bagikan data Anda.

Teknologi kontainer Docker terbaru, pelajari praktik terbaik dari kasus nyata!

Panduan pengantar Big Data :star:

Daftar lembar contekan Data Science untuk menguasai dunia

GUI untuk API ChatGPT dan banyak LLM. Mendukung agen, QA berbasis file, fine-tuning GPT, dan kueri dengan pencarian web. Semuanya dengan UI yang rapi.

Blog pembelajaran Flink. http://www.54tianzhisheng.cn/ Berisi pengenalan, konsep, prinsip, praktik, optimasi performa, dan analisis kode sumber Flink. Mencakup studi kasus pembelajaran untuk Flink Connector, Metrics, Library, DataStream API, Table API & SQL, serta contoh proyek skala besar (PVUV, penyimpanan log, deduplikasi data real-time berskala miliaran, pemantauan dan peringatan). Dukung kolom saya: "Big Data Real-time Computing Engine Flink Practice and Performance Optimization".

Kolom wawancara perusahaan besar: Panduan teknis untuk programmer Java, berisi soal wawancara, arsitektur sistem, tips karier, middleware utama, dan lainnya untuk membantu Anda berkembang.

Rangkaian alat untuk menerapkan dan melatih model deep learning menggunakan JVM. Sorotan termasuk impor model untuk Keras, TensorFlow, dan ONNX/PyTorch, pustaka C++ modular dan ringan untuk menjalankan kode matematika, serta pustaka matematika berbasis Java di atas pustaka inti C++. Juga mencakup samediff: pustaka mirip PyTorch/TensorFlow untuk menjalankan deep learning.

Parser dan Transpiler SQL Python

Framework penyimpanan open-source yang memungkinkan pembangunan arsitektur Lakehouse dengan engine komputasi termasuk Spark, PrestoDB, Flink, Trino, dan Hive serta API

Membangun, menjalankan, dan mengelola pipeline data untuk integrasi dan transformasi data.

H2O adalah platform Machine Learning sumber terbuka yang terdistribusi, cepat, dan dapat diskalakan: Deep Learning, Gradient Boosting (GBM) & XGBoost, Random Forest, Generalized Linear Modeling (GLM dengan Elastic Net), K-Means, PCA, Generalized Additive Models (GAM), RuleFit, Support Vector Machine (SVM), Stacked Ensembles, Automatic Machine Learning (AutoML), dll.

Alluxio, orkestrasi data untuk analitik dan machine learning di cloud

Parameter Server yang Fleksibel dan Andal untuk machine learning skala besar

Notebook berbasis web yang memungkinkan analitik data interaktif berbasis data dan dokumen kolaboratif dengan SQL, Scala, dan lainnya.

Pustaka Python Machine Learning yang sederhana dan terdistribusi untuk memindahkan algoritma ML ke Spark.

cube studio开源云原生一站式机器学习/深度学习/大模型AI平台，mlops算法链路全流程，算力租赁平台，notebook在线开发，拖拉拽任务流pipeline编排，多机多卡分布式训练，超参搜索，推理服务VGPU虚拟化，边缘计算，标注平台自动化标注，deepseek等大模型sft微调/奖励模型/强化学习训练，vllm/ollama/mindie大模型多机推理，私有知识库，AI模型市场，支持国产cpu/gpu/npu 昇腾生态，支持RDMA，支持pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano等分布式

State of the Art Natural Language Processing.

The Hunting ELK

Bitset terkompresi yang lebih baik di Java: digunakan oleh Apache Spark, Netflix Atlas, Apache Pinot, Tablesaw, dan banyak lainnya

Deequ adalah pustaka yang dibangun di atas Apache Spark untuk mendefinisikan "unit test untuk data", yang mengukur kualitas data dalam dataset besar.

Alat untuk menghasilkan pernyataan SQL terstruktur menggunakan JSON, diimplementasikan dengan Vue3 + TypeScript + Vite + Ant Design + MonacoEditor. Proyek sederhana yang berfokus pada logika, cocok untuk latihan.

Apache Linkis membangun lapisan middleware komputasi untuk memfasilitasi koneksi, tata kelola, dan orkestrasi antara aplikasi tingkat atas dan mesin data dasar.

Apache Paimon adalah format lake yang memungkinkan pembangunan Arsitektur Lakehouse Realtime dengan Flink dan Spark untuk operasi streaming maupun batch.

Koalas: API pandas di Apache Spark

Pengganti Apache Spark drop-in yang ditulis dalam Rust, menyatukan pemrosesan batch, pemrosesan stream, dan beban kerja AI yang intensif komputasi.

DataSphereStudio adalah portal pengembangan & manajemen aplikasi data terpadu, mencakup skenario termasuk pertukaran data, penyamaran/pembersihan, analisis/penambangan, pengukuran kualitas, visualisasi, dan penjadwalan tugas.