hadoop

Các notebook Python về khoa học dữ liệu: Deep learning (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, big data (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, kiến thức Python cơ bản, AWS và các dòng lệnh khác nhau.

Luigi là một module Python giúp bạn xây dựng các chuỗi công việc hàng loạt phức tạp. Nó xử lý việc phân giải phần phụ thuộc, quản lý quy trình làm việc, trực quan hóa,... Nó cũng tích hợp sẵn hỗ trợ Hadoop.

🏆 Thư viện ORM thời gian thực không cần mã, mạnh mẽ và bảo mật 🚀 cung cấp API và tài liệu mà không cần viết mã ở backend, frontend (client) có thể tùy chỉnh JSON phản hồi 🏆

Hướng dẫn nhập môn Big Data :star:

Trang chủ chính thức của công cụ truy vấn SQL phân tán Presto dành cho dữ liệu lớn

Apache Hadoop

Bộ công cụ triển khai và huấn luyện mô hình học sâu sử dụng JVM. Các điểm nổi bật bao gồm nhập mô hình cho keras, tensorflow và onnx/pytorch, một thư viện C++ mô-đun nhỏ gọn để chạy mã toán học, và một thư viện toán học dựa trên Java chạy trên cốt lõi C++. Cũng bao gồm samediff: một thư viện chạy học sâu giống pytorch/tensorflow...

Kho lưu trữ chính thức của Trino, công cụ truy vấn SQL phân tán dành cho dữ liệu lớn, trước đây gọi là PrestoSQL (https://trino.io)

Hơn 1200 DevOps Bash Script - AWS, GCP, Kubernetes, Docker, CI/CD, APIs, SQL, PostgreSQL, MySQL, Hive, Impala, Kafka, Hadoop, Jenkins, GitHub, GitLab, BitBucket, Azure DevOps, TeamCity, Spotify, MP3, LDAP, Code/Build Linting, quản lý gói cho Linux, Mac, Python, Perl, Ruby, NodeJS, Golang, dotfiles nâng cao: .bashrc, .vimrc, .gitconfig, .screenrc, tmux..

Tại LinkedIn, chúng tôi đang sử dụng chương trình giảng dạy này để định hướng cho nhân sự mới vào vai trò SRE.

H2O là Nền tảng Học máy Mã nguồn mở, Phân tán, Nhanh & Có thể mở rộng: Deep Learning, Gradient Boosting (GBM) & XGBoost, Random Forest, Generalized Linear Modeling (GLM với Elastic Net), K-Means, PCA, Generalized Additive Models (GAM), RuleFit, Support Vector Machine (SVM), Stacked Ensembles, Automatic Machine Learning (AutoML), v.v.

Alluxio, giải pháp điều phối dữ liệu cho phân tích và học máy trên đám mây

Apache Hive

Apache Calcite

Apache Ignite

Apache Nutch là một trình thu thập thông tin web (web crawler) có thể mở rộng và nâng cấp quy mô

DataSphereStudio là một cổng thông tin quản lý và phát triển ứng dụng dữ liệu một điểm dừng (one-stop), bao gồm các kịch bản như trao đổi dữ liệu, khử nhạy/làm sạch, phân tích/khai phá, đo lường chất lượng, trực quan hóa và lập lịch tác vụ.

Học Big Data, học Big Data từ con số không, bao gồm video học tập và tài liệu phỏng vấn cho từng giai đoạn học Big Data

Hệ thống phân tích lưu lượng hành khách lớn tàu điện ngầm Thâm Quyến 🚇🚄🌟

Apache Kyuubi là cổng kết nối phân tán và đa người thuê cung cấp SQL không máy chủ trên data warehouse và lakehouse.

Docker image cho Apache Hadoop

Các tệp nhị phân winutils.exe, hadoop.dll và hdfs.dll cho Hadoop trên Windows

Apache Drill là một tầng truy vấn MPP phân tán dành cho dữ liệu tự mô tả.

Kho tri thức dữ liệu lớn liên quan đến mô hình hóa kho dữ liệu, tính toán thời gian thực, dữ liệu lớn, trung tâm dữ liệu, thiết kế hệ thống, Java, thuật toán, v.v.

AI trên Hadoop

Hơn 2000+ câu hỏi phỏng vấn Data engineer.

Giải pháp lưu trữ dữ liệu hiệu năng cao

Một công cụ ETL nhanh chóng và linh hoạt có thể truyền dữ liệu liền mạch giữa RDBMS và NoSQL

Hơn 50 DockerHub image công khai cho Docker & Kubernetes - DevOps, CI/CD, GitHub Actions, CircleCI, Jenkins, TeamCity, Alpine, CentOS, Debian, Fedora, Ubuntu, Hadoop, Kafka, ZooKeeper, HBase, Cassandra, Solr, SolrCloud, Presto, Apache Drill, Nifi, Spark, Consul, Riak

Taier là một nền tảng phát triển dữ liệu lớn dùng để gửi, lập lịch, vận hành, bảo trì và hiển thị thông tin chỉ số