elt

Apache Airflow - Nền tảng để lập trình, lên lịch và giám sát các luồng công việc

Di chuyển dữ liệu mã nguồn mở cho các đường ống ELT và AI agents — từ API, cơ sở dữ liệu & tệp đến kho dữ liệu, hồ dữ liệu và các ứng dụng AI. Hỗ trợ cả tự lưu trữ và Cloud.

dbt cho phép các nhà phân tích và kỹ sư dữ liệu chuyển đổi dữ liệu của họ bằng cách sử dụng các phương pháp giống như các kỹ sư phần mềm sử dụng để xây dựng ứng dụng.

SeaTunnel là công cụ tích hợp dữ liệu lớn, phân tán, hiệu năng cao và đa phương thức.

🧙 Xây dựng, chạy và quản lý các đường ống dữ liệu để tích hợp và chuyển đổi dữ liệu.

Đường ống dữ liệu cho cấu hình đám mây và dữ liệu bảo mật. Xây dựng kho tài nguyên đám mây, CSPM, FinOps và các giải pháp quản lý lỗ hổng. Trích xuất từ AWS, Azure, GCP và hơn 70 nguồn đám mây và SaaS.

Flink CDC là công cụ tích hợp dữ liệu dạng stream

data load tool (dlt) là một thư viện Python mã nguồn mở giúp việc tải dữ liệu trở nên dễ dàng 🛠️

Giải pháp thay thế Segment tập trung vào quyền riêng tư và bảo mật, viết bằng Golang và React

Một hệ thống xử lý dữ liệu và ETL chạy bằng LLM mang tính tác vụ (agentic)

Maestro: Trình điều phối workflow của Netflix

Khung chuyển đổi dữ liệu có khả năng mở rộng và hiệu quả - tương thích ngược với dbt.

Meltano: công cụ tích hợp dữ liệu khai báo theo mã nguồn (code-first) hỗ trợ các ý tưởng sản phẩm tích hợp dữ liệu và ML. Tạm biệt việc tự viết, bảo trì và mở rộng các tích hợp API của riêng bạn.

BI mã nguồn mở dành cho các kỹ sư

OLake - Công cụ replication Cơ sở dữ liệu, Kafka & S3 nhanh nhất sang Apache Iceberg với tính năng tối ưu hóa bảng (được gọi là OLake Fusion). ⚡ Thu nạp dữ liệu hiệu quả, nhanh chóng và có khả năng mở rộng cho phân tích thời gian thực. Các nguồn được hỗ trợ: Postgres, MongoDB, MySQL, Oracle, MSSql, DB2, Kafka, S3.

Mã nguồn mở ETL/ELT để bạn triển khai trên server riêng hoặc đám mây. Xây dựng trên DuckDB: chuỗi quy trình trực quan no-code/low-code hoặc SQL, 385 thành phần, dbt, CDC, chất lượng dữ liệu, reverse ETL, lineage, MCP cho AI agent. Không có đám mây nhà cung cấp, không tính phí theo dòng.

🌊 Liên tục đồng bộ hóa các hệ thống lưu trữ dữ liệu của bạn sang các hệ thống bạn muốn, bằng cách quản lý luồng dữ liệu với Estuary. 🌊

Sling là một công cụ CLI giúp trích xuất dữ liệu từ kho lưu trữ/cơ sở dữ liệu nguồn và nạp vào kho lưu trữ/cơ sở dữ liệu đích.

Optimus là công cụ điều phối quy trình làm việc dễ sử dụng, đáng tin cậy và hiệu năng cao cho việc chuyển đổi dữ liệu, mô hình hóa dữ liệu, đường ống dữ liệu và quản lý chất lượng dữ liệu.

Tích hợp dbt và Metabase

Một gói dbt miễn phí để tạo và tải các Kho dữ liệu tuân thủ Data Vault 2.0 (được hỗ trợ bởi dbt, một công cụ kỹ thuật dữ liệu mã nguồn mở, thương hiệu đã đăng ký của dbt Labs)