data-pipeline

Di chuyển dữ liệu mã nguồn mở cho các đường ống ELT và AI agents — từ API, cơ sở dữ liệu & tệp đến kho dữ liệu, hồ dữ liệu và các ứng dụng AI. Hỗ trợ cả tự lưu trữ và Cloud.

Trao quyền cho trí tuệ dữ liệu với SQL phân tán để sharding, khả năng mở rộng và bảo mật trên tất cả các cơ sở dữ liệu.

Thay đổi bắt dữ liệu (change data capture) cho nhiều cơ sở dữ liệu khác nhau. Vui lòng ghi nhận sự cố tại https://github.com/debezium/dbz/issues.

Công cụ pipeline AI hiệu năng cao với lõi C++ và hơn 50 node mở rộng bằng Python. Xây dựng, gỡ lỗi và mở rộng quy trình làm việc LLM với hơn 13 nhà cung cấp mô hình, hơn 8 cơ sở dữ liệu vector và điều phối agent, tất cả ngay từ IDE của bạn. Bao gồm tiện ích mở rộng VS Code, SDK TypeScript/Python và triển khai Docker.

Dẫn đầu trong Cơ sở hạ tầng Dữ liệu Khách hàng

Xử lý dữ liệu cho và bằng foundation models! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

Flink CDC là công cụ tích hợp dữ liệu dạng stream

Nơi quyền truy cập dữ liệu kết hợp với thông tin chi tiết về vận hành

Giải pháp thay thế Segment tập trung vào quyền riêng tư và bảo mật, viết bằng Golang và React

Danh sách tài nguyên hữu ích để học Data Engineering từ đầu

ingestr là một công cụ CLI giúp sao chép dữ liệu giữa bất kỳ cơ sở dữ liệu nào một cách mượt mà chỉ với một lệnh.

Trình điều phối quy trình làm việc tự lưu trữ dành cho các nhóm có công việc chính không phải là điều phối. YAML khai báo trên các tập lệnh, lệnh SSH, container, v.v. của bạn; giữ quy trình làm việc tách biệt với logic nghiệp vụ. Một file nhị phân duy nhất, không có cơ sở dữ liệu, chạy trên tài nguyên phần cứng hạn chế. Giải pháp thay thế cho Airflow / Cron / Job Scheduler.

Memphis.dev là một nền tảng truyền phát dữ liệu có khả năng mở rộng cao và dễ sử dụng

Máy chủ suy luận mã nguồn mở và cụm sản xuất cho tất cả các mô hình mà agent của bạn cần.

Thư viện ghi nhật ký dữ liệu mã nguồn mở cho các mô hình machine learning và data pipeline. 📚 Cung cấp khả năng hiển thị chất lượng dữ liệu & hiệu suất mô hình theo thời gian. 🛡️ Hỗ trợ thu thập dữ liệu bảo vệ quyền riêng tư, đảm bảo an toàn & tính mạnh mẽ. 📈

Giải pháp quan sát dữ liệu gốc dbt dành cho các kỹ sư dữ liệu & phân tích. Theo dõi các đường ống dữ liệu của bạn trong vài phút. Có sẵn dưới dạng tự lưu trữ hoặc dịch vụ đám mây với các tính năng cao cấp.

Thư viện xử lý luồng nhẹ dành cho Go

Công cụ quản lý tác vụ và tự động hóa qua CLI

🔥🔥🔥 Reverse ETL mã nguồn mở - giải pháp thay thế cho hightouch và census.

OLake - Công cụ replication Cơ sở dữ liệu, Kafka & S3 nhanh nhất sang Apache Iceberg với tính năng tối ưu hóa bảng (được gọi là OLake Fusion). ⚡ Thu nạp dữ liệu hiệu quả, nhanh chóng và có khả năng mở rộng cho phân tích thời gian thực. Các nguồn được hỗ trợ: Postgres, MongoDB, MySQL, Oracle, MSSql, DB2, Kafka, S3.

Mã nguồn đi kèm sách: Data Science on the Google Cloud Platform, Valliappa Lakshmanan, O'Reilly 2017

Mã nguồn mở ETL/ELT để bạn triển khai trên server riêng hoặc đám mây. Xây dựng trên DuckDB: chuỗi quy trình trực quan no-code/low-code hoặc SQL, 385 thành phần, dbt, CDC, chất lượng dữ liệu, reverse ETL, lineage, MCP cho AI agent. Không có đám mây nhà cung cấp, không tính phí theo dòng.

zerocode-tdd là công cụ kiểm thử tự động hướng kết quả, mã nguồn mở, miễn phí do cộng đồng phát triển dành cho Data Pipelines, ETL, REST API, Kafka (Data Streams), Cơ sở dữ liệu và các kịch bản tải. Tất cả được định nghĩa bằng JSON hoặc YAML đơn giản — hoàn toàn không cần lập trình.

🌊 Liên tục đồng bộ hóa các hệ thống lưu trữ dữ liệu của bạn sang các hệ thống bạn muốn, bằng cách quản lý luồng dữ liệu với Estuary. 🌊

SeaTunnel là nền tảng tích hợp dữ liệu phân tán, hiệu suất cao dùng để đồng bộ và chuyển đổi dữ liệu lớn (ngoại tuyến và thời gian thực).

Các đường ống dữ liệu thông minh hơn cho âm thanh.

Công cụ theo phong cách Python để điều phối các quy trình làm việc về học máy/hiệu năng cao/điện toán lượng tử trong các môi trường tính toán không đồng nhất.

Kỹ thuật dữ liệu thực tế: Hướng dẫn dự án bất động sản thực hành

Conduit truyền dữ liệu giữa các kho lưu trữ. Giải pháp thay thế Kafka Connect, không yêu cầu JVM.

Danh sách chọn lọc các công cụ mã nguồn mở được sử dụng trong các nền tảng phân tích và hệ sinh thái kỹ thuật dữ liệu (data engineering)