data-integration

Apache Airflow - Nền tảng để lập trình, lên lịch và giám sát các luồng công việc

Di chuyển dữ liệu mã nguồn mở cho các đường ống ELT và AI agents — từ API, cơ sở dữ liệu & tệp đến kho dữ liệu, hồ dữ liệu và các ứng dụng AI. Hỗ trợ cả tự lưu trữ và Cloud.

Biến dữ liệu và thuật toán AI thành các ứng dụng web sẵn sàng cho môi trường production trong tích tắc.

Nền tảng điều phối cho việc phát triển, sản xuất và giám sát tài nguyên dữ liệu.

SeaTunnel là công cụ tích hợp dữ liệu lớn, phân tán, hiệu năng cao và đa phương thức.

🧙 Xây dựng, chạy và quản lý các đường ống dữ liệu để tích hợp và chuyển đổi dữ liệu.

Đường ống dữ liệu cho cấu hình đám mây và dữ liệu bảo mật. Xây dựng kho tài nguyên đám mây, CSPM, FinOps và các giải pháp quản lý lỗ hổng. Trích xuất từ AWS, Azure, GCP và hơn 70 nguồn đám mây và SaaS.

Flink CDC là công cụ tích hợp dữ liệu dạng stream

Thao tác Upsert, Xóa và Xử lý Tăng dần trên Big Data.

🦀 Xử lý luồng sự kiện dành cho nhà phát triển để thu thập và chuyển đổi dữ liệu đang truyền nhằm hỗ trợ các ứng dụng đòi hỏi nhiều dữ liệu phản hồi nhanh.

Jitsu là một giải pháp thay thế Segment mã nguồn mở. Công cụ thu thập dữ liệu có thể lập trình hoàn toàn dành cho các nhóm dữ liệu hiện đại. Thiết lập đường ống dữ liệu thời gian thực trong vài phút, không phải vài ngày.

Nơi quyền truy cập dữ liệu kết hợp với thông tin chi tiết về vận hành

Giải pháp thay thế Segment tập trung vào quyền riêng tư và bảo mật, viết bằng Golang và React

Một framework tích hợp dữ liệu

ingestr là một công cụ CLI giúp sao chép dữ liệu giữa bất kỳ cơ sở dữ liệu nào một cách mượt mà chỉ với một lệnh.

Danh sách do cộng đồng tuyển chọn gồm các gói phần mềm và tài nguyên dữ liệu cho single-cell, bao gồm RNA-seq, ATAC-seq, v.v.

Apache DevLake là một nền tảng dữ liệu phát triển mã nguồn mở giúp thu thập, phân tích và trực quan hóa dữ liệu phân mảnh từ các công cụ DevOps, trích xuất thông tin chi tiết nhằm tối ưu hóa kỹ thuật, trải nghiệm nhà phát triển và sự phát triển của cộng đồng.

superglue (YC W25) xây dựng các tích hợp và công cụ từ ngôn ngữ tự nhiên. Nhận các công cụ cấp độ sản xuất cho các hệ thống đuôi dài và doanh nghiệp.

Nền tảng điều phối Hop Orchestration Platform

Một công cụ ETL nhanh chóng và linh hoạt có thể truyền dữ liệu liền mạch giữa RDBMS và NoSQL

Mã nguồn mở ETL/ELT để bạn triển khai trên server riêng hoặc đám mây. Xây dựng trên DuckDB: chuỗi quy trình trực quan no-code/low-code hoặc SQL, 385 thành phần, dbt, CDC, chất lượng dữ liệu, reverse ETL, lineage, MCP cho AI agent. Không có đám mây nhà cung cấp, không tính phí theo dòng.

Các hướng dẫn và tài liệu sâu sắc về Knowledge Graph

🌊 Liên tục đồng bộ hóa các hệ thống lưu trữ dữ liệu của bạn sang các hệ thống bạn muốn, bằng cách quản lý luồng dữ liệu với Estuary. 🌊

SeaTunnel là nền tảng tích hợp dữ liệu phân tán, hiệu suất cao dùng để đồng bộ và chuyển đổi dữ liệu lớn (ngoại tuyến và thời gian thực).

Danh sách bài báo được cập nhật liên tục về những tiến bộ trong Data Agents. Repo đi kèm với bài báo "A Survey of Data Agents: Emerging Paradigm or Overstated Hype?" của chúng tôi.

NicheNet: dự đoán các liên kết ligand-target hoạt động giữa các tế bào tương tác.

Tích hợp dữ liệu đơn bào (single-cell data) nhanh chóng, nhạy và chính xác với Harmony.

Conduit truyền dữ liệu giữa các kho lưu trữ. Giải pháp thay thế Kafka Connect, không yêu cầu JVM.

Danh sách chọn lọc các công cụ mã nguồn mở được sử dụng trong các nền tảng phân tích và hệ sinh thái kỹ thuật dữ liệu (data engineering)

Tổng hợp tài liệu liên quan đến Apache Hudi