etl

Khung ETL Python dành cho xử lý luồng, phân tích thời gian thực, đường ống LLM và RAG.

Apache Airflow - Nền tảng để lập trình, lên lịch và giám sát các luồng công việc

Nền tảng điều phối & lập lịch dựa trên sự kiện cho các ứng dụng quan trọng

Đường ống dữ liệu khả năng quan sát hiệu suất cao.

Di chuyển dữ liệu mã nguồn mở cho các đường ống ELT và AI agents — từ API, cơ sở dữ liệu & tệp đến kho dữ liệu, hồ dữ liệu và các ứng dụng AI. Hỗ trợ cả tự lưu trữ và Cloud.

Nền tảng điều phối cho việc phát triển, sản xuất và giám sát tài nguyên dữ liệu.

Công cụ gia tăng cho các tác nhân tầm nhìn dài hạn 🌟 Hãy đánh dấu sao nếu bạn thích!

🧙 Xây dựng, chạy và quản lý các đường ống dữ liệu để tích hợp và chuyển đổi dữ liệu.

Xử lý luồng phức tạp trở nên đơn giản và dễ vận hành

Zero-ETL, vô hạn khả năng. API truy vấn trực tiếp, mã và nhiều tính năng khác bằng SQL. Không cần cơ sở dữ liệu.

Đường ống dữ liệu cho cấu hình đám mây và dữ liệu bảo mật. Xây dựng kho tài nguyên đám mây, CSPM, FinOps và các giải pháp quản lý lỗ hổng. Trích xuất từ AWS, Azure, GCP và hơn 70 nguồn đám mây và SaaS.

Flink CDC là công cụ tích hợp dữ liệu dạng stream

Công cụ dữ liệu hiệu năng cao cho AI và khối lượng công việc đa thức (multimodal). Xử lý hình ảnh, âm thanh, video và dữ liệu có cấu trúc ở bất kỳ quy mô nào

Giải pháp thay thế Segment tập trung vào quyền riêng tư và bảo mật, viết bằng Golang và React

pandas trên AWS - Tích hợp dễ dàng với Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer và S3 (Parquet, CSV, JSON và EXCEL).

Một hệ thống xử lý dữ liệu và ETL chạy bằng LLM mang tính tác vụ (agentic)

Maestro: Trình điều phối workflow của Netflix

Danh sách tài nguyên được tuyển chọn về giao diện người dùng dạng nút (node-based UI)

Danh sách tổng hợp các framework, thư viện và phần mềm ETL tuyệt vời.

Khung chuyển đổi dữ liệu có khả năng mở rộng và hiệu quả - tương thích ngược với dbt.

Công cụ nhanh chóng, đơn giản và tiết kiệm chi phí để nhân bản dữ liệu từ Postgres sang Data Warehouses, Hàng đợi (Queues) và Lưu trữ (Storage)

Các tập lệnh Python cho các tác vụ ETL (trích xuất, chuyển đổi và nạp) đối với các khối, giao dịch, token ERC20 / ERC721, các khoản chuyển, biên nhận, bản ghi, hợp đồng, giao dịch nội bộ của Ethereum. Dữ liệu có sẵn trên Google BigQuery https://goo.gl/oY5BCQ

Apache DevLake là một nền tảng dữ liệu phát triển mã nguồn mở giúp thu thập, phân tích và trực quan hóa dữ liệu phân mảnh từ các công cụ DevOps, trích xuất thông tin chi tiết nhằm tối ưu hóa kỹ thuật, trải nghiệm nhà phát triển và sự phát triển của cộng đồng.

Apache Hamilton giúp các nhà khoa học dữ liệu và kỹ sư định nghĩa các luồng dữ liệu có tính mô-đun, dễ kiểm thử, tự tài liệu hóa, tích hợp sẵn khả năng theo dõi nguồn gốc (lineage/tracing) và metadata. Chạy và mở rộng ở mọi nơi có Python.

🔮 Instill Core là một công cụ hạ tầng AI toàn diện dành cho việc điều phối dữ liệu, mô hình và pipeline, được thiết kế để đơn giản hóa mọi khía cạnh trong việc xây dựng các ứng dụng hướng AI đa năng

Danh sách các công cụ BI tuyệt vời được quản lý tích cực. Hoan nghênh đóng góp PR!

Công cụ SQL truyền dữ liệu hợp nhất nhanh nhất trong một tệp thực thi C++ duy nhất. ⚡ Độ trễ mili giây. Băng thông hơn 100 GB/s. Liên tục tính toán ngữ cảnh thời gian thực từ các luồng dữ liệu, nhật ký, số liệu, sự kiện và CDC.

Thư viện xử lý luồng nhẹ dành cho Go

Nơi tốt nhất để học kỹ thuật dữ liệu. Được xây dựng và duy trì bởi cộng đồng kỹ thuật dữ liệu.

Framework xử lý dữ liệu & ETL cho Ruby