data-pipelines

Khung ETL Python dành cho xử lý luồng, phân tích thời gian thực, đường ống LLM và RAG.

Apache Airflow - Nền tảng để lập trình, lên lịch và giám sát các luồng công việc

Nền tảng điều phối cho việc phát triển, sản xuất và giám sát tài nguyên dữ liệu.

Chuyển đổi tài liệu thành dữ liệu có cấu trúc một cách dễ dàng. Unstructured là giải pháp ETL mã nguồn mở dùng để biến các tài liệu phức tạp thành định dạng có cấu trúc, sạch sẽ cho các mô hình ngôn ngữ. Truy cập trang web của chúng tôi để tìm hiểu thêm về sản phẩm Platform cấp độ doanh nghiệp dành cho các quy trình sản xuất, phân vùng, làm giàu dữ liệu, chia nhỏ và nhúng.

Apache DolphinScheduler là nền tảng điều phối dữ liệu hiện đại. Linh hoạt tạo quy trình làm việc hiệu suất cao với low-code.

Kedro là bộ công cụ dành cho khoa học dữ liệu sẵn sàng cho sản xuất. Nó sử dụng các thực hành tốt nhất về kỹ thuật phần mềm để giúp bạn tạo ra các pipeline kỹ thuật dữ liệu và khoa học dữ liệu có thể tái tạo, dễ bảo trì và theo mô-đun.

🧙 Xây dựng, chạy và quản lý các đường ống dữ liệu để tích hợp và chuyển đổi dữ liệu.

Chuẩn bị dữ liệu dễ dàng với các Operator và Pipeline dựa trên LLM mới nhất.

🦀 Xử lý luồng sự kiện dành cho nhà phát triển để thu thập và chuyển đổi dữ liệu đang truyền nhằm hỗ trợ các ứng dụng đòi hỏi nhiều dữ liệu phản hồi nhanh.

Preswald là một gói WASM dành cho các ứng dụng dữ liệu tương tác dựa trên Python: đóng gói các quy trình công việc dữ liệu phức tạp, đặc biệt là các hình ảnh trực quan, thành các tệp đơn lẻ, có thể chạy hoàn toàn trên trình duyệt bằng Pyodide, DuckDB, Pandas, Plotly, Matplotlib, v.v. Xây dựng bảng điều khiển, báo cáo và notebook chạy ngoại线, tải nhanh và chia sẻ như một tài liệu.

Một hệ thống xử lý dữ liệu và ETL chạy bằng LLM mang tính tác vụ (agentic)

Maestro: Trình điều phối workflow của Netflix

Meltano: công cụ tích hợp dữ liệu khai báo theo mã nguồn (code-first) hỗ trợ các ý tưởng sản phẩm tích hợp dữ liệu và ML. Tạm biệt việc tự viết, bảo trì và mở rộng các tích hợp API của riêng bạn.

Giải pháp quan sát dữ liệu gốc dbt dành cho các kỹ sư dữ liệu & phân tích. Theo dõi các đường ống dữ liệu của bạn trong vài phút. Có sẵn dưới dạng tự lưu trữ hoặc dịch vụ đám mây với các tính năng cao cấp.

Công cụ tính toán gia tăng Feldera

Nơi tốt nhất để học kỹ thuật dữ liệu. Được xây dựng và duy trì bởi cộng đồng kỹ thuật dữ liệu.

Trích xuất dữ liệu phi cấu trúc nhanh chóng và hiệu quả. Viết bằng Rust với các binding cho nhiều ngôn ngữ.

Xây dựng pipeline dữ liệu bằng SQL và Python, thu thập dữ liệu từ nhiều nguồn khác nhau, thêm kiểm tra chất lượng và xây dựng luồng đầu cuối.

MLeap: Triển khai ML Pipeline lên môi trường Production

Python đồng thời được đơn giản hóa

Nền tảng khám phá và quan sát dữ liệu mã nguồn mở đầu tiên. Chúng tôi giúp công việc của các chuyên gia dữ liệu trở nên dễ dàng hơn để bạn có thể tập trung vào doanh nghiệp của mình.

Một mẫu gói Python toàn diện để khởi1 đầu và chuẩn hóa các sáng kiến MLOps và đường ống dữ liệu của bạn.

chuẩn bị dữ liệu trực quan hỗ trợ bởi python

Optimus là công cụ điều phối quy trình làm việc dễ sử dụng, đáng tin cậy và hiệu năng cao cho việc chuyển đổi dữ liệu, mô hình hóa dữ liệu, đường ống dữ liệu và quản lý chất lượng dữ liệu.

Gói dbt này thu thập siêu dữ liệu, các artifact và kết quả kiểm thử để bạn có thể phát hiện bất thường, giám sát chất lượng dữ liệu và xây dựng các bảng siêu dữ liệu. Nó cung cấp năng lượng cho Elementary OSS và cung cấp dữ liệu cho lớp ngữ cảnh rộng hơn được sử dụng bởi Data & AI Control Plane của Elementary Cloud.