data-engineering

SQL Translator là một công cụ chuyển đổi truy vấn ngôn ngữ tự nhiên thành mã SQL bằng trí tuệ nhân tạo. Dự án này hoàn toàn miễn phí và mã nguồn mở.

pandas trên AWS - Tích hợp dễ dàng với Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer và S3 (Parquet, CSV, JSON và EXCEL).

Danh sách tài nguyên hữu ích để học Data Engineering từ đầu

Maestro: Trình điều phối workflow của Netflix

Bộ công cụ xử lý dữ liệu cực nhanh

Memphis.dev là một nền tảng truyền phát dữ liệu có khả năng mở rộng cao và dễ sử dụng

Tìm hiểu cách thiết kế, phát triển, triển khai và lặp lại các ứng dụng ML cấp độ sản xuất.

Giải pháp thay thế Apache Spark thả nổi được viết bằng Rust, hợp nhất xử lý hàng loạt, xử lý luồng và khối lượng công việc AI đòi hỏi tính toán cao.

Danh sách tổng hợp các dự án Data Engineering mã nguồn mở tuyệt vời

Apache DevLake là một nền tảng dữ liệu phát triển mã nguồn mở giúp thu thập, phân tích và trực quan hóa dữ liệu phân mảnh từ các công cụ DevOps, trích xuất thông tin chi tiết nhằm tối ưu hóa kỹ thuật, trải nghiệm nhà phát triển và sự phát triển của cộng đồng.

Học cách xây dựng trợ lý AI Bộ não thứ hai của bạn với LLM, agent, RAG, fine-tuning, LLMOps và các kỹ thuật hệ thống AI.

Meltano: công cụ tích hợp dữ liệu khai báo theo mã nguồn (code-first) hỗ trợ các ý tưởng sản phẩm tích hợp dữ liệu và ML. Tạm biệt việc tự viết, bảo trì và mở rộng các tích hợp API của riêng bạn.

Apache Hamilton giúp các nhà khoa học dữ liệu và kỹ sư định nghĩa các luồng dữ liệu có tính mô-đun, dễ kiểm thử, tự tài liệu hóa, tích hợp sẵn khả năng theo dõi nguồn gốc (lineage/tracing) và metadata. Chạy và mở rộng ở mọi nơi có Python.

Một SOTA mới cho RAG — kiến trúc truy xuất nguyên bản và cơ sở tri thức mã nguồn mở dành cho con người và agent.

Dịch vụ xếp hạng cá nhân hóa Machine Learning mã nguồn thấp cho bài viết, danh sách, kết quả tìm kiếm, khuyến nghị giúp thúc đẩy sự tương tác của người dùng. Một công cụ Learn-to-Rank thân thiện

Công cụ Data Contracts cho stack dữ liệu hiện đại. https://www.soda.io

Datart là nền tảng mở trực quan hóa dữ liệu thế hệ mới

Xử lý luồng dữ liệu Python

Nơi tốt nhất để học kỹ thuật dữ liệu. Được xây dựng và duy trì bởi cộng đồng kỹ thuật dữ liệu.

Feathr – Một nền tảng kỹ thuật dữ liệu và AI thống nhất, có khả năng mở rộng dành cho doanh nghiệp

Danh sách tổng hợp các tài nguyên tuyệt vời về dbt

Hơn 2000+ câu hỏi phỏng vấn Data engineer.

MLRun là một nền tảng MLOps mã nguồn mở để nhanh chóng xây dựng và quản lý các ứng dụng ML liên tục trong suốt vòng đời của chúng. MLRun tích hợp vào môi trường phát triển và CI/CD của bạn, đồng thời tự động hóa việc phân phối dữ liệu sản xuất, các đường ống ML và các ứng dụng trực tuyến.

🔥🔥🔥 Reverse ETL mã nguồn mở - giải pháp thay thế cho hightouch và census.

Danh sách tổng hợp hơn 180 kênh YouTube về Khoa học dữ liệu, Kỹ thuật dữ liệu, Học máy, Học sâu, Khoa học máy tính, lập trình, kỹ thuật phần mềm, v.v.

👾 nao là một tác nhân phân tích mã nguồn mở. (1) Tạo ngữ cảnh bằng nao-core cli, (2) triển khai giao diện trò chuyện nao cho mọi người

:bar_chart: :clipboard: Bảng điều khiển sử dụng file YAML hoặc JSON

ktx là một lớp ngữ cảnh có thể thực thi dành cho các AI agent dữ liệu và phân tích 🐙 Cho phép Claude Code, Codex hoặc các AI agent khác truy vấn các cơ sở dữ liệu phân tích một cách chính xác với đầy đủ ngữ cảnh của công ty bạn

Python Streaming DataFrames cho Kafka

Python đồng thời được đơn giản hóa