elt

Apache Airflow - 워크플로를 프로그래밍 방식으로 작성, 예약 및 모니터링하기 위한 플랫폼

ELT 파이프라인 및 AI 에이전트를 위한 오픈소스 데이터 이동 - API, 데이터베이스, 파일에서 웨어하우스, 레이크, AI 애플리케이션까지. 자체 호스팅 및 클라우드 모두 지원.

dbt는 데이터 분석가와 엔지니어가 소프트웨어 엔지니어가 애플리케이션을 빌드하는 것과 동일한 방식을 사용하여 데이터를 변환할 수 있도록 지원합니다.

SeaTunnel은 멀티모달, 고성능, 분산형 대규모 데이터 통합 도구입니다.

🧙 데이터 통합 및 변환을 위한 데이터 파이프라인 빌드, 실행 및 관리

클라우드 구성 및 보안 데이터를 위한 데이터 파이프라인. 클라우드 자산 인벤토리, CSPM, FinOps, 취약점 관리 솔루션 구축. AWS, Azure, GCP 및 70개 이상의 클라우드 및 SaaS 소스에서 추출.

Flink CDC는 스트리밍 데이터 통합 도구입니다

데이터 로딩을 쉽게 만들어주는 오픈 소스 Python 라이브러리, data load tool (dlt) 🛠️

Golang과 React로 구현된 프라이버시 및 보안 중심의 Segment 대안

에이전트 기반 LLM 데이터 처리 및 ETL 시스템

Maestro: Netflix의 워크플로우 오케스트레이터

확장 가능하고 효율적인 데이터 변환 프레임워크 - dbt와 하위 호환성 제공

Meltano: 상상하던 데이터 및 ML 기반 제품 아이디어를 실현해 주는 선언적 코드 기반 데이터 통합 엔진. 직접 API 통합을 작성, 유지 관리, 확장하는 번거로움에서 벗어나세요.

엔지니어를 위한 오픈소스 BI

OLake - 테이블 최적화 기능(OLake Fusion)을 포함하여 데이터베이스, Kafka, S3를 Apache Iceberg로 가장 빠르게 복제합니다. 실시간 분석을 위한 효율적이고 신속하며 확장 가능한 데이터 수집. 지원 소스: Postgres, MongoDB, MySQL, Oracle, MSSql, DB2, Kafka, S3.

자체 서버나 클라우드에 배포하는 오픈소스 ETL/ELT. DuckDB 기반: 노코드/로우코드 비주얼 파이프라인 또는 SQL, 385개의 컴포넌트, dbt, CDC, 데이터 품질, 리버스 ETL, 리니지, AI 에이전트를 위한 MCP. 벤더 클라우드 없음, 행(row)별 과금 없음.

🌊 Estuary로 데이터 흐름을 관리하여 데이터가 있는 시스템을 원하는 시스템과 지속적으로 동기화하세요. 🌊

Sling은 소스 스토리지/데이터베이스에서 데이터를 추출하여 타겟 스토리지/데이터베이스로 로드하는 CLI 도구입니다.

Optimus는 데이터 변환, 데이터 모델링, 파이프라인 및 데이터 품질 관리를 위한 사용기 쉽고 안정적이며 고성능인 워크플로 오케스트레이터입니다.

dbt와 Metabase 통합

Data Vault 2.0 규격 데이터 웨어하우스 구축 및 로딩을 위한 무료 dbt 패키지 (오픈소스 데이터 엔지니어링 도구 dbt 기반)