etl

스트림 처리, 실시간 분석, LLM 파이프라인, RAG를 위한 Python ETL framework.

Apache Airflow - 워크플로를 프로그래밍 방식으로 작성, 예약 및 모니터링하기 위한 플랫폼

미션 크리티컬 애플리케이션을 위한 이벤트 기반 오케스트레이션 및 스케줄링 플랫폼

고성능 관측 가능성(observability) 데이터 파이프라인

ELT 파이프라인 및 AI 에이전트를 위한 오픈소스 데이터 이동 - API, 데이터베이스, 파일에서 웨어하우스, 레이크, AI 애플리케이션까지. 자체 호스팅 및 클라우드 모두 지원.

데이터 자산의 개발, 운영 및 모니터링을 위한 오케스트레이션 플랫폼

장기 에이전트를 위한 증분 엔진 🌟 마음에 드신다면 Star를 눌러주세요!

🧙 데이터 통합 및 변환을 위한 데이터 파이프라인 빌드, 실행 및 관리

운영의 번거로움을 없앤 편리한 스트림 처리

Zero-ETL, 무한한 가능성. SQL을 사용한 라이브 쿼리 API, 코드 등 제공. DB 불필요.

클라우드 구성 및 보안 데이터를 위한 데이터 파이프라인. 클라우드 자산 인벤토리, CSPM, FinOps, 취약점 관리 솔루션 구축. AWS, Azure, GCP 및 70개 이상의 클라우드 및 SaaS 소스에서 추출.

Flink CDC는 스트리밍 데이터 통합 도구입니다

AI 및 멀티모달 워크로드를 위한 고성능 데이터 엔진. 모든 규모에서 이미지, 오디오, 비디오 및 정형 데이터를 처리합니다.

Golang과 React로 구현된 프라이버시 및 보안 중심의 Segment 대안

AWS용 pandas - Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer 및 S3(Parquet, CSV, JSON, EXCEL)와의 간편한 통합

에이전트 기반 LLM 데이터 처리 및 ETL 시스템

Maestro: Netflix의 워크플로우 오케스트레이터

노드 기반 UI 관련 리소스 모음 큐레이션 리스트

엄선된 멋진 ETL 프레임워크, 라이브러리 및 소프트웨어 목록

확장 가능하고 효율적인 데이터 변환 프레임워크 - dbt와 하위 호환성 제공

Postgres 데이터를 Data Warehouse, 큐 및 스토리지로 복제하기 위한 빠르고 간단하며 비용 효율적인 도구

Ethereum 블록, 트랜잭션, ERC20 / ERC721 토큰, 전송, 영수증, 로그, 컨트랙트, 내부 트랜잭션을 위한 ETL(추출, 변환, 적재) 작업용 Python 스크립트. 데이터는 Google BigQuery(https://goo.gl/oY5BCQ)에서 제공됩니다.

Apache DevLake는 DevOps 주의 분산된 데이터를 수집, 분석 및 시각화하여 엔지니어링 우수성, 개발자 경험 및 커뮤니티 성장을 위한 인사이트를 추출하는 오픈소스 개발 데이터 플랫폼입니다.

Apache Hamilton은 데이터 과학자와 엔지니어가 데이터 혈통(lineage)/추적 및 메타데이터를 인코딩하는 테스트 가능하고 모듈화된 자체 문서화 데이터 흐름을 정의할 수 있도록 돕습니다. Python이 실행되는 모든 곳에서 실행되고 확장됩니다.

🔮 Instill Core는 데이터, 모델, 파이프라인 오케스트레이션을 위한 풀스택 AI 인프라 툴로, 다목적 AI 퍼스트 애플리케이션 구축의 모든 과정을 간소화하도록 설계되었습니다.

활발히 선별되는 멋진 BI 도구 목록. PR 환영!

단일 C++ 바이너리로 구현된 가장 빠른 통합 스트리밍 SQL 엔진. ⚡ 밀리초 단위 지연 시간. 100+ GB/s 처리량. 스트림, 로그, 메트릭, 이벤트 및 CDC에서 실시간 컨텍스트를 지속적으로 계산합니다.

Go를 위한 경량 스트림 처리 라이브러리

데이터 엔지니어링을 배우기 가장 좋은 장소. 데이터 엔지니어링 커뮤니티에서 만들고 유지관리합니다.

Ruby용 데이터 처리 및 ETL 프레임워크