change-data-capture

ELT 파이프라인 및 AI 에이전트를 위한 오픈소스 데이터 이동 - API, 데이터베이스, 파일에서 웨어하우스, 레이크, AI 애플리케이션까지. 자체 호스팅 및 클라우드 모두 지원.

다양한 데이터베이스를 위한 변경 데이터 캡처(CDC). 이슈는 https://github.com/debezium/dbz/issues에 남겨주세요.

장기 에이전트를 위한 증분 엔진 🌟 마음에 드신다면 Star를 눌러주세요!

SeaTunnel은 멀티모달, 고성능, 분산형 대규모 데이터 통합 도구입니다.

WebSocket을 통한 브로드캐스트, 프레전스 및 Postgres 변경 사항 감지

Flink CDC는 스트리밍 데이터 통합 도구입니다

Postgres 변경 데이터 캡처(CDC)를 Kafka, SQS, Elasticsearch, HTTP 엔드포인트 등 스트림, 큐, 검색 인덱스로 전달합니다.

Debezium 실행 예제 (구성, Docker Compose 파일 등). 문제는 https://github.com/debezium/dbz/issues에 등록해 주세요.

OLake - 테이블 최적화 기능(OLake Fusion)을 포함하여 데이터베이스, Kafka, S3를 Apache Iceberg로 가장 빠르게 복제합니다. 실시간 분석을 위한 효율적이고 신속하며 확장 가능한 데이터 수집. 지원 소스: Postgres, MongoDB, MySQL, Oracle, MSSql, DB2, Kafka, S3.

Postgres, MySQL, MariaDB를 Elasticsearch/OpenSearch로 동기화

데이터 변경 처리 플랫폼

🌊 Estuary로 데이터 흐름을 관리하여 데이터가 있는 시스템을 원하는 시스템과 지속적으로 동기화하세요. 🌊

대규모 환경에서 안정적인 준실시간(nearline) 데이터 스트리밍을 위한 확장 가능한 분산 시스템

SymmetricDS는 플랫폼 독립적이고 웹 기반이며 데이터베이스에 구애받지 않는 데이터 복제 및 파일 동기화 소프트웨어입니다. 양방향 데이터 복제를 빠르고 쉽고 안정적으로 수행하도록 설계되었으며, 대규모 노드로 확장 가능하고 WAN 및 LAN 네트워크에서 실시간에 가깝게 작동합니다.