data-integration

Apache Airflow - 워크플로를 프로그래밍 방식으로 작성, 예약 및 모니터링하기 위한 플랫폼

ELT 파이프라인 및 AI 에이전트를 위한 오픈소스 데이터 이동 - API, 데이터베이스, 파일에서 웨어하우스, 레이크, AI 애플리케이션까지. 자체 호스팅 및 클라우드 모두 지원.

데이터와 AI 알고리즘을 즉시 프로덕션 수준의 웹 애플리케이션으로 전환합니다.

데이터 자산의 개발, 운영 및 모니터링을 위한 오케스트레이션 플랫폼

SeaTunnel은 멀티모달, 고성능, 분산형 대규모 데이터 통합 도구입니다.

🧙 데이터 통합 및 변환을 위한 데이터 파이프라인 빌드, 실행 및 관리

클라우드 구성 및 보안 데이터를 위한 데이터 파이프라인. 클라우드 자산 인벤토리, CSPM, FinOps, 취약점 관리 솔루션 구축. AWS, Azure, GCP 및 70개 이상의 클라우드 및 SaaS 소스에서 추출.

Flink CDC는 스트리밍 데이터 통합 도구입니다

빅데이터에서의 업서트, 삭제 및 증분 처리.

🦀 개발자가 실시간 데이터를 수집하고 변환하여 반응형 데이터 집약적 애플리케이션을 구동할 수 있도록 지원하는 이벤트 스트림 처리 시스템

Jitsu는 오픈소스 Segment 대안입니다. 모던 데이터 팀을 위한 스크립트 작성 가능 데이터 수집 엔진. 몇 일이 아닌 몇 분 만에 실시간 데이터 파이프라인 구축

데이터 액세스가 운영 인텔리전스를 만나는 곳

Golang과 React로 구현된 프라이버시 및 보안 중심의 Segment 대안

데이터 통합 프레임워크

ingestr는 단일 명령어로 모든 데이터베이스 간에 데이터를 원활하게 복사할 수 있는 CLI 도구입니다.

RNA-seq, ATAC-seq 등을 포함한 단일 세포(single-cell)용 소프트웨어 패키지 및 데이터 리소스 커뮤니티 선정 목록.

Apache DevLake는 DevOps 주의 분산된 데이터를 수집, 분석 및 시각화하여 엔지니어링 우수성, 개발자 경험 및 커뮤니티 성장을 위한 인사이트를 추출하는 오픈소스 개발 데이터 플랫폼입니다.

superglue (YC W25)는 자연어로 통합 및 도구를 빌드합니다. 롱테일 및 엔터프라이즈 시스템을 위한 프로덕션 등급 도구를 제공합니다.

Hop 오케스트레이션 플랫폼

RDBMS와 NoSQL 간에 데이터를 원활하게転송할 수 있는 빠르고 다기능적인 ETL 도구

자체 서버나 클라우드에 배포하는 오픈소스 ETL/ELT. DuckDB 기반: 노코드/로우코드 비주얼 파이프라인 또는 SQL, 385개의 컴포넌트, dbt, CDC, 데이터 품질, 리버스 ETL, 리니지, AI 에이전트를 위한 MCP. 벤더 클라우드 없음, 행(row)별 과금 없음.

지식 그래프에 대한 통찰력 있는 튜토리얼 및 논문

🌊 Estuary로 데이터 흐름을 관리하여 데이터가 있는 시스템을 원하는 시스템과 지속적으로 동기화하세요. 🌊

SeaTunnel은 대규모 데이터(오프라인 및 실시간)의 동기화 및 변환을 위한 분산형 고성능 데이터 통합 플랫폼입니다.

Data Agents의 최신 발전 사항을 지속적으로 업데이트하는 논문 목록. 논문 "A Survey of Data Agents: Emerging Paradigm or Overstated Hype?"의 보조 저장소

NicheNet: 상호작용하는 세포 간의 활성 리간드-표적(ligand-target) 연결 예측

Harmony를 이용한 빠르고 민감하며 정확한 단일 세포 데이터 통합

데이터 저장소 간 데이터를 스트리밍하는 Conduit입니다. Kafka Connect를 대체하며 JVM이 필요하지 않습니다.

분석 플랫폼 및 데이터 엔지니어링 생태계에서 사용되는 오픈 소스 도구 모음

Apache Hudi 관련 자료 모음