data-pipeline

ELT 파이프라인 및 AI 에이전트를 위한 오픈소스 데이터 이동 - API, 데이터베이스, 파일에서 웨어하우스, 레이크, AI 애플리케이션까지. 자체 호스팅 및 클라우드 모두 지원.

모든 데이터베이스에서 샤딩, 확장성, 보안을 위한 분산 SQL로 데이터 인텔리전스 역량 강화.

다양한 데이터베이스를 위한 변경 데이터 캡처(CDC). 이슈는 https://github.com/debezium/dbz/issues에 남겨주세요.

C++ 코어와 50개 이상의 Python 확장 가능 노드를 갖춘 고성능 AI 파이프라인 엔진. 13개 이상의 모델 제공업체, 8개 이상의 벡터 데이터베이스, 에이전트 오케스트레이션을 통해 IDE에서 직접 LLM 워크플로우를 구축, 디버그 및 확장하세요. VS Code 확장 프로그램, TypeScript/Python SDK, Docker 배포 포함.

고객 데이터 인프라 분야의 리더

파운데이션 모델을 위한, 그리고 모델과 함께하는 데이터 처리! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

Flink CDC는 스트리밍 데이터 통합 도구입니다

데이터 액세스가 운영 인텔리전스를 만나는 곳

Golang과 React로 구현된 프라이버시 및 보안 중심의 Segment 대안

처음부터 Data Engineering을 배우는 데 유용한 리소스 모음

ingestr는 단일 명령어로 모든 데이터베이스 간에 데이터를 원활하게 복사할 수 있는 CLI 도구입니다.

주 업무가 오케스트레이션이 아닌 팀을 위한 자체 호스팅 가능한 워크플로 오케스트레이터. 스크립트, SSH 명령어, 컨테이너 등을 위한 선언형 YAML; 워크플로를 비즈니스 로직과 분리합니다. 단일 바이너리, 데이터베이스 없음, 제한된 하드웨어 리소스에서 실행됩니다. Airflow / Cron / Job Scheduler의 대안입니다.

Memphis.dev는 확장성이 뛰어나고 손쉽게 사용할 수 있는 데이터 스트리밍 플랫폼입니다.

에이전트에 필요한 모든 모델을 위한 오픈소스 추론 서버 및 프로덕션 클러스터

머신러닝 모델 및 데이터 파이프라인을 위한 오픈소스 데이터 로깅 라이브러리 📚 시간에 따른 데이터 품질 및 모델 성능에 대한 가시성 제공 🛡️ 개인정보 보호를 지원하는 데이터 수집으로 안전성과 견고성 보장 📈

데이터 및 분석 엔지니어링을 위한 dbt 네이티브 데이터 관측성 솔루션. 몇 분 만에 데이터 파이프라인을 모니터링하세요. 프리미엄 기능이 포함된 셀프 호스팅 또는 클라우드 서비스로 제공됩니다.

Go를 위한 경량 스트림 처리 라이브러리

CLI 작업 관리 및 자동화 도구

🔥🔥🔥 오픈 소스 Reverse ETL - Hightouch 및 Census의 대안

OLake - 테이블 최적화 기능(OLake Fusion)을 포함하여 데이터베이스, Kafka, S3를 Apache Iceberg로 가장 빠르게 복제합니다. 실시간 분석을 위한 효율적이고 신속하며 확장 가능한 데이터 수집. 지원 소스: Postgres, MongoDB, MySQL, Oracle, MSSql, DB2, Kafka, S3.

도서 부수 소스 코드: Data Science on the Google Cloud Platform, Valliappa Lakshmanan, O'Reilly 2017

자체 서버나 클라우드에 배포하는 오픈소스 ETL/ELT. DuckDB 기반: 노코드/로우코드 비주얼 파이프라인 또는 SQL, 385개의 컴포넌트, dbt, CDC, 데이터 품질, 리버스 ETL, 리니지, AI 에이전트를 위한 MCP. 벤더 클라우드 없음, 행(row)별 과금 없음.

zerocode-tdd는 데이터 파이프라인, ETL, REST API, Kafka(데이터 스트림), 데이터베이스 및 부하 테스트 시나리오를 위한 커뮤니티 주도형 오픈소스 자동화 테스트 도구입니다. 코딩 없이 간단한 JSON 또는 YAML로 정의할 수 있습니다.

🌊 Estuary로 데이터 흐름을 관리하여 데이터가 있는 시스템을 원하는 시스템과 지속적으로 동기화하세요. 🌊

SeaTunnel은 대규모 데이터(오프라인 및 실시간)의 동기화 및 변환을 위한 분산형 고성능 데이터 통합 플랫폼입니다.

오디오를 위한 더 스마트한 데이터 파이프라인

이종 컴퓨팅 환경에서 머신러닝, 고성능 컴퓨팅, 양자 컴퓨팅 워크플로우를 오케스트레이션하기 위한 Pythonic 도구

실용적인 데이터 엔지니어링: 핸즈온 부동산 프로젝트 가이드

데이터 저장소 간 데이터를 스트리밍하는 Conduit입니다. Kafka Connect를 대체하며 JVM이 필요하지 않습니다.

분석 플랫폼 및 데이터 엔지니어링 생태계에서 사용되는 오픈 소스 도구 모음