data-engineering

데이터 정제를 위한 깔끔한 API. R 패키지 Janitor의 Python 구현체.

도서 부수 소스 코드: Data Science on the Google Cloud Platform, Valliappa Lakshmanan, O'Reilly 2017

최초의 오픈 소스 데이터 디스커버리 및 가시성 플랫폼. 데이터 전문가의 삶을 편하게 만들어 비즈니스에 집중할 수 있도록 돕습니다.

MLOps 이니셔티브와 데이터 파이프라인을 시작하고 표준화하기 위한 종합적인 Python 패키지 템플릿입니다.

주요 기술 기업의 엔지니어링 블로그 아티클 300여 개를 엄선한 컬렉션입니다. 최고의 엔지니어링 팀이 대규모 환경에서 실제 문제를 해결하는 방법을 배울 수 있습니다.

실무 전문가가 전하는 가장 포괄적인 SQL 가이드! 기초부터 고급 쿼리, 최적화, 실무 SQL까지 모든 것을 배워보세요.

Quilt는 버전 관리와 맥락이 풍부한 데이터 패키지를 통해 팀과 AI가 데이터를 찾고, 신뢰하고, 재사용할 수 있도록 돕는 AWS 기반 과학 데이터 관리 플랫폼입니다.

자체 서버나 클라우드에 배포하는 오픈소스 ETL/ELT. DuckDB 기반: 노코드/로우코드 비주얼 파이프라인 또는 SQL, 385개의 컴포넌트, dbt, CDC, 데이터 품질, 리버스 ETL, 리니지, AI 에이전트를 위한 MCP. 벤더 클라우드 없음, 행(row)별 과금 없음.

데이터 중심 AI(Data-centric AI) 리소스의 엄선되었지만 완성되지는 않은 목록입니다.

데이터 엔지니어링 및 머신러닝 지식 허브

Open Data Contract Standard (ODCS) 공식 홈페이지

📙 멋진 데이터 카탈로그 및 옵저버빌리티 플랫폼 모음

데이터 계약(Data Contracts) 강제 적용

🌊 Estuary로 데이터 흐름을 관리하여 데이터가 있는 시스템을 원하는 시스템과 지속적으로 동기화하세요. 🌊

FlyFish는 데이터 시각화 코딩 플랫폼입니다. 간단한 방식으로 데이터 모델을 빠르게 생성하고, 드래그 앤 드롭을 통해 데이터 시각화 솔루션 세트를 빠르게 생성할 수 있습니다.

ETL 프로세스, 데이터 모델링 및 분석을 포함하여 SQL Server로 현대적인 데이터 웨어하우스를 구축하기 위한 종합 가이드.

Egeria 코어

데이터 엔지니어링의 기본 개념, 기술적 과제 및 리소스를 다루는 스페인어 저장소

빠르고 비용 효율적인 분산 Compute over Data를 위한 커뮤니티 주도의 단순하면서도 강력한 프레임워크입니다.

Neum AI는 대규모 벡터 임베딩의 생성 및 동기화를 관리하기 위한 동급 최강의 프레임워크입니다.

The Complete dbt (Data Build Tool) Bootcamp Udemy 강의를 위한 보조 자료

실용적인 데이터 엔지니어링: 핸즈온 부동산 프로젝트 가이드

효율적인 데이터 파이프라인 구축을 위한 Python 프레임워크. 모듈성과 협업을 장려하며, 간단하고 재사용 가능한 구성 요소로 복잡한 파이프라인을 생성할 수 있습니다.

dbt, SQL 및 클라우드 데이터 웨어하우스를 위한 오픈소스 에이전트 데이터 엔지니어링 하네스입니다. 100개 이상의 도구, 10개의 웨어하우스, AI 기반 기능을 제공합니다.

데이터를 더 깊이 이해하세요! Datavines는 메타데이터 관리와 데이터 품질을 지원하는 차세대 데이터 관측성 플랫폼입니다.

BigFunctions을 사용하여 BigQuery의 성능을 극대화하세요.

실패한 머신 러닝 프로젝트의 실제 사례 모음

VectorFlow는 원시 데이터를 수집하여 벡터로 변환하고 선택한 벡터 DB에 저장하는 고성능 벡터 임베딩 파이프라인입니다.

데이터 통합, 동기화, 교환, 공유, 작업 구성 및 스케줄링을 위한 하위 수준 데이터 기반 엔진입니다. 파이프라인과 실행의 분리, 다중 스트림 계층, 플러그인 라이브러리 아키텍처를 사용하여 대규모 데이터 작업, 고빈도 데이터 보고 및 수집, 이기종 데이터 호환성 문제를 해결합니다.

Synmetrix – Cube 기반의 프로덕션 레디 오픈 소스 시맨틱 레이어