data-pipelines

스트림 처리, 실시간 분석, LLM 파이프라인, RAG를 위한 Python ETL framework.

Apache Airflow - 워크플로를 프로그래밍 방식으로 작성, 예약 및 모니터링하기 위한 플랫폼

데이터 자산의 개발, 운영 및 모니터링을 위한 오케스트레이션 플랫폼

문서를 구조화된 데이터로 손쉽게 변환하세요. Unstructured는 복잡한 문서를 언어 모델을 위한 깔끔하고 구조화된 형식으로 변환하는 오픈 소스 ETL 솔루션입니다. 프로덕션 급 워크플로, 파티셔닝, 보강, 청킹 및 임베딩을 위한 엔터프라이즈 급 플랫폼 제품에 대해 알아보려면 웹사이트를 방문하세요.

Apache DolphinScheduler는 현대적인 데이터 오케스트레이션 플랫폼입니다. 로우 코드로 고성능 워크플로우를 민첩하게 생성하세요.

Kedro는 프로덕션 수준의 데이터 과학을 위한 툴박스입니다. 소프트웨어 엔지니어링 모범 사례를 활용하여 재현 가능하고 유지보수 가능하며 모듈화된 데이터 엔지니어링 및 데이터 과학 파이프라인을 구축할 수 있도록 지원합니다.

🧙 데이터 통합 및 변환을 위한 데이터 파이프라인 빌드, 실행 및 관리

최신 LLM 기반 오퍼레이터와 파이프라인을 활용한 간편한 데이터 전처리

🦀 개발자가 실시간 데이터를 수집하고 변환하여 반응형 데이터 집약적 애플리케이션을 구동할 수 있도록 지원하는 이벤트 스트림 처리 시스템

Preswald는 Python 기반 인터랙티브 데이터 앱을 위한 WASM 패키저입니다. Pyodide, DuckDB, Pandas, Plotly, Matplotlib 등을 사용하여 시각화를 포함한 복잡한 데이터 워크플로우를 단일 파일로 묶어 브라우저에서 완전히 실행할 수 있습니다. 오프라인에서 실행되고 로딩이 빠르며 문서처럼 공유할 수 있는 대시보드, 리포트, 노트북을 만드세요.

에이전트 기반 LLM 데이터 처리 및 ETL 시스템

Maestro: Netflix의 워크플로우 오케스트레이터

Meltano: 상상하던 데이터 및 ML 기반 제품 아이디어를 실현해 주는 선언적 코드 기반 데이터 통합 엔진. 직접 API 통합을 작성, 유지 관리, 확장하는 번거로움에서 벗어나세요.

데이터 및 분석 엔지니어링을 위한 dbt 네이티브 데이터 관측성 솔루션. 몇 분 만에 데이터 파이프라인을 모니터링하세요. 프리미엄 기능이 포함된 셀프 호스팅 또는 클라우드 서비스로 제공됩니다.

Feldera 증분 연산 엔진

데이터 엔지니어링을 배우기 가장 좋은 장소. 데이터 엔지니어링 커뮤니티에서 만들고 유지관리합니다.

빠르고 효율적인 비정형 데이터 추출. 다양한 언어 바인딩을 지원하는 Rust로 작성됨.

SQL과 Python으로 데이터 파이프라인을 구축하고, 다양한 소스에서 데이터를 수집하며, 품질 검사를 추가하고, 엔드투엔드 흐름을 구축합니다.

MLeap: ML 파이프라인을 프로덕션에 배포.

동시성 Python을 간단하게.

최초의 오픈 소스 데이터 디스커버리 및 가시성 플랫폼. 데이터 전문가의 삶을 편하게 만들어 비즈니스에 집중할 수 있도록 돕습니다.

MLOps 이니셔티브와 데이터 파이프라인을 시작하고 표준화하기 위한 종합적인 Python 패키지 템플릿입니다.

Python 기반의 시각적 데이터 준비 도구

Optimus는 데이터 변환, 데이터 모델링, 파이프라인 및 데이터 품질 관리를 위한 사용기 쉽고 안정적이며 고성능인 워크플로 오케스트레이터입니다.

메타데이터, 아티팩트, 테스트 결과를 수집하여 이상 징후 탐지, 데이터 품질 모니터링 및 메타데이터 테이블 구축을 지원하는 dbt 패키지. Elementary OSS를 구동하며 Elementary Cloud의 데이터 및 AI 제어 평면을 위한 컨텍스트 레이어를 제공함