data-engineering

SQL Translator는 인공지능을 사용하여 자연어 쿼리를 SQL 코드로 변환하는 도구입니다. 이 프로젝트는 100% 무료 오픈소스입니다.

AWS용 pandas - Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer 및 S3(Parquet, CSV, JSON, EXCEL)와의 간편한 통합

처음부터 Data Engineering을 배우는 데 유용한 리소스 모음

Maestro: Netflix의 워크플로우 오케스트레이터

매우 빠른 데이터 랭글링 툴킷

Memphis.dev는 확장성이 뛰어나고 손쉽게 사용할 수 있는 데이터 스트리밍 플랫폼입니다.

프로덕션 등급의 ML 애플리케이션을 설계, 개발, 배포 및 반복 개선하는 방법을 배웁니다.

배치 처리, 스트림 처리, 연산 집약적 AI 워크로드를 통합하는 Rust로 작성된 Apache Spark 드롭인 대체재입니다.

멋진 오픈소스 데이터 엔지니어링 프로젝트 모음

Apache DevLake는 DevOps 주의 분산된 데이터를 수집, 분석 및 시각화하여 엔지니어링 우수성, 개발자 경험 및 커뮤니티 성장을 위한 인사이트를 추출하는 오픈소스 개발 데이터 플랫폼입니다.

LLM, 에이전트, RAG, 파인튜닝, LLMOps 및 AI 시스템 기술을 활용하여 '제2의 두뇌' AI 어시스턴트를 구축하는 법을 배워보세요.

Meltano: 상상하던 데이터 및 ML 기반 제품 아이디어를 실현해 주는 선언적 코드 기반 데이터 통합 엔진. 직접 API 통합을 작성, 유지 관리, 확장하는 번거로움에서 벗어나세요.

Apache Hamilton은 데이터 과학자와 엔지니어가 데이터 혈통(lineage)/추적 및 메타데이터를 인코딩하는 테스트 가능하고 모듈화된 자체 문서화 데이터 흐름을 정의할 수 있도록 돕습니다. Python이 실행되는 모든 곳에서 실행되고 확장됩니다.

RAG의 새로운 SOTA — 인간과 에이전트를 위한 독창적인 검색 아키텍처 및 오픈 소스 지식 베이스

사용자 참여를 높이는 기사, 목록, 검색 결과, 추천을 위한 로우코드 머신러닝 개인화 순위 지정 서비스. 친화적인 Learn-to-Rank 엔진

모던 데이터 스택을 위한 Data Contracts 엔진. https://www.soda.io

Datart는 차세대 데이터 시각화 오픈 플랫폼입니다

Python 스트림 처리

데이터 엔지니어링을 배우기 가장 좋은 장소. 데이터 엔지니어링 커뮤니티에서 만들고 유지관리합니다.

Feathr – 엔터프라이즈를 위한 확장 가능하고 통합된 데이터 및 AI 엔지니어링 플랫폼

엄선된 멋진 dbt 리소스 목록

2,000개가 넘는 데이터 엔지니어 면접 질문 모음

MLRun은 전체 라이프사이클에 걸쳐 지속적인 ML 애플리케이션을 빠르게 구축하고 관리하기 위한 오픈소스 MLOps 플랫폼입니다. 개발 및 CI/CD 환경에 통합되어 프로덕션 데이터, ML 파이프라인, 온라인 애플리케이션의 배포를 자동화합니다.

🔥🔥🔥 오픈 소스 Reverse ETL - Hightouch 및 Census의 대안

데이터 사이언스, 데이터 엔지니어링, 머신러닝, 딥러닝, 컴퓨터 과학, 프로그래밍, 소프트웨어 엔지니어링 등을 다루는 180개 이상의 유튜브 채널 종합 목록

👾 nao는 오픈 소스 분석 에이전트입니다. (1) nao-core cli로 컨텍스트를 생성하고, (2) 모든 사람을 위한 nao 채팅 인터페이스를 배포합니다.

:bar_chart: :clipboard: YAML 또는 JSON 파일을 사용한 대시보드

ktx는 데이터 및 분석 에이전트를 위한 실행 가능한 컨텍스트 레이어입니다 🐙 Claude Code, Codex 또는 기타 AI 에이전트가 회사의 전체 컨텍스트를 바탕으로 정확하게 분석 데이터베이스를 쿼리할 수 있도록 지원합니다

Kafka를 위한 Python 스트리밍 DataFrame

동시성 Python을 간단하게.