bigdata

데이터 엔지니어링에 대해 배우고 싶은 모든 링크가 담긴 저장소

4KB 객체 페이로드 기준 MinIO보다 2.3배 빠른 고성능 오픈소스 S3 호환 객체 저장소 시스템으로, MinIO 및 Ceph 등 다른 S3 호환 플랫폼과의 마이그레이션 및 공존을 지원합니다.

산업용 IoT(IIoT) 시나리오를 위해 설계된 고성능 확장 가능한 시계열 데이터베이스

모든 데이터베이스에서 샤딩, 확장성, 보안을 위한 분산 SQL로 데이터 인텔리전스 역량 강화.

빅데이터 입문 가이드 :star:

멋진 빅데이터 프레임워크, 리소스 및 기타 유용한 항목들의 엄선된 목록

JuiceFS는 Redis와 S3를 기반으로 구축된 분산 POSIX 파일 시스템입니다.

데이터 에이전트 준비 완료 웨어하우스: 분석, 검색, AI, Python 샌드박스를 위한 단일 웨어하우스 — 처음부터 새로 구축됨. S3 기반의 통합 아키텍처.

초당 10억 개의 행을 처리하는 빅 테이블 데이터의 머신러닝, 시각화 및 탐색을 위한 아웃오브코어 하이브리드 Apache Arrow/NumPy DataFrame 🚀

빅데이터에서의 업서트, 삭제 및 증분 처리.

클라우드 네이티브 배치 시스템 (CNCF 산하 프로젝트)

100개 이상의 빅데이터 시각화 멋진 대시보드 Html5 템플릿; 커뮤니티, 자산 관리, 정부 행정, 교통, 금융 은행 등 다양한 산업군 포함. 웹에서 가장 최신이고 많으며 완전하고 멋진 빅데이터 시각화 템플릿. 지속적으로 업데이트 중

데이터 통합 프레임워크

🔨 JSON을 사용하여 구조화된 SQL 문을 생성하며, Vue3 + TypeScript + Vite + Ant Design + MonacoEditor를 기반으로 구현되었습니다. 로직 중심이고 페이지가 가벼워 실습하기 좋은 프로젝트입니다~

Apache Avro는 데이터 직렬화 시스템입니다.

빅데이터 학습, 제로 베이스 빅데이터 학습, 각 단계별 학습 동영상 및 면접 자료 포함

GridDB는 시계열 IoT 및 빅데이터를 빠르고 쉽게 처리할 수 있게 해주는 차세대 오픈 소스 데이터베이스입니다.

Aix-DB는 LangChain/LangGraph 프레임워크를 기반으로 하고 MCP Skills 멀티 에이전트 협업 아키텍처와 결합하여 자연어에서 데이터 인사이트로의 엔드투엔드 변환을 구현합니다.

.NET for Apache® Spark™는 .NET 개발자가 Apache Spark™에 쉽게 접근할 수 있도록 해줍니다.

오픈소스 Flink를 기반으로 실시간 SQL을 확장했으며, 주로 스트림과 차원 테이블의 조인을 구현하고 네이티브 Flink SQL의 모든 구문을 지원합니다.

Byzer(구 MLSQL): 데이터 파이프라인, 분석 및 AI를 위한 로우코드 오픈소스 프로그래밍 언어

빅데이터 지식 저장소로 데이터웨어하우스 모델링, 실시간 연산, 빅데이터, 데이터 중대(Mid-end), 시스템 설계, Java, 알고리즘 등을 다룹니다.

분산 빅데이터 오케스트레이션 서비스

Google, Naver 멀티프로세스 이미지 웹 크롤러 (Selenium)

IPython / Jupyter 노트북 형태의 빅데이터 분석 및 머신러닝을 위한 Apache Spark & Python (pySpark) 튜토리얼

Pandas, Dask, cuDF, Dask-cuDF, Vaex, PySpark를 활용한 간편한 애자일 데이터 준비 워크플로

최초의 오픈 소스 데이터 디스커버리 및 가시성 플랫폼. 데이터 전문가의 삶을 편하게 만들어 비즈니스에 집중할 수 있도록 돕습니다.

Apache Celeborn은 셔플 및 스필 데이터를 위한 탄력적이고 고성능인 서비스입니다.

ClickHouse를 위한 Golang 데이터 동기화

Apache Livy는 어디서든 Apache Spark와 상호작용할 수 있도록 지원하는 오픈 소스 REST 인터페이스입니다.