datalake

데이터베이스나 데이터 레이크(SQL, CSV, parquet)와 대화하세요. PandasAI는 LLM과 RAG를 사용하여 데이터 분석을 대화형으로 만들어 줍니다.

빅데이터를 위한 분산 SQL 쿼리 엔진 Trino(구 PrestoSQL)의 공식 저장소 (https://trino.io)

데이터 레이크하우스 내부와 외부 모두에서 1초 미만의 분석을 제공하는 세계에서 가장 빠른 오픈 쿼리 엔진입니다. 거의 모든 시나리오를 지원하는 유연성을 갖춘 StarRocks는 다차원 분석, 실시간 분석, 애드혹 쿼리를 위한 동급 최강의 성능을 제공합니다. Linux Foundation 프로젝트입니다.

Deeplake는 에이전트를 위한 AI 데이터 런타임입니다. 멀티모달 데이터 레이크가 포함된 서버리스 postgres를 제공하여 확장 가능한 검색 및 학습을 가능하게 합니다.

빅데이터에서의 업서트, 삭제 및 증분 처리.

lakeFS - 데이터 레이크를 위한 데이터 버전 관리 | 데이터를 위한 Git

Dinky는 Apache Flink 기반의 실시간 데이터 개발 플랫폼으로, 애자일 데이터 개발, 배포 및 운영을 지원합니다.

고성능의 지리적 분산 및 연합 메타데이터 레이크 구축을 위한 세계에서 가장 강력한 오픈 데이터 카탈로그

S3, PostgreSQL, SQLite, Apache Iceberg 및 Delta Lake를 지원하는 Apache Kafka® 호환 브로커

LeoFS 스토리지 시스템

ML을 사용한 확장 가능한 마스터 데이터 관리, ID 확인, 엔티티 확인 및 중복 제거

ClickBench: 분석용 데이터베이스 벤치마크

ETL 프로세스, 데이터 모델링 및 분석을 포함하여 SQL Server로 현대적인 데이터 웨어하우스를 구축하기 위한 종합 가이드.

Data Agents의 최신 발전 사항을 지속적으로 업데이트하는 논문 목록. 논문 "A Survey of Data Agents: Emerging Paradigm or Overstated Hype?"의 보조 저장소

분석 플랫폼 및 데이터 엔지니어링 생태계에서 사용되는 오픈 소스 도구 모음

Data Vault 2.0 규격 데이터 웨어하우스 구축 및 로딩을 위한 무료 dbt 패키지 (오픈소스 데이터 엔지니어링 도구 dbt 기반)

Apache Hudi 관련 자료 모음