big-data

AI 및 멀티모달 워크로드를 위한 고성능 데이터 엔진. 모든 규모에서 이미지, 오디오, 비디오 및 정형 데이터를 처리합니다.

Spark용 ML 알고리즘을 포팅한 간단하고 분산된 머신러닝 Python 라이브러리

Apache Calcite

Apache Ignite

Stream Framework은 Cassandra 및/또는 Redis를 사용하여 뉴스 피드, 액티비티 스트림, 알림 시스템을 구축할 수 있는 Python 라이브러리입니다. Stream-Framework 개발자들은 피드 기술을 위한 클라우드 서비스도 제공합니다:

⚡️ 대용량 데이터 리스트를 고성능 렌더링과 효율성으로 지원하는 Vue 컴포넌트

대규모 이미지 URL 세트를 이미지 데이터셋으로 쉽게 변환합니다. 단일 머신에서 20시간 만에 1억 개의 URL을 다운로드, 크기 조정 및 패키징할 수 있습니다.

CrateDB는 복잡한 쿼리에서도 대량의 데이터를 실시간에 가깝게 저장하고 분석하기 위한 분산형 확장 가능 SQL 데이터베이스입니다. PostgreSQL과 호환되며 Lucene을 기반으로 합니다.

🚄 FASTJSON2는 뛰어난 성능을 자랑하는 Java JSON 라이브러리입니다.

A부터 Z까지의 데이터 사이언스 로드맵

🔨 🍇 💻 🚀 GraphScope: 알리바바의 올인원 대규모 그래프 컴퓨팅 시스템

Rust를 위한 확장 가능한 SQL Lexer 및 Parser

Apache Paimon은 Flink 및 Spark를 사용하여 스트리밍 및 배치 작업 모두에 실시간 레이크하우스 아키텍처를 구축할 수 있는 레이크 포맷입니다.

Koalas: Apache Spark상의 pandas API

배치 처리, 스트림 처리, 연산 집약적 AI 워크로드를 통합하는 Rust로 작성된 Apache Spark 드롭인 대체재입니다.

1천억 개 이상의 데이터를 지원하는 고성능 확장 가능한 그래프 데이터베이스 (OLTP 엔진, REST-API 및 백엔드 포함)

사용하기 쉬운 셀프 서비스 오픈 BI 보고서 및 BI 대시보드 플랫폼.

Apache Kafka 클러스터 관리를 위한 오픈소스 웹 UI

Python Data Science 생태계를 위해 구축된 고성능 서버리스 DataFrame 데이터베이스, ArcticDB.

엔지니어를 위한 오픈소스 BI

Apache Ambari는 Apache Hadoop 클러스터의 프로비저닝, 관리 및 모니터링을 단순화합니다.

YTsaurus는 확장 가능하고 내결함성을 갖춘 오픈소스 빅데이터 플랫폼입니다.

Apache Fluss는 실시간 분석을 위해 구축된 스트리밍 스토리지입니다.

Apache DataFusion Ballista 분산 쿼리 엔진

Apache Drill은 자체 설명 데이터(self-describing data)를 위한 분산 MPP 쿼리 레이어입니다.

Apache BookKeeper - 추가 전용(append-only) 워크로드에 최적화된 확장 가능하고 내결함성을 갖춘 저지연 스토리지 서비스

클라우드의 BigData/AI 애플리케이션을 위한 유연하고 탄력적인 데이터 추상화 및 가속화 (CNCF 산하 프로젝트)

Apache Kudu 미러

🚀 데이터 분석 및 데이터 과학을 위한 500개 이상의 엄선된 리소스: Python, SQL, 통계, ML, AI, 시각화, 치트시트, 로드맵, 면접 준비. 초보자와 전문가 모두를 위함.

분산 컴퓨팅 프레임워크(예: Spark)용 Auron 가속기는 네이티브 벡터화 실행을 활용하여 쿼리 처리를 가속화합니다