spark

고성능 데이터 저장소 솔루션

Learning Spark: Lightning-Fast Data Analytics [2nd Edition]의 GitHub 저장소입니다.

Docker 및 Kubernetes를 위한 50개 이상의 DockerHub 공개 이미지 - DevOps, CI/CD, GitHub Actions, CircleCI, Jenkins, TeamCity, Alpine, CentOS, Debian, Fedora, Ubuntu, Hadoop, Kafka, ZooKeeper, HBase, Cassandra, Solr, SolrCloud, Presto, Apache Drill, Nifi, Spark, Consul, Riak

원격 Spark 클러스터 작업을 위한 Jupyter magics 및 커널

Taier는 제출, 스케줄링, 운영 및 유지보수, 지표 정보 표시를 지원하는 빅데이터 개발 플랫폼입니다.

PySpark-튜토리얼은 PySpark를 사용한 기본 알고리즘을 제공합니다.

Apache DataFusion Comet Spark 가속기

ML을 사용한 확장 가능한 마스터 데이터 관리, ID 확인, 엔티티 확인 및 중복 제거

DataFrame 기반 그래프를 제공하는 Apache Spark용 패키지 GraphFrames

Apache Amoro(incubating)은 오픈 데이터 레이크 포맷 기반으로 구축된 레이크하우스 관리 시스템입니다.

데이터 엔지니어링 및 머신러닝 지식 허브

Apache Celeborn은 셔플 및 스필 데이터를 위한 탄력적이고 고성능인 서비스입니다.

ADAM은 Apache Avro, Apache Spark, Apache Parquet을 사용하여 구축된 특수 파일 형식을 갖춘 유전체 분석 플랫폼입니다. Apache 2 라이선스가 적용됩니다.

제공되는 프런트엔드(JavaScript/React) 코드와 LB가 사용하는 모든 데이터 처리 컴포넌트를 포함하는 ListenBrainz 프로젝트 서버.

Apache Spark용 NVIDIA cuDF 플러그인 - GPU로 Apache Spark 가속화

Apache Spark를 위한 무료 튜토리얼

Spark 클러스터 내에서 H2O 기능을 제공하는 Sparkling Water

Apache Spark용 R 인터페이스

Apache Livy는 어디서든 Apache Spark와 상호작용할 수 있도록 지원하는 오픈 소스 REST 인터페이스입니다.

GenAI 애플리케이션을 위한 데이터 준비 오픈 소스 프로젝트

안전한 데이터 공유를 위한 개방형 프로토콜

Apache Spark를 위한 C# 및 F# 언어 바인딩 및 확장

Redis 클러스터와의 읽기 및 쓰기를 지원하는 Spark용 커넥터

Spark를 위한 표현력 있는 타입

TiDB/TiKV 위에서 Apache Spark를 실행하기 위한 TiSpark

Ada 및 SPARK 프로그래밍 언어 관련 유용한 리소스 모음

DoEKS는 Amazon EKS에서 데이터 플랫폼을 구축, 배포 및 확장하기 위한 도구입니다.

이 저장소는 Apache Spark 성능 분석 및 트러블슈팅 라이브러리인 sparkMeasure의 개발 코드를 포함하고 있습니다. Spark 태스크/스테이지 메트릭의 수집, 집계 및 내보내기를 간소화하며, 대화형 분석, 테스트 및 프로덕션 모니터링 워크플로우에서 개발자와 데이터 엔지니어가 실용적으로 사용할 수 있도록 설계되었습니다.

80개 이상의 DevOps 및 데이터 CLI 도구 - AWS, GCP, GCF Python Cloud Functions, 로그 익명화 도구, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Spark 데이터 변환기 및 검증기(Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr 등

스크립트 개발(SQL, Pyspark, HiveQL), 작업 제출(Spark, Hive), UDF, 함수, 리소스 관리 및 지능형 진단을 지원하는 대화형 데이터 분석 도구 Scriptis