pyspark

휴대용 Python 데이터프레임 라이브러리

Spark용 ML 알고리즘을 포팅한 간단하고 분산된 머신러닝 Python 라이브러리

최첨단 자연어 처리

Apache Linkis는 상위 애플리케이션과 하위 데이터 엔진 간의 연결, 거버넌스 및 오케스트레이션을 용이하게 하는 연산 미들웨어 계층을 구축합니다.

배치 처리, 스트림 처리, 연산 집약적 AI 워크로드를 통합하는 Rust로 작성된 Apache Spark 드롭인 대체재입니다.

Apache Spark 관련 우수 패키지 및 리소스 모음

Petastorm 라이브러리는 Apache Parquet 형식의 데이터셋을 사용하여 단일 장치 또는 분산 환경에서 딥러닝 모델의 학습 및 평가를 가능하게 합니다. Tensorflow, Pytorch, PySpark 같은 ML 프레임워크를 지원하며 순수 Python 코드에서도 사용할 수 있습니다.

데이터프레임 라이브러리 간의 가볍고 확장 가능한 호환성 레이어!

IPython / Jupyter 노트북 형태의 빅데이터 분석 및 머신러닝을 위한 Apache Spark & Python (pySpark) 튜토리얼

Pandas, Dask, cuDF, Dask-cuDF, Vaex, PySpark를 활용한 간편한 애자일 데이터 준비 워크플로

원격 Spark 클러스터 작업을 위한 Jupyter magics 및 커널

Hopsworks - 피처 스토어가 포함된 데이터 집약적 AI 플랫폼

PySpark-튜토리얼은 PySpark를 사용한 기본 알고리즘을 제공합니다.

DataFrame 기반 그래프를 제공하는 Apache Spark용 패키지 GraphFrames

Data Algorithms 도서를 위한 MapReduce, Spark, Java 및 Scala

Spark 클러스터 내에서 H2O 기능을 제공하는 Sparkling Water

80개 이상의 DevOps 및 데이터 CLI 도구 - AWS, GCP, GCF Python Cloud Functions, 로그 익명화 도구, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Spark 데이터 변환기 및 검증기(Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr 등

효율적인 데이터 파이프라인 구축을 위한 Python 프레임워크. 모듈성과 협업을 장려하며, 간단하고 재사용 가능한 구성 요소로 복잡한 파이프라인을 생성할 수 있습니다.

스크립트 개발(SQL, Pyspark, HiveQL), 작업 제출(Spark, Hive), UDF, 함수, 리소스 관리 및 지능형 진단을 지원하는 대화형 데이터 분석 도구 Scriptis

명확하고 직관적인 에러 메시지를 제공하는 PySpark 테스트 헬퍼 메서드

개발자 생산성을 향상시키는 pyspark 메서드 📣 👯 🎉

Pandas, Polars, Spark, Snowpark DataFrame을 위한 인간 중심의 비교 도구 등!

Docker의 JupyterLab 인터페이스에서 자신만의 클러스터를 구축하여 Scala, Python(PySpark), R(SparkR)로 Apache Spark를 학습하세요. :zap: