pyspark

A biblioteca de dataframe Python portátil

Biblioteca Python de Machine Learning simples e distribuída, portando algoritmos de ML para Spark

Processamento de Linguagem Natural de última geração

O Apache Linkis cria uma camada de middleware de computação para facilitar a conexão, governança e orquestração entre as aplicações superiores e os motores de dados subjacentes.

Substituto direto para o Apache Spark escrito em Rust, unificando processamento em lote, processamento de fluxo e cargas de trabalho de IA intensivas em computação.

Uma lista selecionada de pacotes e recursos incríveis do Apache Spark.

A biblioteca Petastorm permite o treinamento e avaliação, em máquina única ou distribuída, de modelos de deep learning a partir de datasets no formato Apache Parquet. Suporta frameworks de ML como Tensorflow, Pytorch e PySpark, podendo ser utilizada a partir de código Python puro

Camada de compatibilidade leve e extensível entre bibliotecas de dataframe.

Tutoriais de Apache Spark e Python (pySpark) para análise de Big Data e Machine Learning em notebooks IPython / Jupyter

Fluxos de trabalho de preparação de dados ágeis facilitados com Pandas, Dask, cuDF, Dask-cuDF, Vaex e PySpark

Magics e kernels do Jupyter para trabalhar com clusters Spark remotos.

Hopsworks - Plataforma de IA intensiva em dados com um Feature Store

PySpark-Tutorial fornece algoritmos básicos usando PySpark

GraphFrames é um pacote para o Apache Spark que fornece grafos baseados em DataFrame.

MapReduce, Spark, Java e Scala para o livro Data Algorithms

O Sparkling Water fornece funcionalidade H2O dentro do cluster Spark

Mais de 80 ferramentas CLI para DevOps e Dados - AWS, GCP, GCF Python Cloud Functions, anonimizador de logs, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, conversores e validadores de dados Spark (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr, etc.

Framework Python para construir pipelines de dados eficientes. Promove modularidade e colaboração, permitindo a criação de pipelines complexos a partir de componentes simples e reutilizáveis.

Scriptis é para análise interativa de dados com desenvolvimento de scripts (SQL, Pyspark, HiveQL), submissão de tarefas (Spark, Hive), UDF, gerenciamento de funções e recursos e diagnóstico inteligente.

Métodos auxiliares de teste para PySpark com mensagens de erro legíveis

Métodos do pyspark para aumentar a produtividade do desenvolvedor 📣 👯 🎉

Comparação de DataFrames em Pandas, Polars, Spark e Snowpark para humanos e muito mais!

Aprenda Apache Spark em Scala, Python (PySpark) e R (SparkR) construindo seu próprio cluster com interface JupyterLab no Docker. :zap: