pyspark

la biblioteca de DataFrames de Python portátil

Biblioteca de Python de Machine Learning simple y distribuida que adapta algoritmos de ML para Spark

Procesamiento de Lenguaje Natural de última generación

Apache Linkis construye una capa de middleware de computación para facilitar la conexión, gobernanza y orquestación entre las aplicaciones superiores y los motores de datos subyacentes.

Reemplazo directo de Apache Spark escrito en Rust, que unifica el procesamiento por lotes, el procesamiento de flujos y las cargas de trabajo de IA intensivas en computación.

Una lista seleccionada de recursos y paquetes increíbles para Apache Spark.

La biblioteca Petastorm permite el entrenamiento y evaluación distribuida o en máquina única de modelos de deep learning desde conjuntos de datos en formato Apache Parquet.

Capa de compatibilidad ligera y extensible entre bibliotecas de dataframe.

Tutoriales de Apache Spark y Python (pySpark) para análisis de Big Data y Machine Learning en formato de notebooks de IPython / Jupyter.

:truck: Flujos de trabajo de preparación de datos ágiles facilitados con Pandas, Dask, cuDF, Dask-cuDF, Vaex y PySpark

Magics y kernels de Jupyter para trabajar con clústeres remotos de Spark.

Hopsworks: plataforma de IA intensiva en datos con un Feature Store

PySpark-Tutorial ofrece algoritmos básicos utilizando PySpark

GraphFrames es un paquete para Apache Spark que proporciona grafos basados en DataFrames.

Libro de algoritmos de datos con MapReduce, Spark, Java y Scala

Sparkling Water proporciona funcionalidad de H2O dentro de un clúster de Spark

Más de 80 herramientas CLI para DevOps y datos: AWS, GCP, GCF Python Cloud Functions, anonimizador de logs, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, conversores y validadores de datos Spark (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr, etc.

Framework de Python para construir pipelines de datos eficientes. Promueve la modularidad y la colaboración, permitiendo la creación de pipelines complejos a partir de componentes simples y reutilizables.

Scriptis es una herramienta para el análisis interactivo de datos con desarrollo de scripts (SQL, Pyspark, HiveQL), envío de tareas (Spark, Hive), UDF, funciones, gestión de recursos y diagnóstico inteligente.

Métodos auxiliares de prueba para PySpark con mensajes de error detallados

Métodos de pyspark para mejorar la productividad del desarrollador

Comparación de DataFrames de Pandas, Polars, Spark y Snowpark para humanos y más.

Aprende Apache Spark en Scala, Python (PySpark) y R (SparkR) construyendo tu propio clúster con una interfaz de JupyterLab en Docker.