pyspark

La bibliothèque de dataframe Python portable.

Bibliothèque Python d'apprentissage automatique simple et distribuée, portant des algorithmes ML pour Spark

État de l'art du traitement du langage naturel

Apache Linkis construit une couche de middleware de calcul pour faciliter la connexion, la gouvernance et l'orchestration entre les applications supérieures et les moteurs de données sous-jacents.

Remplacement prêt à l'emploi pour Apache Spark écrit en Rust, unifiant le traitement par lots, le traitement de flux et les charges de travail IA intensives.

Liste organisée de ressources et de paquets Apache Spark.

La bibliothèque Petastorm permet l'entraînement et l'évaluation distribués ou sur machine unique de modèles de deep learning à partir de jeux de données au format Apache Parquet. Elle prend en charge des frameworks ML tels que Tensorflow, Pytorch et PySpark et peut être utilisée depuis du code Python pur.

Couche de compatibilité légère et extensible entre les bibliothèques de dataframe !

Tutoriels Apache Spark et Python (pySpark) pour l'analyse de Big Data et le Machine Learning sous forme de notebooks IPython / Jupyter

Flux de travail de préparation de données agiles simplifiés avec Pandas, Dask, cuDF, Dask-cuDF, Vaex et PySpark

Magics et kernels Jupyter pour travailler avec des clusters Spark distants.

Hopsworks - Plateforme d'IA à forte intensité de données avec un Feature Store

PySpark-Tutorial fournit des algorithmes de base utilisant PySpark.

GraphFrames est un package pour Apache Spark fournissant des graphes basés sur les DataFrames

MapReduce, Spark, Java et Scala pour le livre Data Algorithms.

Sparkling Water intègre les fonctionnalités de H2O au sein d'un cluster Spark.

Plus de 80 outils CLI pour DevOps et Data : AWS, GCP, GCF Python Cloud Functions, anonymiseur de logs, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, convertisseurs et validateurs de données Spark (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr, etc.

Framework Python pour construire des pipelines de données efficaces. Il favorise la modularité et la collaboration, permettant la création de pipelines complexes à partir de composants simples et réutilisables.

Scriptis est un outil d'analyse de données interactive avec développement de scripts (SQL, Pyspark, HiveQL), soumission de tâches (Spark, Hive), UDF, fonctions, gestion des ressources et diagnostic intelligent.

Méthodes d'assistance pour les tests PySpark avec des messages d'erreur explicites.

Méthodes pyspark pour améliorer la productivité des développeurs 📣 👯 🎉

Comparaison de DataFrames Pandas, Polars, Spark et Snowpark, conçue pour les humains et plus encore.

Apprenez Apache Spark en Scala, Python (PySpark) et R (SparkR) en construisant votre propre cluster avec une interface JupyterLab sur Docker. :zap: