bigdata

Un répertoire contenant des liens vers tout ce que vous pourriez vouloir apprendre sur l'ingénierie des données.

2,3 fois plus rapide que MinIO pour des charges utiles d'objets de 4 Ko. RustFS est un système de stockage d'objets haute performance open source compatible S3, prenant en charge la migration et la coexistence avec d'autres plateformes compatibles S3 telles que MinIO et Ceph.

Base de données de séries temporelles haute performance et évolutive, conçue pour les scénarios de l'Internet des objets industriel (IIoT).

Renforcer l'intelligence des données grâce au SQL distribué pour le sharding, l'évolutivité et la sécurité sur toutes les bases de données.

Guide d'introduction au Big Data :star:

Une liste organisée de frameworks, ressources et autres éléments remarquables liés au Big Data.

JuiceFS est un système de fichiers POSIX distribué construit sur Redis et S3.

Data Agent Ready Warehouse : pour l'analytique, la recherche, l'IA et le bac à sable Python. Entièrement reconstruit. Architecture unifiée sur votre S3.

DataFrame hybride Apache Arrow/NumPy hors mémoire pour Python, ML, visualisation et exploration de grands jeux de données tabulaires à un milliard de lignes par seconde.

Upserts, suppressions et traitement incrémental sur les Big Data.

Un système de traitement par lots natif pour le cloud (projet sous l'égide de la CNCF).

Plus de 100 modèles HTML5 de visualisation de données pour grands écrans, couvrant divers secteurs tels que la communauté, l'immobilier, l'administration et la finance.

Un framework d'intégration de données

Utilisez JSON pour générer des requêtes SQL structurées. Basé sur Vue3, TypeScript, Vite, Ant Design et MonacoEditor, ce projet est simple, axé sur la logique et idéal pour s'exercer.

Apache Avro est un système de sérialisation de données.

Apprentissage du Big Data, de zéro, incluant des vidéos de formation et des ressources pour les entretiens à chaque étape.

GridDB est une base de données open source de nouvelle génération qui rend les séries temporelles IoT et le big data rapides et faciles.

Aix-DB, basé sur les frameworks LangChain/LangGraph et l'architecture de collaboration multi-agents MCP Skills, pour convertir le langage naturel en insights de données de bout en bout.

.NET for Apache® Spark™ rend Apache Spark™ facilement accessible aux développeurs .NET.

Extension du SQL temps réel basée sur Flink open source ; implémente principalement la jointure entre flux et tables de dimension, tout en prenant en charge la syntaxe native Flink SQL.

Byzer (anciennement MLSQL) : un langage de programmation open-source low-code pour les pipelines de données, l'analytique et l'IA.

Dépôt de connaissances sur le Big Data couvrant la modélisation d'entrepôts de données, le calcul en temps réel, le Big Data, les plateformes de données, la conception de systèmes, Java et les algorithmes.

Service d'orchestration distribué pour Big Data

Web crawler d'images multiprocessus pour Google et Naver (Selenium)

Tutoriels Apache Spark et Python (pySpark) pour l'analyse de Big Data et le Machine Learning sous forme de notebooks IPython / Jupyter

Flux de travail de préparation de données agiles simplifiés avec Pandas, Dask, cuDF, Dask-cuDF, Vaex et PySpark

Première plateforme open source de découverte et d'observabilité des données. Nous simplifions la vie des praticiens de la donnée pour que vous puissiez vous concentrer sur votre activité.

Apache Celeborn est un service élastique et haute performance pour le shuffle et les données déversées.

Synchronisation de données en Golang pour ClickHouse.

Apache Livy est une interface REST open source permettant d'interagir avec Apache Spark depuis n'importe où.