big-data

Moteur de données haute performance pour l'IA et les charges de travail multimodales. Traitez des images, de l'audio, de la vidéo et des données structurées à n'importe quelle échelle.

Bibliothèque Python d'apprentissage automatique simple et distribuée, portant des algorithmes ML pour Spark

Apache Calcite

Apache Ignite

Stream Framework est une bibliothèque Python permettant de créer des flux d'actualités, des flux d'activités et des systèmes de notification en utilisant Cassandra et/ou Redis. Les auteurs de Stream-Framework proposent également un service cloud pour la technologie de flux.

Composant Vue supportant de grands volumes de données avec des performances de rendu élevées et efficaces.

Transformez facilement de grands ensembles d'URL d'images en un jeu de données. Capable de télécharger, redimensionner et empaqueter 100 millions d'URL en 20 heures sur une seule machine.

CrateDB est une base de données SQL distribuée et évolutive conçue pour stocker et analyser des volumes massifs de données en temps quasi réel, même avec des requêtes complexes. Compatible avec PostgreSQL et basée sur Lucene.

FASTJSON2 est une bibliothèque JSON pour Java offrant d'excellentes performances.

Feuille de route complète pour la science des données

🔨 🍇 💻 🚀 GraphScope : Un système de calcul sur graphes à grande échelle tout-en-un par Alibaba

Analyseur lexical et syntaxique SQL extensible pour Rust.

Apache Paimon est un format de lac de données permettant de construire une architecture Lakehouse en temps réel avec Flink et Spark pour les opérations de streaming et de traitement par lots.

Koalas : API pandas sur Apache Spark

Remplacement prêt à l'emploi pour Apache Spark écrit en Rust, unifiant le traitement par lots, le traitement de flux et les charges de travail IA intensives.

Une base de données orientée graphe supportant plus de 100 milliards de données, avec des performances et une scalabilité élevées (inclut moteur OLTP, API REST et backends).

Une plateforme de reporting BI et de tableaux de bord en libre-service, facile à utiliser.

Interface Web open source pour la gestion des clusters Apache Kafka.

ArcticDB est une base de données DataFrame haute performance et sans serveur, conçue pour l'écosystème de science des données Python.

Outil de BI open source pour les ingénieurs.

Apache Ambari simplifie le provisionnement, la gestion et la surveillance des clusters Apache Hadoop.

YTsaurus est une plateforme de Big Data open source, évolutive et tolérante aux pannes.

Apache Fluss est un stockage de flux conçu pour l'analyse en temps réel.

Moteur de requête distribué Apache DataFusion Ballista

Apache Drill est une couche de requête MPP distribuée pour les données auto-descriptives

Apache BookKeeper : un service de stockage évolutif, tolérant aux pannes et à faible latence, optimisé pour les charges de travail en ajout seul.

Abstraction et accélération de données fluides et élastiques pour les applications BigData/IA dans le cloud. (Projet sous CNCF)

Miroir d'Apache Kudu.

Plus de 500 ressources sélectionnées pour l'analyse de données et la science des données : Python, SQL, statistiques, ML, IA, visualisation, aide-mémoire, feuilles de route, préparation aux entretiens. Pour débutants et experts.

L'accélérateur Auron pour les frameworks de calcul distribué (ex: Spark) exploite l'exécution vectorisée native pour accélérer le traitement des requêtes