big-data

Hochleistungs-Daten-Engine für KI- und multimodale Workloads. Verarbeitet Bilder, Audio, Video und strukturierte Daten in beliebigem Maßstab.

Einfache und verteilte Machine-Learning-Python-Bibliothek zur Portierung von ML-Algorithmen für Spark

Apache Calcite

Apache Ignite

Stream Framework ist eine Python-Bibliothek, mit der Sie Newsfeeds, Activity Streams und Benachrichtigungssysteme unter Verwendung von Cassandra und/oder Redis erstellen können. Die Autoren von Stream-Framework bieten zudem einen Cloud-Dienst für Feed-Technologie an:

⚡️ Eine Vue-Komponente, die große Datenlisten mit hoher Renderleistung und Effizienz unterstützt.

Große Mengen von Bild-URLs einfach in einen Bilddatensatz umwandeln. Kann 100 Millionen URLs auf einer Maschine in 20 Stunden herunterladen, skalieren und verpacken.

CrateDB ist eine verteilte und skalierbare SQL-Datenbank zum Speichern und Analysieren riesiger Datenmengen in nahezu Echtzeit, selbst bei komplexen Abfragen. Sie ist PostgreSQL-kompatibel und basiert auf Lucene.

🚄 FASTJSON2 ist eine Java-JSON-Bibliothek mit hervorragender Leistung.

Data-Science-Roadmap von A bis Z

🔨 🍇 💻 🚀 GraphScope: Ein All-in-One-System für groß angelegte Graphenberechnungen von Alibaba

Erweiterbarer SQL-Lexer und -Parser für Rust

Apache Paimon ist ein Lake-Format, das den Aufbau einer Realtime-Lakehouse-Architektur mit Flink und Spark sowohl für Streaming- als auch für Batch-Operationen ermöglicht.

Koalas: pandas API auf Apache Spark

Drop-in-Ersatz für Apache Spark, geschrieben in Rust, der Batch-Verarbeitung, Stream-Verarbeitung und rechenintensive KI-Workloads vereint.

Eine Graphdatenbank, die über 100 Milliarden Daten unterstützt, mit hoher Leistung und Skalierbarkeit (inklusive OLTP-Engine, REST-API und Backends).

Eine benutzerfreundliche, Self-Service-Open-BI-Berichts- und BI-Dashboard-Plattform.

Open-Source-Web-UI zur Verwaltung von Apache Kafka-Clustern

ArcticDB ist eine hochleistungsfähige, serverlose DataFrame-Datenbank, die für das Python Data Science-Ökosystem entwickelt wurde.

Open-Source-BI für Ingenieure

Apache Ambari vereinfacht die Bereitstellung, Verwaltung und Überwachung von Apache Hadoop-Clustern.

YTsaurus ist eine skalierbare und fehlertolerante Open-Source-Big-Data-Plattform.

Apache Fluss ist ein für Echtzeitanalysen entwickelter Streaming-Speicher.

Apache DataFusion Ballista Distributed Query Engine

Apache Drill ist eine verteilte MPP-Abfrageschicht für selbstdokumentierende Daten

Apache BookKeeper – ein skalierbarer, fehlertoleranter und latenzarmer Speicherdienst, der für Workloads mit reinen Anhängeoperationen optimiert ist.

Fluide, elastische Datenabstraktion und -beschleunigung für BigData/KI-Anwendungen in der Cloud. (Projekt unter CNCF)

Spiegelung von Apache Kudu

🚀 Über 500 kuratierte Ressourcen für Datenanalyse & Data Science: Python, SQL, Statistik, ML, AI, Visualisierung, Cheatsheets, Roadmaps, Interviewvorbereitung. Für Anfänger und Experten.

Der Auron-Beschleuniger für Frameworks für verteiltes Computing (z. B. Spark) nutzt native vektorisierte Ausführung zur Beschleunigung der Abfrageverarbeitung