bigdata

Dies ist ein Repo mit Links zu allem, was du je über Data Engineering lernen möchtest.

🚀 2,3‑mal schneller als MinIO für 4 KB‑Objekt‑Payloads. RustFS ist ein Open‑Source‑, S3‑kompatibles Hochleistungs‑Objekt‑Speichersystem, das Migration und Koexistenz mit anderen S3‑kompatiblen Plattformen wie MinIO und Ceph unterstützt.

Hochleistungs-, skalierbare Zeitreihendatenbank, die für Industrial IoT (IIoT) Szenarien entwickelt wurde.

Stärkung der Datenintelligenz durch verteiltes SQL für Sharding, Skalierbarkeit und Sicherheit über alle Datenbanken hinweg.

Einführungsleitfaden für Big Data :star:

Eine kuratierte Liste fantastischer Big-Data-Frameworks, Ressourcen und anderer großartiger Dinge.

JuiceFS ist ein verteiltes POSIX-Dateisystem, das auf Redis und S3 aufbaut.

Data Agent Ready Warehouse: Eins für Analytics, Search, AI, Python Sandbox – von Grund auf neu entwickelt. Einheitliche Architektur auf Ihrem S3.

Out-of-Core Hybrid Apache Arrow/NumPy DataFrame für Python, ML, Visualisierung und die Erkundung großer tabellarischer Daten mit einer Milliarde Zeilen pro Sekunde 🚀

Upserts, Deletes und inkrementelle Verarbeitung bei Big Data.

Ein Cloud-Native-Batch-System (Projekt unter der CNCF).

Über 100 HTML5-Vorlagen für beeindruckende Big-Data-Visualisierungs-Dashboards

Ein Datenintegrations-Framework

🔨 Generieren Sie strukturierte SQL-Anweisungen mit JSON, implementiert mit Vue3 + TypeScript + Vite + Ant Design + MonacoEditor. Ein einfaches Projekt (logiklastig, seitenleicht), ideal zum Üben~

Apache Avro ist ein Datenserialisierungssystem.

Big-Data-Lernen, von Grund auf Big Data lernen, einschließlich Lernvideos und Interviewmaterialien für alle Phasen

GridDB ist eine Open-Source-Datenbank der nächsten Generation, die Zeitreihen-, IoT- und Big-Data-Anwendungen schnell und einfach macht.

Aix-DB basiert auf dem LangChain/LangGraph-Framework und kombiniert die MCP Skills Multi-Agenten-Kollaborationsarchitektur, um eine End-to-End-Konvertierung von natürlicher Sprache zu Dateneinblicken zu ermöglichen.

.NET for Apache® Spark™ macht Apache Spark™ für .NET-Entwickler einfach zugänglich.

Basierend auf Open-Source-Flink, Erweiterung von dessen Echtzeit-SQL; implementiert hauptsächlich den Join zwischen Streams und Dimensionstabellen und unterstützt die gesamte native Flink-SQL-Syntax

Byzer (ehemals MLSQL): Eine Low-Code-Open-Source-Programmiersprache für Daten-Pipelines, Analytics und KI.

Das Big-Data-Wissensdepot umfasst Data-Warehouse-Modellierung, Echtzeitberechnung, Big Data, Data Middle Platform, Systemdesign, Java, Algorithmen und mehr.

Verteilter Big-Data-Orchestrierungsdienst

Multiprozess-Bild-Webcrawler für Google und Naver (Selenium)

Apache Spark & Python (pySpark) Tutorials für Big-Data-Analyse und Machine Learning als IPython / Jupyter Notebooks

Agile Datenaufbereitungs-Workflows, einfach gemacht mit Pandas, Dask, cuDF, Dask-cuDF, Vaex und PySpark

Die erste Open-Source-Plattform zur Datenerkennung und -beobachtbarkeit. Wir erleichtern Datenexperten das Leben, damit Sie sich auf Ihr Geschäft konzentrieren können.

Apache Celeborn ist ein elastischer und hochleistungsfähiger Dienst für Shuffle- und ausgelagerte Daten.

Datensynchronisation in Golang für ClickHouse.

Apache Livy ist eine Open-Source-REST-Schnittstelle zur Interaktion mit Apache Spark von überall aus.