data-engineering

Saubere APIs für die Datenbereinigung. Python-Implementierung des R-Pakets Janitor

Quellcode zum Buch: Data Science on the Google Cloud Platform, Valliappa Lakshmanan, O'Reilly 2017

Die erste Open-Source-Plattform zur Datenerkennung und -beobachtbarkeit. Wir erleichtern Datenexperten das Leben, damit Sie sich auf Ihr Geschäft konzentrieren können.

Eine umfassende Python-Paketvorlage zum Starten und Standardisieren Ihrer MLOps-Initiativen und Daten-Pipelines.

Eine kuratierte Sammlung von über 300 technischen Blogartikeln von Top-Tech-Unternehmen. Erfahren Sie, wie die besten Engineering-Teams reale Probleme im großen Maßstab lösen.

Der umfassendste SQL-Leitfaden von einem Experten aus der Praxis! Lernen Sie alles von den Grundlagen bis zu fortgeschrittenen Abfragen, Optimierungen und echtem SQL.

Quilt ist eine Scientific-Data-Management-Plattform auf AWS, die Teams und KI dabei unterstützt, Daten durch tief versionierte, kontextreiche Datenpakete zu finden, zu vertrauen und wiederzuverwenden.

Open-Source-ETL/ELT, das Sie auf Ihren eigenen Servern oder in der Cloud bereitstellen. Basiert auf DuckDB: No-Code/Low-Code visuelle Pipelines oder SQL, 385 Komponenten, dbt, CDC, Datenqualität, Reverse ETL, Lineage, MCP für AI-Agenten. Keine Anbieter-Cloud, keine Abrechnung pro Zeile.

Eine kuratierte, aber unvollständige Liste datenzentrierter KI-Ressourcen.

Ein Wissenszentrum für Data Engineering & Machine Learning

Heimat des Open Data Contract Standard (ODCS).

📙 Awesome Data Catalogs und Observability Platforms.

Datenverträge durchsetzen

🌊 Synchronisieren Sie kontinuierlich die Systeme, in denen sich Ihre Daten befinden, mit den Systemen, in denen Sie sie haben möchten, indem Sie Ihre Datenströme mit Estuary verwalten. 🌊

FlyFish ist eine Datenvisualisierungs-Programmierplattform. Wir können auf einfache Weise schnell ein Datenmodell erstellen und durch Ziehen schnell eine Reihe von Datenvisualisierungslösungen generieren.

Ein umfassender Leitfaden zum Erstellen eines modernen Data Warehouse mit SQL Server, einschließlich ETL-Prozessen, Datenmodellierung und Analysen.

Egeria Core

Ein weiteres Repository mit grundlegenden Konzepten, technischen Herausforderungen und Ressourcen zum Thema Data Engineering auf Spanisch 🧙✨

Community-getriebenes, einfaches und dennoch leistungsstarkes Framework für schnelle, kostengünstige verteilte Compute-over-Data.

Neum AI ist ein erstklassiges Framework zur Verwaltung der Erstellung und Synchronisierung von Vektor-Embeddings im großen Maßstab.

Ergänzende Materialien für den Udemy-Kurs „The Complete dbt (Data Build Tool) Bootcamp“

Praktische Data Engineering: Ein praxisorientierter Immobilienprojekt-Leitfaden

Python-Framework zum Erstellen effizienter Datenpipiilines. Es fördert Modularität und Zusammenarbeit und ermöglicht die Erstellung komplexer Pipelines aus einfachen, wiederverwendbaren Komponenten.

Open-Source-Agenten-Framework für Data Engineering für dbt, SQL und Cloud-Dateisysteme. Über 100 Tools, 10 Data Warehouses, KI-gestützt.

Lernen Sie Ihre Daten besser kennen! Datavines ist eine Data-Observability-Plattform der nächsten Generation mit Unterstützung für Metadatenmanagement und Datenqualität.

BigQuery mit BigFunctions optimieren

Sammlung prominenter Praxisbeispiele gescheiterter Machine-Learning-Projekte

VectorFlow ist eine hochvolumige Vektor-Embedding-Pipeline, die Rohdaten aufnimmt, in Vektoren umwandelt und in eine Vektordatenbank Ihrer Wahl schreibt.

Eine datengesteuerte Engine für Datenintegration, -synchronisation, -austausch, -freigabe, Task-Konfiguration und -Scheduling. Nutzt Architektur mit getrennter Steuerung und Ausführung, mehrere Streaming-Ebenen und Plugin-Bibliotheken zur Bewältigung großer Datenmengen, hoher Berichterstattungsraten, häufiger Erfassung und heterogener Kompatibilität.

Synmetrix – produktionsbereite Open-Source-Semantikschicht auf Cube