elt

Apache Airflow – Eine Plattform zum programmgesteuerten Autorisieren, Planen und Überwachen von Workflows

Open-Source-Datentransfer für ELT-Pipelines und KI-Agenten – von APIs, Datenbanken und Dateien bis hin zu Warehouses, Lakes und KI-Anwendungen. Sowohl selbst gehostet als auch in der Cloud.

dbt ermöglicht Datenanalysten und -ingenieuren, ihre Daten mit denselben Methoden zu transformieren, die Softwareentwickler zum Erstellen von Anwendungen nutzen.

SeaTunnel ist ein multimodales, leistungsstarkes, verteiltes Tool zur Integration großer Datenmengen.

🧙 Datenpelines für die Integration und Transformation von Daten erstellen, ausführen und verwalten.

Datenpipelines für Cloud-Konfiguration und Sicherheitsdaten. Erstellen Sie Lösungen für Cloud-Asset-Inventar, CSPM, FinOps und Schwachstellenmanagement. Extrahieren Sie Daten aus AWS, Azure, GCP und über 70 Cloud- und SaaS-Quellen.

Flink CDC ist ein Tool zur Streaming-Datenintegration.

data load tool (dlt) ist eine Open-Source-Python-Bibliothek, die das Laden von Daten vereinfacht 🛠️

Datenschutz- und sicherheitsfokussierte Segment-Alternative in Golang und React

Ein System für agentenbasierte, LLM-gestützte Datenverarbeitung und ETL.

Maestro: Der Workflow-Orchestrator von Netflix

Skalierbares und effizientes Datentransformations-Framework – abwärtskompatibel mit dbt.

Meltano: Die deklarative, codebasierte Datenintegrations-Engine für Ihre kühnsten Daten- und ML-gestützten Produktideen. Verabschieden Sie sich vom Schreiben, Warten und Skalieren eigener API-Integrationen.

Open-Source-BI für Ingenieure

OLake – Die schnellste Replikation von Datenbanken, Kafka und S3 zu Apache Iceberg mit Tabellenoptimierung (genannt OLake Fusion). Effiziente, schnelle und skalierbare Datenaufnahme für Echtzeitanalysen. Unterstützte Quellen: Postgres, MongoDB, MySQL, Oracle, MSSql, DB2, Kafka, S3.

Open-Source-ETL/ELT, das Sie auf Ihren eigenen Servern oder in der Cloud bereitstellen. Basiert auf DuckDB: No-Code/Low-Code visuelle Pipelines oder SQL, 385 Komponenten, dbt, CDC, Datenqualität, Reverse ETL, Lineage, MCP für AI-Agenten. Keine Anbieter-Cloud, keine Abrechnung pro Zeile.

🌊 Synchronisieren Sie kontinuierlich die Systeme, in denen sich Ihre Daten befinden, mit den Systemen, in denen Sie sie haben möchten, indem Sie Ihre Datenströme mit Estuary verwalten. 🌊

Sling ist ein CLI-Tool, das Daten aus einem Quell-Speicher/-Datenbank extrahiert und in einen Ziel-Speicher/-Datenbank lädt.

Optimus ist ein benutzerfreundlicher, zuverlässiger und leistungsstarker Workflow-Orchestrator für Datentransformation, Datenmodellierung, Pipelines und Datenqualitätsmanagement.

dbt + Metabase Integration

Ein kostenlos nutzbares dbt-Paket zum Erstellen und Laden von Data Vault 2.0-konformen Data Warehouses (unterstützt durch dbt, ein Open-Source-Daten-Engineering-Tool, eingetragene Marke von dbt Labs)