data-pipeline

Open-Source-Datentransfer für ELT-Pipelines und KI-Agenten – von APIs, Datenbanken und Dateien bis hin zu Warehouses, Lakes und KI-Anwendungen. Sowohl selbst gehostet als auch in der Cloud.

Stärkung der Datenintelligenz durch verteiltes SQL für Sharding, Skalierbarkeit und Sicherheit über alle Datenbanken hinweg.

Change Data Capture für verschiedene Datenbanken. Bitte melden Sie Probleme unter https://github.com/debezium/dbz/issues.

Hochleistungs-KI-Pipeline-Engine mit einem C++-Kern und über 50 per Python erweiterbaren Nodes. Erstellen, debuggen und skalieren Sie LLM-Workflows mit über 13 Modellanbietern, über 8 Vektordatenbanken und Agenten-Orchestrierung, alles direkt aus Ihrer IDE. Inklusive VS Code-Erweiterung, TypeScript/Python-SDKs und Docker-Deployment.

Der Marktführer für Customer Data Infrastructure

Datenverarbeitung für und mit Foundation Models! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

Flink CDC ist ein Tool zur Streaming-Datenintegration.

Wo Datenzugriff auf Operational Intelligence trifft

Datenschutz- und sicherheitsfokussierte Segment-Alternative in Golang und React

Eine Liste nützlicher Ressourcen, um Data Engineering von Grund auf zu lernen.

ingestr ist ein CLI-Tool, um Daten nahtlos mit einem einzigen Befehl zwischen beliebigen Datenbanken zu kopieren.

Selbst gehosteter Workflow-Orchestrator für Teams, deren Hauptarbeit nicht aus Orchestrierung besteht. Deklaratives YAML für Skripte, SSH-Befehle, Container usw.; trennt Workflows von der Geschäftslogik. Eine Binärdatei, keine Datenbank, läuft auf ressourcenbeschränkter Hardware. Alternative zu Airflow / Cron / Job-Scheduler.

Memphis.dev ist eine hochskalierbare und mühelose Data-Streaming-Plattform

Open-Source-Inferenzserver und Produktionscluster für alle Modelle, die Ihr Agent benötigt.

Eine Open-Source-Datenprotokollierungsbibliothek für Modelle des maschinellen Lernens und Daten-Pipelines. 📚 Bietet Einblick in Datenqualität und Modellleistung im Zeitverlauf. 🛡️ Unterstützt datenschutzfreundliche Datenerfassung für Sicherheit und Robustheit. 📈

Die dbt-native Daten-Observability-Lösung für Data- und Analytics-Engineers. Überwachen Sie Ihre Daten-Pipelines in wenigen Minuten. Als Self-Hosted- oder Cloud-Service mit Premium-Funktionen verfügbar.

Eine leichtgewichtige Stream-Processing-Bibliothek für Go

CLI-Aufgabenverwaltungs- und Automatisierungstool

🔥🔥🔥 Open-Source-Reverse-ETL – Alternative zu Hightouch und Census.

OLake – Die schnellste Replikation von Datenbanken, Kafka und S3 zu Apache Iceberg mit Tabellenoptimierung (genannt OLake Fusion). Effiziente, schnelle und skalierbare Datenaufnahme für Echtzeitanalysen. Unterstützte Quellen: Postgres, MongoDB, MySQL, Oracle, MSSql, DB2, Kafka, S3.

Quellcode zum Buch: Data Science on the Google Cloud Platform, Valliappa Lakshmanan, O'Reilly 2017

Open-Source-ETL/ELT, das Sie auf Ihren eigenen Servern oder in der Cloud bereitstellen. Basiert auf DuckDB: No-Code/Low-Code visuelle Pipelines oder SQL, 385 Komponenten, dbt, CDC, Datenqualität, Reverse ETL, Lineage, MCP für AI-Agenten. Keine Anbieter-Cloud, keine Abrechnung pro Zeile.

zerocode-tdd ist ein von der Community entwickeltes, kostenloses, Open-Source-basiertes und ergebnisorientiertes automatisiertes Testen für Datenpipelines, ETL, REST-APIs, Kafka (Datenströme), Datenbanken und Lastszenarien – alles definiert in einfachem JSON oder YAML – ganz ohne Programmierung.

🌊 Synchronisieren Sie kontinuierlich die Systeme, in denen sich Ihre Daten befinden, mit den Systemen, in denen Sie sie haben möchten, indem Sie Ihre Datenströme mit Estuary verwalten. 🌊

SeaTunnel ist eine verteilte, leistungsstarke Datenintegrationsplattform für die Synchronisation und Transformation massiver Daten (Offline und Echtzeit).

Intelligentere Datenpipelines für Audio.

Pythonisches Tool zur Orchestrierung von Workflows für maschinelles Lernen, High-Performance-Computing und Quantencomputing in heterogenen Rechenumgebungen.

Praktische Data Engineering: Ein praxisorientierter Immobilienprojekt-Leitfaden

Conduit streamt Daten zwischen Datenspeichern. Ersatz für Kafka Connect. Keine JVM erforderlich.

Eine kuratierte Liste von Open-Source-Tools für Analyseplattformen und Data-Engineering-Ökosysteme