etl

Schnelle und effiziente Extraktion unstrukturierter Daten. Geschrieben in Rust mit Bindings für viele Sprachen.

🔥🔥🔥 Open-Source-Reverse-ETL – Alternative zu Hightouch und Census.

Datenbank-Reporting-Tool und -Aufgaben (.Net)

Eine Python-Stream-Verarbeitungsengine nach dem Vorbild von Yahoo! Pipes

Dozer ist ein Echtzeit-Datentransfer-Tool, das CDC aus verschiedenen Quellen nutzt und Daten in verschiedene Sinks überträgt.

Die offene Dokumenten-Intelligenz-Plattform für Entwickler und Hacker – DMS für die Welt der Agenten

Hop Orchestration Platform

Ein schnelles und vielseitiges ETL-Tool, das Daten nahtlos zwischen RDBMS und NoSQL übertragen kann

Synchronisierung von Postgres, MySQL oder MariaDB zu Elasticsearch/OpenSearch

visuelle Datenaufbereitung, angetrieben durch Python

Unterstützung für agile Ontology DataOps basierend auf Flink, DataX und Flink-CDC mit Web-UI

Dieses Repository ist ein Leitfaden für den Einstieg in Singer.

TypeScript-ETL-Toolkit zur Indizierung von Ethereum-, Solana- und Substrate-Daten aus dem SQD Network.

Ein Go-Daemon, der MongoDB in Echtzeit mit Elasticsearch synchronisiert. Sie wissen schon, für die Suche.

Open-Source-ETL/ELT, das Sie auf Ihren eigenen Servern oder in der Cloud bereitstellen. Basiert auf DuckDB: No-Code/Low-Code visuelle Pipelines oder SQL, 385 Komponenten, dbt, CDC, Datenqualität, Reverse ETL, Lineage, MCP für AI-Agenten. Keine Anbieter-Cloud, keine Abrechnung pro Zeile.

Logische Replikationserweiterung für PostgreSQL 17, 16, 15, 14, 13, 12, 11, 10, 9.6, 9.5, 9.4 (Postgres), die eine viel schnellere Replikation als Slony, Bucardo oder Londiste sowie versionsübergreifende Upgrades ermöglicht.

React-Komponenten zum dynamischen Erstellen von CSV-Dateien basierend auf Daten-Arrays oder Literal-Objekten

omniparser: eine native Golang-ETL-Streaming-Parser- und Transformationsbibliothek für CSV, JSON, XML, EDI, Text usw.

🌊 Synchronisieren Sie kontinuierlich die Systeme, in denen sich Ihre Daten befinden, mit den Systemen, in denen Sie sie haben möchten, indem Sie Ihre Datenströme mit Estuary verwalten. 🌊

Ein umfassender Leitfaden zum Erstellen eines modernen Data Warehouse mit SQL Server, einschließlich ETL-Prozessen, Datenmodellierung und Analysen.

Sling ist ein CLI-Tool, das Daten aus einem Quell-Speicher/-Datenbank extrahiert und in einen Ziel-Speicher/-Datenbank lädt.

Neum AI ist ein erstklassiges Framework zur Verwaltung der Erstellung und Synchronisierung von Vektor-Embeddings im großen Maßstab.

ETL-Framework für .NET (Parser/Writer für CSV-, Flat-, Xml-, JSON-, Key-Value-, Parquet-, Yaml- und Avro-formatierte Dateien)

Workflow-Automatisierungs-Engine

Massenhafte Datenverarbeitung mit einem vollständigen ETL für .NET-Entwickler

Optimus ist ein benutzerfreundlicher, zuverlässiger und leistungsstarker Workflow-Orchestrator für Datentransformation, Datenmodellierung, Pipelines und Datenqualitätsmanagement.

Dienstprogramm, das eine .etl-Datei mit einer Windows-Netzwerkerfassung in das .pcapng-Format konvertiert.

Geodaten im Web transformieren, abfragen und herunterladen.

📄 ⚙️ ETL-Prozesse für medizinische und wissenschaftliche Arbeiten

Python-Client und Toolkit für DataFrames, Big Data, Machine Learning und ETL in Elasticsearch