etl

Python‑ETL‑Framework für Stream‑Processing, Echtzeit‑Analyse, LLM‑Pipelines und RAG.

Apache Airflow – Eine Plattform zum programmgesteuerten Autorisieren, Planen und Überwachen von Workflows

Ereignisgesteuerte Orchestrierungs- und Planungsplattform für kritische Anwendungen

Eine hochleistungsfähige Beobachtbarkeits-Datenpipeline.

Open-Source-Datentransfer für ELT-Pipelines und KI-Agenten – von APIs, Datenbanken und Dateien bis hin zu Warehouses, Lakes und KI-Anwendungen. Sowohl selbst gehostet als auch in der Cloud.

Eine Orchestrierungsplattform für die Entwicklung, Produktion und Beobachtung von Daten-Assets.

Inkrementelle Engine für Agenten mit langfristigem Horizont 🌟 Stern geben, wenn es Ihnen gefällt!

🧙 Datenpelines für die Integration und Transformation von Daten erstellen, ausführen und verwalten.

Komplexes Stream-Processing betrieblich unkompliziert gemacht

Zero-ETL, unendliche Möglichkeiten. Live-Abfrage-APIs, Code und mehr mit SQL. Keine Datenbank erforderlich.

Datenpipelines für Cloud-Konfiguration und Sicherheitsdaten. Erstellen Sie Lösungen für Cloud-Asset-Inventar, CSPM, FinOps und Schwachstellenmanagement. Extrahieren Sie Daten aus AWS, Azure, GCP und über 70 Cloud- und SaaS-Quellen.

Flink CDC ist ein Tool zur Streaming-Datenintegration.

Hochleistungs-Daten-Engine für KI- und multimodale Workloads. Verarbeitet Bilder, Audio, Video und strukturierte Daten in beliebigem Maßstab.

Datenschutz- und sicherheitsfokussierte Segment-Alternative in Golang und React

pandas auf AWS – Einfache Integration mit Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer und S3 (Parquet, CSV, JSON und EXCEL).

Ein System für agentenbasierte, LLM-gestützte Datenverarbeitung und ETL.

Maestro: Der Workflow-Orchestrator von Netflix

Eine kuratierte Liste von Ressourcen über knotenbasierte Benutzeroberflächen

Eine kuratierte Liste großartiger ETL-Frameworks, -Bibliotheken und -Software.

Skalierbares und effizientes Datentransformations-Framework – abwärtskompatibel mit dbt.

Schnelles, einfaches und kosteneffizientes Tool zur Datenreplikation von Postgres in Data Warehouses, Queues und Storage

Python-Skripte für ETL-Jobs (Extract, Transform and Load) für Ethereum-Blöcke, Transaktionen, ERC20- / ERC721-Token, Transfers, Belege, Logs, Verträge und interne Transaktionen. Die Daten sind in Google BigQuery verfügbar: https://goo.gl/oY5BCQ

Apache DevLake ist eine Open-Source-Entwicklerdatenplattform zum Erfassen, Analysieren und Visualisieren fragmentierter Daten aus DevOps-Tools, um Einblicke für Engineering Excellence, Developer Experience und Community-Wachstum zu gewinnen.

Apache Hamilton hilft Data Scientists und Engineers dabei, testbare, modulare und selbstdokumentierende Datenflüsse zu definieren, die Abstammung (Lineage/Tracing) und Metadaten kodieren. Läuft und skaliert überall dort, wo Python läuft.

🔮 Instill Core ist ein Full-Stack-KI-Infrastrukturtool für die Daten-, Modell- und Pipeline-Orchestrierung, entwickelt, um jeden Aspekt der Erstellung vielseitiger KI-gestützter Anwendungen zu optimieren

Aktiv kuratierte Liste fantastischer BI-Tools. PRs willkommen!

Die schnellste vereinheitlichte Streaming-SQL-Engine in einem einzigen C++-Binärprogramm. ⚡ Millisekunden-Latenz. 100+ GB/s Durchsatz. Kontinuierliche Berechnung von Echtzeitkontext aus Streams, Protokollen, Metriken, Ereignissen und CDC.

Eine leichtgewichtige Stream-Processing-Bibliothek für Go

Der beste Ort, um Data Engineering zu lernen. Erstellt und gepflegt von der Data-Engineering-Community.

Datenverarbeitungs- und ETL-Framework für Ruby