data-integration

Apache Airflow – Eine Plattform zum programmgesteuerten Autorisieren, Planen und Überwachen von Workflows

Open-Source-Datentransfer für ELT-Pipelines und KI-Agenten – von APIs, Datenbanken und Dateien bis hin zu Warehouses, Lakes und KI-Anwendungen. Sowohl selbst gehostet als auch in der Cloud.

Verwandelt Daten und KI-Algorithmen im Handumdrehen in produktionsreife Webanwendungen.

Eine Orchestrierungsplattform für die Entwicklung, Produktion und Beobachtung von Daten-Assets.

SeaTunnel ist ein multimodales, leistungsstarkes, verteiltes Tool zur Integration großer Datenmengen.

🧙 Datenpelines für die Integration und Transformation von Daten erstellen, ausführen und verwalten.

Datenpipelines für Cloud-Konfiguration und Sicherheitsdaten. Erstellen Sie Lösungen für Cloud-Asset-Inventar, CSPM, FinOps und Schwachstellenmanagement. Extrahieren Sie Daten aus AWS, Azure, GCP und über 70 Cloud- und SaaS-Quellen.

Flink CDC ist ein Tool zur Streaming-Datenintegration.

Upserts, Deletes und inkrementelle Verarbeitung bei Big Data.

🦀 Event-Stream-Verarbeitung für Entwickler zum Sammeln und Transformieren von Daten in Bewegung, um reaktionsschnelle, datenintensive Anwendungen zu betreiben.

Jitsu ist eine Open-Source-Alternative zu Segment. Vollständig skriptfähige Daten-Ingestion-Engine für moderne Datenteams. Richten Sie in Minuten statt Tagen eine Echtzeit-Datenpipeline ein.

Wo Datenzugriff auf Operational Intelligence trifft

Datenschutz- und sicherheitsfokussierte Segment-Alternative in Golang und React

Ein Datenintegrations-Framework

ingestr ist ein CLI-Tool, um Daten nahtlos mit einem einzigen Befehl zwischen beliebigen Datenbanken zu kopieren.

Von der Community kuratierte Liste von Softwarepaketen und Datenressourcen für Einzelzellen, einschließlich RNA-seq, ATAC-seq usw.

Apache DevLake ist eine Open-Source-Entwicklerdatenplattform zum Erfassen, Analysieren und Visualisieren fragmentierter Daten aus DevOps-Tools, um Einblicke für Engineering Excellence, Developer Experience und Community-Wachstum zu gewinnen.

superglue (YC W25) erstellt Integrationen und Tools aus natürlicher Sprache. Erhalten Sie produktionstaugliche Tools für Nischen- und Unternehmenssysteme.

Hop Orchestration Platform

Ein schnelles und vielseitiges ETL-Tool, das Daten nahtlos zwischen RDBMS und NoSQL übertragen kann

Open-Source-ETL/ELT, das Sie auf Ihren eigenen Servern oder in der Cloud bereitstellen. Basiert auf DuckDB: No-Code/Low-Code visuelle Pipelines oder SQL, 385 Komponenten, dbt, CDC, Datenqualität, Reverse ETL, Lineage, MCP für AI-Agenten. Keine Anbieter-Cloud, keine Abrechnung pro Zeile.

Aufschlussreiche Tutorials und Arbeiten über Knowledge Graphs

🌊 Synchronisieren Sie kontinuierlich die Systeme, in denen sich Ihre Daten befinden, mit den Systemen, in denen Sie sie haben möchten, indem Sie Ihre Datenströme mit Estuary verwalten. 🌊

SeaTunnel ist eine verteilte, leistungsstarke Datenintegrationsplattform für die Synchronisation und Transformation massiver Daten (Offline und Echtzeit).

Kontinuierlich aktualisierte Liste von Arbeiten zu Fortschritten bei Data Agents. Begleitrepo zu unserem Paper „A Survey of Data Agents: Emerging Paradigm or Overstated Hype?“

NicheNet: Vorhersage aktiver Ligand-Ziel-Verbindungen zwischen interagierenden Zellen

Schnelle, sensitive und genaue Integration von Einzelzelldaten mit Harmony

Conduit streamt Daten zwischen Datenspeichern. Ersatz für Kafka Connect. Keine JVM erforderlich.

Eine kuratierte Liste von Open-Source-Tools für Analyseplattformen und Data-Engineering-Ökosysteme

Zusammenstellung von Ressourcen zu Apache Hudi.