data-pipelines

Python‑ETL‑Framework für Stream‑Processing, Echtzeit‑Analyse, LLM‑Pipelines und RAG.

Apache Airflow – Eine Plattform zum programmgesteuerten Autorisieren, Planen und Überwachen von Workflows

Eine Orchestrierungsplattform für die Entwicklung, Produktion und Beobachtung von Daten-Assets.

Konvertieren Sie Dokumente mühelos in strukturierte Daten. Unstructured ist eine Open-Source-ETL-Lösung zur Umwandlung komplexer Dokumente in saubere, strukturierte Formate für Sprachmodelle.

Apache DolphinScheduler ist die moderne Datenorchestrierungsplattform. Agil beim Erstellen von Hochleistungs-Workflows mit Low-Code

Kedro ist eine Toolchain für produktionsreife Data Science. Es nutzt bewährte Softwareentwicklungspraktiken, um reproduzierbare, wartbare und modulare Data-Engineering- und Data-Science-Pipelines zu erstellen.

🧙 Datenpelines für die Integration und Transformation von Daten erstellen, ausführen und verwalten.

Einfache Datenaufbereitung mit neuesten LLM-basierten Operatoren und Pipelines.

🦀 Event-Stream-Verarbeitung für Entwickler zum Sammeln und Transformieren von Daten in Bewegung, um reaktionsschnelle, datenintensive Anwendungen zu betreiben.

Preswald ist ein WASM-Packer für Python-basierte interaktive Datenanwendungen: Bündelt komplexe Daten-Workflows, insbesondere Visualisierungen, in einzelnen Dateien, die dank Pyodide, DuckDB, Pandas, Plotly, Matplotlib etc. vollständig im Browser ausgeführt werden können. Erstellen Sie Dashboards, Berichte und Notebooks, die offline laufen, schnell laden und wie ein Dokument geteilt werden können.

Ein System für agentenbasierte, LLM-gestützte Datenverarbeitung und ETL.

Maestro: Der Workflow-Orchestrator von Netflix

Meltano: Die deklarative, codebasierte Datenintegrations-Engine für Ihre kühnsten Daten- und ML-gestützten Produktideen. Verabschieden Sie sich vom Schreiben, Warten und Skalieren eigener API-Integrationen.

Die dbt-native Daten-Observability-Lösung für Data- und Analytics-Engineers. Überwachen Sie Ihre Daten-Pipelines in wenigen Minuten. Als Self-Hosted- oder Cloud-Service mit Premium-Funktionen verfügbar.

Die Feldera Incremental Computation Engine

Der beste Ort, um Data Engineering zu lernen. Erstellt und gepflegt von der Data-Engineering-Community.

Schnelle und effiziente Extraktion unstrukturierter Daten. Geschrieben in Rust mit Bindings für viele Sprachen.

Daten-Pipelines mit SQL und Python erstellen, Daten aus verschiedenen Quellen einlesen, Qualitätsprüfungen hinzufügen und End-to-End-Abläufe aufbauen.

MLeap: ML-Pipelines in die Produktion überführen

Nebenläufiges Python leicht gemacht

Die erste Open-Source-Plattform zur Datenerkennung und -beobachtbarkeit. Wir erleichtern Datenexperten das Leben, damit Sie sich auf Ihr Geschäft konzentrieren können.

Eine umfassende Python-Paketvorlage zum Starten und Standardisieren Ihrer MLOps-Initiativen und Daten-Pipelines.

visuelle Datenaufbereitung, angetrieben durch Python

Optimus ist ein benutzerfreundlicher, zuverlässiger und leistungsstarker Workflow-Orchestrator für Datentransformation, Datenmodellierung, Pipelines und Datenqualitätsmanagement.

Dieses dbt-Paket erfasst Metadaten, Artefakte und Testergebnisse zur Anomalieerkennung, Überwachung der Datenqualität und Erstellung von Metadatentabellen. Es bildet die Basis für Elementary OSS und speist die umfassendere Kontextschicht der Data & AI Control Plane von Elementary Cloud.