data-pipelines

Framework ETL Python pour le traitement de flux, l'analyse en temps réel, les pipelines LLM et le RAG.

Apache Airflow - Une plateforme pour créer, planifier et surveiller des flux de travail par programmation

Une plateforme d'orchestration pour le développement, la production et l'observation d'actifs de données.

Convertissez facilement des documents en données structurées. Unstructured est une solution ETL open-source pour transformer des documents complexes en formats structurés et propres pour les modèles de langage.

Apache DolphinScheduler est la plateforme moderne d'orchestration de données. Agile pour créer des flux de travail haute performance avec du low-code

Kedro est une boîte à outils pour la science des données en production. Il utilise les meilleures pratiques d'ingénierie logicielle pour créer des pipelines de données reproductibles, maintenables et modulaires.

Construisez, exécutez et gérez des pipelines de données pour l'intégration et la transformation de données.

Préparation de données simplifiée grâce aux derniers opérateurs et pipelines basés sur les LLM.

🦀 Traitement de flux d'événements pour collecter et transformer des données en mouvement afin d'alimenter des applications réactives intensives en données.

Preswald est un packager WASM pour les applications de données interactives basées sur Python : il permet de regrouper des flux de travail complexes, notamment des visualisations, dans des fichiers uniques exécutables entièrement dans le navigateur, en utilisant Pyodide, DuckDB, Pandas, Plotly, Matplotlib, etc. Créez des tableaux de bord, des rapports et des notebooks qui fonctionnent hors ligne, se chargent rapidement et se partagent comme un document.

Système de traitement de données et ETL piloté par des agents LLM

Maestro : l'orchestrateur de workflow de Netflix

Meltano : le moteur d'intégration de données déclaratif axé sur le code qui propulse vos idées de produits basées sur les données et le ML. Dites adieu à l'écriture, à la maintenance et à la mise à l'échelle de vos propres intégrations d'API.

La solution d'observabilité des données native dbt pour les ingénieurs data et analytiques. Surveillez vos pipelines de données en quelques minutes. Disponible en auto-hébergé ou en service cloud avec des fonctionnalités premium.

Moteur de calcul incrémental Feldera

La meilleure plateforme pour apprendre l'ingénierie des données. Construite et maintenue par la communauté d'ingénierie des données.

Extraction de données non structurées rapide et efficace. Écrit en Rust avec des bindings pour de nombreux langages.

Construisez des pipelines de données avec SQL et Python, ingérez des données provenant de diverses sources, ajoutez des contrôles de qualité et créez des flux de bout en bout.

MLeap : déploiement de pipelines de machine learning en production

La programmation concurrente en Python simplifiée

Première plateforme open source de découverte et d'observabilité des données. Nous simplifions la vie des praticiens de la donnée pour que vous puissiez vous concentrer sur votre activité.

Un modèle de package Python complet pour démarrer et standardiser vos initiatives MLOps et vos pipelines de données.

Préparation de données visuelle propulsée par Python

Optimus est un orchestrateur de flux de travail simple, fiable et performant pour la transformation de données, la modélisation, les pipelines et la gestion de la qualité des données.

Ce package dbt capture les métadonnées, les artefacts et les résultats de tests pour détecter les anomalies, surveiller la qualité des données et créer des tables de métadonnées. Il alimente Elementary OSS et fournit la couche de contexte utilisée par le plan de contrôle Data & AI d'Elementary Cloud.