data-engineering

SQL Translator est un outil permettant de convertir des requêtes en langage naturel en code SQL grâce à l'intelligence artificielle. Ce projet est 100 % gratuit et open source.

pandas sur AWS - Intégration facile avec Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer et S3 (Parquet, CSV, JSON et EXCEL).

Une liste de ressources utiles pour apprendre l'ingénierie des données à partir de zéro.

Maestro : l'orchestrateur de workflow de Netflix

Boîte à outils de manipulation de données ultra-rapide

Memphis.dev est une plateforme de streaming de données hautement évolutive et simple d'utilisation

Apprenez à concevoir, développer, déployer et itérer sur des applications ML de qualité production.

Remplacement prêt à l'emploi pour Apache Spark écrit en Rust, unifiant le traitement par lots, le traitement de flux et les charges de travail IA intensives.

Une liste exhaustive de projets open-source dédiés à l'ingénierie des données.

Apache DevLake est une plateforme de données open-source destinée à ingérer, analyser et visualiser les données fragmentées des outils DevOps, afin d'extraire des indicateurs pour l'excellence en ingénierie, l'expérience développeur et la croissance de la communauté.

Apprenez à construire votre assistant IA « Second Brain » avec des LLM, des agents, la RAG, le fine-tuning, le LLMOps et des techniques de systèmes d'IA.

Meltano : le moteur d'intégration de données déclaratif axé sur le code qui propulse vos idées de produits basées sur les données et le ML. Dites adieu à l'écriture, à la maintenance et à la mise à l'échelle de vos propres intégrations d'API.

Apache Hamilton aide les data scientists et les ingénieurs à définir des flux de données testables, modulaires et auto-documentés, intégrant traçabilité et métadonnées. S'exécute et passe à l'échelle partout où Python est supporté.

Un nouvel état de l'art pour le RAG — une architecture de récupération originale et une base de connaissances open source pour les humains et les agents.

Un service de classement personnalisé par Machine Learning low-code pour articles, listes, résultats de recherche et recommandations, conçu pour accroître l'engagement utilisateur. Un moteur Learn-to-Rank convivial.

Moteur de contrats de données pour la pile de données moderne.

Datart est une plateforme ouverte de visualisation de données de nouvelle génération

Traitement de flux en Python

La meilleure plateforme pour apprendre l'ingénierie des données. Construite et maintenue par la communauté d'ingénierie des données.

Feathr – Une plateforme d'ingénierie de données et d'IA unifiée et évolutive pour les entreprises.

Une liste organisée de ressources awesome pour dbt

Plus de 2000 questions d'entretien pour ingénieurs de données

MLRun est une plateforme MLOps open source permettant de créer et de gérer rapidement des applications ML en continu tout au long de leur cycle de vie. MLRun s'intègre à votre environnement de développement et de CI/CD pour automatiser la livraison de données de production, de pipelines ML et d'applications en ligne.

Reverse ETL open source - alternative à Hightouch et Census.

Une liste complète de plus de 180 chaînes YouTube dédiées à la science des données, à l'ingénierie des données, au machine learning, au deep learning, à l'informatique, à la programmation et au génie logiciel.

nao est un agent d'analyse open source. (1) Créez un contexte avec l'interface en ligne de commande nao-core, (2) déployez l'interface de chat nao pour tous.

Tableaux de bord utilisant des fichiers YAML ou JSON

ktx est une couche de contexte exécutable pour les agents de données et d'analyse 🐙 Permet à Claude Code, Codex ou d'autres agents IA d'interroger des bases de données analytiques avec précision et avec le contexte complet de votre entreprise

DataFrames de streaming Python pour Kafka.

La programmation concurrente en Python simplifiée