data-engineering

SQL Translator ist ein Tool zur Konvertierung von natürlichsprachlichen Abfragen in SQL-Code mithilfe von künstlicher Intelligenz. Dieses Projekt ist zu 100 % kostenlos und Open Source.

pandas auf AWS – Einfache Integration mit Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer und S3 (Parquet, CSV, JSON und EXCEL).

Eine Liste nützlicher Ressourcen, um Data Engineering von Grund auf zu lernen.

Maestro: Der Workflow-Orchestrator von Netflix

Blitzschnelles Data-Wrangling-Toolkit

Memphis.dev ist eine hochskalierbare und mühelose Data-Streaming-Plattform

Lernen Sie, wie man produktionsbereite ML-Anwendungen entwirft, entwickelt, bereitstellt und iteriert.

Drop-in-Ersatz für Apache Spark, geschrieben in Rust, der Batch-Verarbeitung, Stream-Verarbeitung und rechenintensive KI-Workloads vereint.

Eine Awesome-Liste von Open-Source-Data-Engineering-Projekten

Apache DevLake ist eine Open-Source-Entwicklerdatenplattform zum Erfassen, Analysieren und Visualisieren fragmentierter Daten aus DevOps-Tools, um Einblicke für Engineering Excellence, Developer Experience und Community-Wachstum zu gewinnen.

Lernen Sie, Ihren KI-Assistenten für das zweite Gehirn mit LLMs, Agents, RAG, Fine-Tuning, LLMOps und KI-Systemtechniken zu entwickeln.

Meltano: Die deklarative, codebasierte Datenintegrations-Engine für Ihre kühnsten Daten- und ML-gestützten Produktideen. Verabschieden Sie sich vom Schreiben, Warten und Skalieren eigener API-Integrationen.

Apache Hamilton hilft Data Scientists und Engineers dabei, testbare, modulare und selbstdokumentierende Datenflüsse zu definieren, die Abstammung (Lineage/Tracing) und Metadaten kodieren. Läuft und skaliert überall dort, wo Python läuft.

Ein neuer SOTA für RAG — eine originale Retrieval-Architektur und eine Open-Source-Wissensdatenbank für Menschen und Agenten.

Ein Low-Code-Dienst für personalisiertes Machine-Learning-Ranking von Artikeln, Einträgen, Suchergebnissen und Empfehlungen zur Steigerung der Nutzerinteraktion. Eine benutzerfreundliche Learn-to-Rank-Engine

Data-Contracts-Engine für den modernen Data Stack. https://www.soda.io

Datart ist eine Open-Source-Plattform der nächsten Generation für Datenvisualisierung

Python-Datenstromverarbeitung

Der beste Ort, um Data Engineering zu lernen. Erstellt und gepflegt von der Data-Engineering-Community.

Feathr – Eine skalierbare, vereinheitlichte Daten- und KI-Engineering-Plattform für Unternehmen

Eine kuratierte Liste fantastischer dbt-Ressourcen

Mehr als 2000+ Interviewfragen für Data Engineers

MLRun ist eine Open-Source-MLOps-Plattform zum schnellen Erstellen und Verwalten kontinuierlicher ML-Anwendungen über ihren gesamten Lebenszyklus. MLRun lässt sich in Ihre Entwicklungs- und CI/CD-Umgebung integrieren und automatisiert die Bereitstellung von Produktionsdaten, ML-Pipelines und Online-Anwendungen.

🔥🔥🔥 Open-Source-Reverse-ETL – Alternative zu Hightouch und Census.

Eine umfassende Liste von über 180 YouTube-Kanälen für Data Science, Data Engineering, Machine Learning, Deep Learning, Informatik, Programmierung, Software Engineering usw.

👾 nao ist ein Open-Source-Analytics-Agent. (1) Kontext mit der nao-core CLI erstellen, (2) nao-Chat-Interface für alle bereitstellen.

:bar_chart: :clipboard: Dashboards mit YAML- oder JSON-Dateien

ktx ist eine ausführbare Kontextschicht für Daten- und Analyse-Agenten 🐙 Ermöglicht es Claude Code, Codex oder anderen KI-Agenten, analytische Datenbanken präzise und mit dem vollen Kontext Ihres Unternehmens abzufragen.

Python Streaming DataFrames für Kafka

Nebenläufiges Python leicht gemacht