data-processing

Python‑ETL‑Framework für Stream‑Processing, Echtzeit‑Analyse, LLM‑Pipelines und RAG.

Inkrementelle Engine für Agenten mit langfristigem Horizont 🌟 Stern geben, wenn es Ihnen gefällt!

Eine Sammlung nützlicher Bash-Einzeiler und Terminal-Tricks für die Datenverarbeitung und Linux-Systemwartung.

Miller ist wie awk, sed, cut, join und sort für namensindexierte Daten wie CSV, TSV und tabellarisches JSON

Einheitliche Abfrage, Transformation und Modifikation von JSON, TOML, YAML, XML, INI, HCL, KDL und CSV.

Einfache Datenaufbereitung mit neuesten LLM-basierten Operatoren und Pipelines.

Hochleistungs-KI-Pipeline-Engine mit einem C++-Kern und über 50 per Python erweiterbaren Nodes. Erstellen, debuggen und skalieren Sie LLM-Workflows mit über 13 Modellanbietern, über 8 Vektordatenbanken und Agenten-Orchestrierung, alles direkt aus Ihrer IDE. Inklusive VS Code-Erweiterung, TypeScript/Python-SDKs und Docker-Deployment.

Datenverarbeitung für und mit Foundation Models! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

Eine GPU-beschleunigte Bibliothek mit hochoptimierten Bausteinen und einer Ausführungs-Engine für die Datenverarbeitung zur Beschleunigung von Deep-Learning-Training- und Inferenzanwendungen.

Ein leichtgewichtigenes Datenverarbeitungs-Framework, aufgebaut auf DuckDB und 3FS.

Eine lightweight, flexible und expressive statistische Datentestbibliothek

Kubernetes-native Plattform zur Ausführung massiv paralleler Daten-/Streaming-Jobs

Die Kontextschicht für unstrukturierte Daten: typisierte, versionierte Datensätze über S3, GCS, Azure

Gleichzeitige und mehrstufige Datenerfassung und -verarbeitung mit Elixir

Toolkit für maschinelles Lernen, natürliche Sprachverarbeitung und Textgenerierung in TensorFlow. Dies ist Teil des CASL-Projekts: http://casl-project.ai/

Python-Datenstromverarbeitung

Skalierbares Toolkit zur Datenvorverarbeitung und -kuration für LLMs

Daten und Werkzeuge zum Generieren und Untersuchen von OLMo-Vortrainingsdaten.

Nebenläufiges Python leicht gemacht

Quellcode zum Buch: Data Science on the Google Cloud Platform, Valliappa Lakshmanan, O'Reilly 2017

KI-Workloads in Python magisch auf Kubernetes verteilen und ausführen, wie PyTorch für ML-Infra.

Kommandozeilen-Tool zum Herunterladen und Extrahieren von Daten aus HTML/XML-Seiten oder JSON-APIs mittels CSS, XPath 3.0, XQuery 3.0, JSONiq oder Pattern Matching. Es kann zudem neue oder transformierte XML/HTML/JSON-Dokumente erstellen.

Alles-in-Einer-Text-Deduplizierung

HStreamDB ist eine Open-Source, Cloud-native Streaming-Datenbank für IoT und darüber hinaus. Modernisieren Sie Ihren Daten-Stack für Echtzeitanwendungen.

Fortgeschrittene und schnelle Datentransformation in R

Eine kuratierte Liste rund um Apache Kafka.

👾~ Musik, ewig ~ 👾

Ein Tool, das fortschrittliche Monte-Carlo-Simulationen und Turbit-Parallelverarbeitung verwendet, um mögliche Bitcoin-Vorhersageszenarien zu erstellen.

MARVIS-Agent: Universeller Kreditrisiko-Agent für Modellentwicklung, Validierung, Datenverarbeitung, Feature Engineering und Strategie-Workflows.

SQL-Runtime ohne Datenbank.