data-processing

Framework ETL Python pour le traitement de flux, l'analyse en temps réel, les pipelines LLM et le RAG.

Moteur incrémental pour agents à long terme 🌟 Mettez une étoile si vous aimez !

Collection de commandes Bash et astuces de terminal pour le traitement de données et la maintenance Linux.

Miller est l'équivalent de awk, sed, cut, join et sort pour les données indexées par nom telles que CSV, TSV et JSON tabulaire.

Requêtage, transformation et modification unifiés pour JSON, TOML, YAML, XML, INI, HCL, KDL et CSV.

Préparation de données simplifiée grâce aux derniers opérateurs et pipelines basés sur les LLM.

Moteur de pipeline IA haute performance avec un cœur en C++ et plus de 50 nœuds extensibles en Python. Construisez, déboguez et mettez à l'échelle des flux de travail LLM avec plus de 13 fournisseurs de modèles, plus de 8 bases de données vectorielles et une orchestration d'agents, le tout depuis votre IDE. Inclut une extension VS Code, des SDK TypeScript/Python et un déploiement Docker.

Traitement de données pour et avec des modèles de fondation !

Bibliothèque accélérée par GPU contenant des blocs de construction hautement optimisés et un moteur d'exécution pour le traitement de données, afin d'accélérer l'entraînement et l'inférence en deep learning.

Un framework léger de traitement de données construit sur DuckDB et 3FS.

Une bibliothèque de test de données statistiques légère, flexible et expressive.

Plateforme native Kubernetes pour exécuter des tâches de données et de streaming massivement parallèles

Couche de contexte pour données non structurées : jeux de données typés et versionnés sur S3, GCS et Azure.

Ingestion et traitement de données concurrents et multi-étapes avec Elixir.

Boîte à outils pour l'apprentissage automatique, le traitement du langage naturel et la génération de texte avec TensorFlow. Fait partie du projet CASL : http://casl-project.ai/

Traitement de flux en Python

Boîte à outils évolutive de prétraitement et de curation de données pour les LLM.

Données et outils pour générer et inspecter les données de pré-entraînement d'OLMo.

La programmation concurrente en Python simplifiée

Code source accompagnant le livre : Data Science on the Google Cloud Platform, Valliappa Lakshmanan, O'Reilly 2017

Distribuez et exécutez des charges de travail IA sur Kubernetes comme par magie en Python, tel PyTorch pour l'infrastructure ML.

Outil en ligne de commande pour télécharger et extraire des données de pages HTML/XML ou d'API JSON, en utilisant CSS, XPath 3.0, XQuery 3.0, JSONiq ou la correspondance de motifs. Il peut également créer ou transformer des documents XML/HTML/JSON.

Déduplication de texte tout-en-un

HStreamDB est une base de données de streaming open-source et native pour le cloud, conçue pour l'IoT et au-delà. Modernisez votre stack de données pour les applications en temps réel.

Transformation de données avancée et rapide en R

Une liste sur Apache Kafka

👾~ music, eternal ~ 👾

Un outil qui utilise des simulations de Monte-Carlo avancées et le traitement parallèle Turbit pour créer des scénarios prédictifs possibles pour Bitcoin.

MARVIS-Agent : agent de risque de crédit polyvalent pour le développement de modèles, la validation, le traitement des données, l'ingénierie des fonctionnalités et les flux de travail stratégiques.

Runtime SQL sans aucune base de données