data-processing

用于流处理、实时分析、LLM 管道与 RAG 的 Python ETL 框架。

长期规划代理的增量引擎 🌟 喜欢请点星

收集实用的 Bash 单行指令与终端技巧，用于数据处理与 Linux 系统维护。

Miller 类似 awk、sed、cut、join、sort，用于 CSV、TSV 和表格化 JSON 等名称索引数据。

统一查询、转换与修改 JSON、TOML、YAML、XML、INI、HCL、KDL 与 CSV 的工具

使用最新 LLM 为基础的算子与管线，轻松进行数据前处理

高性能 AI 流水线引擎，核心使用 C++，提供 50+ 可用 Python 可扩展节点。可在 IDE 中构建、调试与扩展 LLM 工作流，支持 13+ 模型提供商、8+ 向量数据库与代理编排。包含 VS Code 扩展、TypeScript/Python SDK 与 Docker 部署。

为基础模型提供数据处理！🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

GPU 加速库，包含高度优化的构建块和执行引擎，用于数据处理，加速深度学习训练和推理应用。

基于 DuckDB 与 3FS 的轻量级数据处理框架

一个轻量、灵活且表达力强的统计数据测试库

用于运行大规模并行数据／流作业的 Kubernetes 原生平台

非结构化数据的 Context 层：基于 S3、GCS、Azure 的类型化、版本化数据集

使用 Elixir 进行并发与多阶段的数据摄取与数据处理

使用 TensorFlow 的机器学习、自然语言处理与文本生成工具包。这是 CASL 项目的一部分：http://casl-project.ai/

Python 流处理

针对 LLM 的可扩展数据预处理与整理工具包

用于生成和检查 OLMo 预训练数据的资料与工具。

让并行 Python 变得简单

书籍伴随源码：《Google Cloud Platform 上的数据科学》，Valliappa Lakshmanan 著，O'Reilly 出版，2017 年

在 Kubernetes 上以 Python 神奇地分发并执行 AI 工作负载，就像用于 ML 基础设施的 PyTorch 一样。

使用 CSS、XPath 3.0、XQuery 3.0、JSONiq 或模式匹配从 HTML/XML 页面或 JSON-API 下载并提取数据的命令行工具。它还可以创建新或转换后的 XML/HTML/JSON 文档。

全功能文本去重工具

HStreamDB 是一个用于物联网及其他领域的开源云原生流数据库。为实时应用程序现代化您的数据栈。

R 语言中的进阶与快速数据转换

关于 Apache Kafka 的列表

👾~ 音乐，永恒 ~ 👾

利用先进蒙特卡洛模拟与 Turbit 并行处理技术，建立比特币预测情境的工具。

MARVIS-Agent：用于模型开发、验证、数据处理、特征工程与策略工作流程的全能信用风险代理

无需任何数据库的 SQL 执行环境