data-processing

Khung ETL Python dành cho xử lý luồng, phân tích thời gian thực, đường ống LLM và RAG.

Công cụ gia tăng cho các tác nhân tầm nhìn dài hạn 🌟 Hãy đánh dấu sao nếu bạn thích!

Bộ sưu tập các câu lệnh Bash một dòng tiện dụng và thủ thuật terminal để xử lý dữ liệu và bảo trì hệ thống Linux.

Miller giống như awk, sed, cut, join và sort dành cho dữ liệu được lập chỉ mục theo tên như CSV, TSV và JSON dạng bảng.

Truy vấn, chuyển đổi và chỉnh sửa hợp nhất các định dạng JSON, TOML, YAML, XML, INI, HCL, KDL và CSV.

Chuẩn bị dữ liệu dễ dàng với các Operator và Pipeline dựa trên LLM mới nhất.

Công cụ pipeline AI hiệu năng cao với lõi C++ và hơn 50 node mở rộng bằng Python. Xây dựng, gỡ lỗi và mở rộng quy trình làm việc LLM với hơn 13 nhà cung cấp mô hình, hơn 8 cơ sở dữ liệu vector và điều phối agent, tất cả ngay từ IDE của bạn. Bao gồm tiện ích mở rộng VS Code, SDK TypeScript/Python và triển khai Docker.

Xử lý dữ liệu cho và bằng foundation models! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

Thư viện tăng tốc bằng GPU chứa các khối xây dựng được tối ưu hóa cao và công cụ thực thi để xử lý dữ liệu nhằm tăng tốc các ứng dụng huấn luyện và suy luận học sâu.

Framework xử lý dữ liệu trọng lượng nhẹ được xây dựng trên DuckDB và 3FS.

Thư viện kiểm thử dữ liệu thống kê nhẹ nhàng, linh hoạt và biểu cảm

Nền tảng gốc Kubernetes để chạy các tác vụ dữ liệu/streaming song song quy mô lớn

Lớp ngữ cảnh cho dữ liệu phi cấu trúc: các tập dữ liệu có kiểu và có phiên bản trên S3, GCS, Azure

Nhập và xử lý dữ liệu đồng thời, nhiều giai đoạn với Elixir

Bộ công cụ học máy, xử lý ngôn ngữ tự nhiên và tạo văn bản trong TensorFlow. Đây là một phần của dự án CASL: http://casl-project.ai/

Xử lý luồng dữ liệu Python

Bộ công cụ xử lý trước và tinh chỉnh dữ liệu có khả năng mở rộng cho LLM

Dữ liệu và công cụ để tạo và kiểm tra dữ liệu huấn luyện trước của OLMo.

Python đồng thời được đơn giản hóa

Mã nguồn đi kèm sách: Data Science on the Google Cloud Platform, Valliappa Lakshmanan, O'Reilly 2017

Phân phối và chạy các workload AI trên Kubernetes một cách kỳ diệu bằng Python, giống như PyTorch cho cơ sở hạ tầng ML.

Công cụ dòng lệnh để tải xuống và trích xuất dữ liệu từ các trang HTML/XML hoặc JSON-API, sử dụng CSS, XPath 3.0, XQuery 3.0, JSONiq hoặc khớp mẫu. Nó cũng có thể tạo mới hoặc chuyển đổi các tài liệu XML/HTML/JSON.

Công cụ khử trùng lặp văn bản tất cả trong một

HStreamDB là cơ sở dữ liệu streaming mã nguồn mở, cloud-native dành cho IoT và hơn thế nữa. Hiện đại hóa ngăn xếp dữ liệu của bạn cho các ứng dụng thời gian thực.

Chuyển đổi dữ liệu nâng cao và nhanh chóng trong R

Danh sách về Apache Kafka

👾~ âm nhạc, vĩnh cửu ~ 👾

Công cụ sử dụng mô phỏng Monte Carlo nâng cao và xử lý song song Turbit để tạo ra các kịch bản dự đoán Bitcoin khả thi.

MARVIS-Agent: Tác nhân rủi ro tín dụng đa năng cho việc phát triển mô hình, xác thực, xử lý dữ liệu, kỹ thuật đặc trưng và quy trình chiến lược.

SQL Runtime không cần cơ sở dữ liệu.