data-processing

Framework ETL Python untuk pemrosesan stream, analitik real-time, pipeline LLM, dan RAG.

Mesin inkremental untuk agen berjangka panjang 🌟 Beri bintang jika Anda menyukainya!

Kumpulan Bash One-Liner praktis dan trik terminal untuk pemrosesan data serta pemeliharaan sistem Linux.

Miller seperti awk, sed, cut, join, dan sort untuk data berindeks nama seperti CSV, TSV, dan JSON tabular.

Kueri, transformasi, dan modifikasi terpadu untuk JSON, TOML, YAML, XML, INI, HCL, KDL, dan CSV.

Persiapan data yang mudah dengan operator dan pipeline berbasis LLM terbaru.

Engine AI pipeline berkinerja tinggi dengan core C++ dan 50+ node yang dapat diperluas dengan Python. Buat, debug, dan tingkatkan skala alur kerja LLM dengan 13+ penyedia model, 8+ database vektor, dan orkestrasi agent, semuanya dari IDE Anda. Termasuk ekstensi VS Code, SDK TypeScript/Python, dan penyebaran Docker.

Pemrosesan data untuk dan dengan foundation models! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

Pustaka berakselerasi GPU yang berisi blok bangunan yang sangat dioptimalkan dan mesin eksekusi untuk pemrosesan data guna mempercepat aplikasi pelatihan dan inferensi pembelajaran mendalam.

Framework pemrosesan data ringan yang dibangun di atas DuckDB dan 3FS.

Pustaka pengujian data statistik yang ringan, fleksibel, dan ekspresif

Platform berbasis Kubernetes untuk menjalankan pekerjaan data/streaming yang sangat paralel.

Lapisan konteks untuk data tidak terstruktur: dataset bertipe dan berversi di atas S3, GCS, Azure.

Ingesti dan pemrosesan data konkuren serta multi-tahap dengan Elixir

Toolkit untuk Machine Learning, Natural Language Processing, dan Text Generation di TensorFlow. Ini adalah bagian dari proyek CASL: http://casl-project.ai/

Pemrosesan Stream Python.

Toolkit pemrosesan awal dan kurasi data yang dapat diskalakan untuk LLM

Data dan alat untuk menghasilkan serta memeriksa data pra-pelatihan OLMo.

Python konkurensi dibuat menjadi sederhana

Kode sumber pendamping buku: Data Science on the Google Cloud Platform, Valliappa Lakshmanan, O'Reilly 2017

Distribusikan dan jalankan beban kerja AI di Kubernetes secara ajaib dengan Python, seperti PyTorch untuk infrastruktur ML.

Alat baris perintah untuk mengunduh dan mengekstrak data dari halaman HTML/XML atau API JSON, menggunakan CSS, XPath 3.0, XQuery 3.0, JSONiq, atau pencocokan pola. Alat ini juga dapat membuat dokumen XML/HTML/JSON baru atau yang telah diubah.

Deduplikasi teks serbaguna

HStreamDB adalah basis data streaming native cloud sumber terbuka untuk IoT dan sekitarnya. Modernisasi tumpukan data Anda untuk aplikasi waktu nyata.

Transformasi Data yang Canggih dan Cepat di R

Daftar tentang Apache Kafka

👾~ musik, abadi ~ 👾

Alat yang menggunakan simulasi Monte Carlo tingkat lanjut dan pemrosesan paralel Turbit untuk membuat skenario prediksi Bitcoin yang mungkin.

MARVIS-Agent: agen risiko kredit serbaguna untuk pengembangan model, validasi, pemrosesan data, rekayasa fitur, dan alur kerja strategi.

SQL Runtime tanpa database apa pun