data-processing

ストリーム処理、リアルタイム分析、LLMパイプライン、RAGのためのPython ETLフレームワーク

長期ホライズンエージェントのためのインクリメンタルエンジン 🌟 気に入ったらスターを！

データ処理およびLinuxシステムメンテナンスのための便利なBashワンライナーとターミナルトリックのコレクション。

Millerは、CSV、TSV、表形式のJSONなどの名前付きインデックスデータに対するawk、sed、cut、join、sortのようなもの。

JSON、TOML、YAML、XML、INI、HCL、KDL、CSVの統一されたクエリ、変換、および変更。

最新のLLMsベースのオペレーターとパイプラインによる簡単なデータ準備。

C++コアと50以上のPython拡張ノードを備えた高性能AIパイプラインエンジン。IDEから13以上のモデルプロバイダー、8つ以上のベクトルデータベース、エージェントオーケストレーションを用いてLLMワークフローを構築、デバッグ、スケーリング可能にします。VS Code拡張機能、TypeScript/Python SDK、Dockerデプロイメントが含まれます。

基盤モデルのための、そして基盤モデルを使ったデータ処理！ 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

データ処理のための高度に最適化されたビルディングブロックと実行エンジンを含むGPUアクセラレーションライブラリであり、ディープラーニングのトレーニングおよび推論アプリケーションを高速化します。

DuckDB と 3FS を基盤とした軽量なデータ処理フレームワーク

軽量で柔軟性があり、表現力豊かな統計データテストライブラリ

大規模並列データおよびストリーミングジョブを実行するための Kubernetes ネイティブプラットフォーム

非構造化データのためのコンテキストレイヤー：S3、GCS、Azure 上の型付き、バージョン管理されたデータセット

Elixirによる並行および多段階のデータ取り込みとデータ処理

TensorFlow による機械学習、自然言語処理、テキスト生成のためのツールキット。CASL プロジェクトの一部: http://casl-project.ai/

Python ストリーム処理

LLM向けのスケーラブルなデータ前処理およびキュレーションツールキット

OLMo の事前トレーニングデータを生成および検査するためのデータとツール

Python の並行処理をシンプルに

書籍『Data Science on the Google Cloud Platform』(Valliappa Lakshmanan 著、O'Reilly 2017年) の付属ソースコード。

機械学習インフラ向け PyTorch のように、Kubernetes 上で AI ワークロードを魔法のように分散および実行します。

CSS、XPath 3.0、XQuery 3.0、JSONiq、またはパターンマッチングを使用して、HTML/XMLページやJSON-APIからデータをダウンロードおよび抽出するコマンドラインツール。新規または変換されたXML/HTML/JSONドキュメントの作成も可能。

オールインワンのテキスト重複排除ツール

HStreamDBは、IoTおよびその先を見据えたオープンソースのクラウドネイティブ・ストリーミングデータベースです。リアルタイムアプリケーション向けにデータスタックをモダン化します。

R における高度で高速なデータ変換

Apache Kafka に関するリスト

👾~ 音楽よ、永遠に ~ 👾

高度なモンテカルロシミュレーションとTurbitの並列処理を使用して、Bitcoinの予測シナリオを作成するツール

MARVIS-Agent: モデル開発、検証、データ処理、特徴量エンジニアリング、戦略ワークフローのための万能な信用リスクエージェント

データベース不要の SQL ランタイム