parquet

QuestDBは高性能なオープンソースの時系列データベースです。

Apache Arrowは、高速なデータ交換とインメモリ分析のためのユニバーサルなカラムナフォーマットおよびマルチ言語ツールボックスです。

AIおよびマルチモーダルワークロード向けの高性能データエンジン。あらゆる規模で画像、音声、動画、構造化データを処理します。

Apache Arrow の公式 Rust 実装。

1行もコードを書くことなく、更新頻度の低いデータセット向けの本格的な API を作成します。

Rustで書かれた Apache Spark のドロップイン代替であり、バッチ処理、ストリーム処理、および計算負荷の高いAIワークロードを統合します。

Apache Parquet の Java 実装

人間とエージェントのための最も高速なビジネスインテリジェンスツール

Apache Parquet フォーマット

Parseable は、データレイクアーキテクチャ上に Rust で構築されたオープンソースの統合インフラストラクチャ可観測性プラットフォームです。アプリケーション、エージェント、システム全体のログ、メトリクス、トレース、イベントを追跡し、列指向のテレメトリー圧縮によりストレージコストを最大 90% 削減します。

Apache Drillは、自己記述型データのための分散型MPPクエリ層です

Postgresテーブルのリアルタイム分析

Petastorm ライブラリを使用すると、Apache Parquet 形式のデータセットからディープラーニングモデルの単一マシンまたは分散トレーニングと評価を行うことができます。Tensorflow、Pytorch、PySpark などの ML フレームワークをサポートし、純粋な Python コードから使用できます。

S3、PostgreSQL、SQLite、Apache Iceberg、Delta Lakeに対応したApache Kafka互換ブローカー。

60種類以上のツール（GitHub、Notion、Airtableなど）に対応する単一のSQLインターフェース。MCPを介して任意のLLMに接続可能。

Tonbo は、サーバーレスおよびエッジランタイム向けの組み込みデータベースです。

cryoは、ブロックチェーンデータをparquet、csv、json、またはpythonのdataframeに抽出する最も簡単な方法です。

Postgres 互換性を持つ、オープンソースの Snowflake および Fivetran 代替サービス

OLake - テーブル最適化（OLake Fusion）を備えた、Apache Iceberg への最速のデータベース、Kafka & S3 レプリケーション。⚡ リアルタイム分析のための効率的、迅速、かつスケーラブルなデータ取り込み。サポートされているデータソース: Postgres、MongoDB、MySQL、Oracle、MSSql、DB2、Kafka、S3。

Quilt は AWS 上の科学データ管理プラットフォームであり、高度にバージョン管理されコンテキストが豊富なデータパッケージを通じて、チームや AI がデータの検索、信頼、再利用を行えるように支援します。

Apache Parquetファイルの閲覧とクエリを行うためのシンプルなWindowsデスクトップアプリケーション

ClickBench: 分析データベース向けベンチマーク

Apache Avro、Apache Spark、Apache Parquet を使用して構築された特殊なファイル形式を持つ、ゲノミクス分析プラットフォーム ADAM。Apache 2 ライセンス。

Jupyter における高速でインタラクティブな地理空間データの可視化。

JavaScript向けのparquetファイルパーサー

.NET用のETLフレームワーク（CSV、固定長、Xml、JSON、Key-Value、Parquet、Yaml、Avro形式ファイルのパーサー／ライター）

80以上のDevOpsおよびデータCLIツール - AWS、GCP、GCF Python Cloud Functions、ログ匿名化ツール、Spark、Hadoop、HBase、Hive、Impala、Linux、Docker、Sparkデータコンバーターおよびバリデーター（Avro/Parquet/JSON/CSV/INI/XML/YAML）、Travis CI、AWS CloudFormation、Elasticsearch、Solrなど

Parquetファイルの読み書きを行う高性能なGoパッケージ

Graph Data Science: ナレッジグラフ構築のための Python 抽象化レイヤー。Pandas、NetworkX、RAPIDS、RDFlib、pySHACL、PyVis、morph-kgc、pslpython、pyarrow などの人気のグラフライブラリと統合されています。

PostgreSQL 内から、S3、Azure Blob Storage、Google Cloud Storage、http(s) ストア、ローカルファイル、または標準入出力ストリームとの間で Parquet 形式のコピーを行う