parquet

QuestDB é um banco de dados de séries temporais de alto desempenho e open-source.

Apache Arrow é o formato colunar universal e a caixa de ferramentas multilíngue para troca rápida de dados e análise em memória

Motor de dados de alto desempenho para IA e cargas de trabalho multimodais. Processe imagens, áudio, vídeo e dados estruturados em qualquer escala.

Implementação oficial em Rust do Apache Arrow

Crie APIs completas para conjuntos de dados de movimentação lenta sem escrever uma única linha de código.

Substituto direto para o Apache Spark escrito em Rust, unificando processamento em lote, processamento de fluxo e cargas de trabalho de IA intensivas em computação.

Apache Parquet Java

A ferramenta de inteligência de negócios mais rápida para humanos e agentes.

Formato Apache Parquet.

Parseable é uma plataforma de observabilidade de infraestrutura unificada de código aberto, construída em Rust sobre uma arquitetura de data lake. Ela rastreia logs, métricas, traces e eventos em aplicativos, agentes e sistemas, reduzindo os custos de armazenamento em até 90% por meio de compressão de telemetria colunar.

Apache Drill é uma camada de consulta MPP distribuída para dados autodescritivos.

Análise em tempo real em tabelas Postgres

A biblioteca Petastorm permite o treinamento e avaliação, em máquina única ou distribuída, de modelos de deep learning a partir de datasets no formato Apache Parquet. Suporta frameworks de ML como Tensorflow, Pytorch e PySpark, podendo ser utilizada a partir de código Python puro

Broker compatível com Apache Kafka® com suporte para S3, PostgreSQL, SQLite, Apache Iceberg e Delta Lake.

Uma interface SQL para mais de 60 ferramentas (ex: GitHub, Notion, Airtable). Conecte-se a qualquer LLM via MCP.

Tonbo é um banco de dados embarcado para runtimes serverless e edge.

cryo é a maneira mais fácil de extrair dados de blockchain para parquet, csv, json ou dataframes do python

Alternativa open-source ao Snowflake e Fivetran, com compatibilidade com Postgres.

OLake - Replicação mais rápida de bancos de dados, Kafka e S3 para Apache Iceberg com otimização de tabelas (chamada OLake Fusion). Ingestão de dados eficiente, rápida e escalável para análise em tempo real. Fontes suportadas: Postgres, MongoDB, MySQL, Oracle, MSSql, DB2, Kafka, S3.

Quilt é uma plataforma de gerenciamento de dados científicos na AWS que ajuda equipes e IA a encontrar, confiar e reutilizar dados por meio de pacotes de dados profundamente versionados e ricos em contexto.

Aplicativo de desktop Windows simples para visualizar e consultar arquivos Apache Parquet.

ClickBench: um benchmark para bancos de dados analíticos.

ADAM é uma plataforma de análise genômica com formatos de arquivo especializados construída usando Apache Avro, Apache Spark e Apache Parquet. Licenciado sob Apache 2.

Visualização de dados geoespaciais rápida e interativa no Jupyter.

Analisador de arquivos parquet para javascript

Framework ETL para .NET (Parser / Writer para arquivos formatados em CSV, Flat, Xml, JSON, Key-Value, Parquet, Yaml, Avro)

Mais de 80 ferramentas CLI para DevOps e Dados - AWS, GCP, GCF Python Cloud Functions, anonimizador de logs, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, conversores e validadores de dados Spark (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr, etc.

Pacote Go de alto desempenho para leitura e escrita de arquivos Parquet

Graph Data Science: uma camada de abstração em Python para construir grafos de conhecimento, integrada com bibliotecas de grafos populares – sobre Pandas, NetworkX, RAPIDS, RDFlib, pySHACL, PyVis, morph-kgc, pslpython, pyarrow, etc.

Copiar para/de Parquet no S3, Azure Blob Storage, Google Cloud Storage, armazenamentos http(s), arquivos locais ou fluxo de entrada/saída padrão a partir do PostgreSQL