big-data

Motor de dados de alto desempenho para IA e cargas de trabalho multimodais. Processe imagens, áudio, vídeo e dados estruturados em qualquer escala.

Biblioteca Python de Machine Learning simples e distribuída, portando algoritmos de ML para Spark

Apache Calcite

Apache Ignite

Stream Framework é uma biblioteca Python que permite construir feeds de notícias, fluxos de atividades e sistemas de notificação usando Cassandra e/ou Redis. Os autores do Stream-Framework também fornecem um serviço em nuvem para tecnologia de feeds:

⚡️ Um componente Vue que suporta listas com grandes volumes de dados com alto desempenho de renderização e eficiência.

Converta facilmente grandes conjuntos de URLs de imagens em um dataset de imagens. Pode baixar, redimensionar e empacotar 100 milhões de URLs em 20 horas em uma única máquina.

CrateDB é um banco de dados SQL distribuído e escalável para armazenar e analisar grandes volumes de dados em tempo quase real, mesmo com consultas complexas. É compatível com PostgreSQL e baseado em Lucene.

🚄 FASTJSON2 é uma biblioteca JSON para Java com excelente desempenho.

Roteiro de Ciência de Dados de A a Z.

GraphScope: Um sistema de computação em grafos de grande escala e solução única do Alibaba.

Analisador léxico e sintático de SQL extensível para Rust

Apache Paimon é um formato de lake que permite construir uma arquitetura Realtime Lakehouse com Flink e Spark para operações de streaming e batch.

Koalas: API do pandas no Apache Spark

Substituto direto para o Apache Spark escrito em Rust, unificando processamento em lote, processamento de fluxo e cargas de trabalho de IA intensivas em computação.

Um banco de dados de grafos que suporta mais de 100 bilhões de dados, alta performance e escalabilidade (Inclui Motor OLTP, REST-API e Backends)

Uma plataforma de BI e relatórios de autoatendimento fácil de usar.

Interface web de código aberto para gerenciar clusters Apache Kafka

ArcticDB é um banco de dados de DataFrame serverless de alto desempenho, construído para o ecossistema de Ciência de Dados em Python.

BI de código aberto para engenheiros

O Apache Ambari simplifica o provisionamento, gerenciamento e monitoramento de clusters Apache Hadoop.

YTsaurus é uma plataforma de big data de código aberto escalável e tolerante a falhas.

Apache Fluss é um armazenamento de streaming criado para análise em tempo real.

Mecanismo de consulta distribuída Apache DataFusion Ballista

Apache Drill é uma camada de consulta MPP distribuída para dados autodescritivos.

Apache BookKeeper - um serviço de armazenamento escalável, tolerante a falhas e de baixa latência, otimizado para cargas de trabalho de apenas anexação

Abstração e aceleração de dados fluida e elástica para aplicações de BigData/IA na nuvem. (Projeto sob a CNCF).

Mirror do Apache Kudu

🚀 Mais de 500 recursos selecionados para Análise de Dados e Ciência de Dados: Python, SQL, Estatística, ML, IA, Visualização, Cheatsheets, Roadmaps e preparação para entrevistas. Para iniciantes e especialistas.

O acelerador Auron para frameworks de computação distribuída (ex: Spark) utiliza execução vetorizada nativa para acelerar o processamento de consultas