spark

LakeSoul é um framework Lakehouse nativo em nuvem, de ponta a ponta e em tempo real, para ingestão rápida de dados, atualizações concorrentes, análises incrementais, processamento de dados multimodais e busca vetorial — impulsionando cargas de trabalho de BI e IA de próxima geração.

Aprendizado de Big Data do zero, incluindo vídeos de treinamento, materiais de entrevista e guias de estudo para cada etapa.

Operador Kubernetes para gerenciar o ciclo de vida de aplicações Apache Spark no Kubernetes.

Servidor de jobs REST para Apache Spark

Servidor de inferência especulativa de LLM para hardware de consumo e heterogêneo

Exemplos de aprendizado rápido baseados em Spring Boot, integrando frameworks de código aberto como: rabbitmq (fila de atraso), Kafka, jpa, redis, oauth2, swagger, jsp, docker, k3s, k3d, k8s, plugin de criptografia mybatis, tratamento de exceções, log, desenvolvimento multimodular, empacotamento multiambiente, cache, web crawler, jwt, GraphQL, dubbo, zookeeper e Async, entre outros.

Sistema de análise de big data de fluxo de passageiros do metrô de Shenzhen 🚇🚄🌟

Spark é uma ferramenta de administração remota (RAT) baseada na web, multiplataforma e completa, escrita em Go, que permite controlar todos os seus dispositivos de qualquer lugar.

Vinculação de dados probabilística rápida, precisa e escalável com suporte para múltiplos backends SQL.

O Apache Kyuubi é um gateway distribuído e multi-tenant que fornece SQL serverless em data warehouses e lakehouses.

TransmogrifAI (pronunciado trăns-mŏgˈrə-fī) é uma biblioteca de AutoML para construir fluxos de trabalho de aprendizado de máquina fortemente tipados, reutilizáveis e modulares no Apache Spark com ajuste manual mínimo

YTsaurus é uma plataforma de big data de código aberto escalável e tolerante a falhas.

Ferramentas para manipular firmwares de produtos DJI, com foco em quadricópteros.

Uma interface unificada para computação distribuída. O Fugue executa código SQL, Python, Pandas e Polars no Spark, Dask e Ray sem necessidade de reescrita.

Consultas integradas à linguagem em tempo de compilação para Scala

.NET for Apache® Spark™ torna o Apache Spark™ facilmente acessível para desenvolvedores .NET.

Repositório oficial de código para o GATK versões 4 em diante

Conector do Apache Spark para Apache Cassandra

Repositório de conhecimento de Big Data abrangendo modelagem de data warehouse, computação em tempo real, Big Data, data middle platform, design de sistemas, Java, algoritmos, etc.

O acelerador Auron para frameworks de computação distribuída (ex: Spark) utiliza execução vetorizada nativa para acelerar o processamento de consultas

Resumo da arquitetura de conhecimento full-stack para backend (Java, Golang)

Organização de código aberto ApacheCN: anúncios, introdução, membros, atividades e canais de comunicação

Mais de 2000 perguntas de entrevista para engenheiros de dados.

Elassandra = Elasticsearch + Apache Cassandra

Tutoriais de Apache Spark e Python (pySpark) para análise de Big Data e Machine Learning em notebooks IPython / Jupyter

Um kernel Scala para Jupyter.

Os fundamentos internos do Apache Spark

MLeap: Implante pipelines de ML em produção

Fluxos de trabalho de preparação de dados ágeis facilitados com Pandas, Dask, cuDF, Dask-cuDF, Vaex e PySpark

Nessie: Catálogo Transacional para Data Lakes com semântica semelhante ao Git