hadoop

Notebooks Python de ciência de dados: Deep learning (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, big data (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, essenciais de Python, AWS e várias linhas de comando.

Luigi é um módulo Python que ajuda a construir pipelines complexos de tarefas em lote. Ele lida com resolução de dependências, gerenciamento de fluxo de trabalho, visualização, etc. Também inclui suporte integrado para Hadoop.

🏆 ORM em tempo real, sem código, poderoso e seguro 🚀 fornecendo APIs e documentação sem codificação no backend, permitindo que o frontend (cliente) personalize os JSONs de resposta

Guia introdutório de Big Data :star:

A página oficial da engine de consulta SQL distribuída Presto para big data

Apache Hadoop

Conjunto de ferramentas para implantar e treinar modelos de deep learning usando a JVM. Os destaques incluem importação de modelos para Keras, TensorFlow e ONNX/PyTorch, uma biblioteca C++ modular e compacta para executar código matemático e uma biblioteca matemática baseada em Java sobre o núcleo C++. Também inclui o SameDiff: uma biblioteca estilo PyTorch/TensorFlow para executar deep learning.

Repositório oficial do Trino, o motor de consulta SQL distribuído para big data, anteriormente conhecido como PrestoSQL (https://trino.io)

Mais de 1200 scripts Bash para DevOps: AWS, GCP, Kubernetes, Docker, CI/CD, APIs, SQL, PostgreSQL, MySQL, Hive, Impala, Kafka, Hadoop, Jenkins, GitHub, GitLab, BitBucket, Azure DevOps, TeamCity, Spotify, MP3, LDAP, linting de código/build, gerenciamento de pacotes para Linux, Mac, Python, Perl, Ruby, NodeJS, Golang e dotfiles avançados (.bashrc, .vimrc, .gitconfig, .screenrc, tmux).

No LinkedIn, usamos este currículo para integrar nossos talentos iniciantes na função de SRE.

H2O é uma plataforma de aprendizado de máquina de código aberto, distribuída, rápida e escalável: Deep Learning, Gradient Boosting (GBM) & XGBoost, Random Forest, Generalized Linear Modeling (GLM com Elastic Net), K-Means, PCA, Generalized Additive Models (GAM), RuleFit, Support Vector Machine (SVM), Stacked Ensembles, Automatic Machine Learning (AutoML), etc.

Alluxio, orquestração de dados para análise e aprendizado de máquina na nuvem

Apache Hive

Apache Calcite

Apache Ignite

Apache Nutch é um web crawler extensível e escalável

DataSphereStudio é um portal de desenvolvimento e gerenciamento de aplicações de dados completo, cobrindo cenários como troca de dados, dessensibilização/limpeza, análise/mineração, medição de qualidade, visualização e agendamento de tarefas.

Aprendizado de Big Data do zero, incluindo vídeos de treinamento, materiais de entrevista e guias de estudo para cada etapa.

Sistema de análise de big data de fluxo de passageiros do metrô de Shenzhen 🚇🚄🌟

O Apache Kyuubi é um gateway distribuído e multi-tenant que fornece SQL serverless em data warehouses e lakehouses.

Imagem Docker do Apache Hadoop

Binários winutils.exe, hadoop.dll e hdfs.dll para Hadoop no Windows

Apache Drill é uma camada de consulta MPP distribuída para dados autodescritivos.

Repositório de conhecimento de Big Data abrangendo modelagem de data warehouse, computação em tempo real, Big Data, data middle platform, design de sistemas, Java, algoritmos, etc.

IA no Hadoop

Mais de 2000 perguntas de entrevista para engenheiros de dados.

Solução de armazenamento de dados de alto desempenho.

Uma ferramenta de ETL rápida e versátil que pode transferir dados entre RDBMS e NoSQL de forma integrada

Mais de 50 imagens públicas do DockerHub para Docker e Kubernetes - DevOps, CI/CD, GitHub Actions, CircleCI, Jenkins, TeamCity, Alpine, CentOS, Debian, Fedora, Ubuntu, Hadoop, Kafka, ZooKeeper, HBase, Cassandra, Solr, SolrCloud, Presto, Apache Drill, Nifi, Spark, Consul, Riak

Taier é uma plataforma de desenvolvimento de big data para submissão, agendamento, operação, manutenção e exibição de informações de indicadores.