hadoop

Sistema de armazenamento distribuído, escalável e confiável, otimizado para análise de dados e cargas de trabalho de armazenamento de objetos.

Mais de 450 recursos sobre AWS, Hadoop, Cloud, Kafka, Docker, Elasticsearch, RabbitMQ, Redis, HBase, Solr, Cassandra, ZooKeeper, HDFS, Yarn, Hive, Presto, Drill, Impala, Consul, Spark, Jenkins, Travis CI, Git, MySQL, Linux, DNS, Whois, certificados SSL, atualizações de segurança Yum, Kubernetes, Cloudera, etc.

Atualizações periódicas da documentação de componentes de Big Data no ecossistema Hadoop. Foco em: Flink, Solr, Sparksql, ES, Scala, Kafka, Hbase/phoenix, Redis, Kerberos (o projeto inclui mapas mentais de Hadoop, notas, demos simples em Scala, utilitários comuns e código de treinamento anonimizado; atualização contínua!).

Mais de 80 ferramentas CLI para DevOps e Dados - AWS, GCP, GCF Python Cloud Functions, anonimizador de logs, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, conversores e validadores de dados Spark (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr, etc.

Este sistema é meu projeto de graduação, intitulado "Design e Implementação de um Sistema de Recomendação de Filmes Baseado em Perfil de Usuário". Utiliza Django como framework base com o padrão MTV, bancos de dados MongoDB, MySQL e Redis, e dados de filmes extraídos do Douban como fonte. O sistema desenvolve tags de usuário com base em informações básicas e registros de comportamento, utilizando Hadoop e Spark para análise e processamento. O sistema de gerenciamento utiliza o painel nativo do Django com a interface aprimorada pelo simpleui.

WeDataSphere é um conjunto de plataforma de big data completo e de nível financeiro.

Solução de rastreamento e visualização de linhagem de dados

Venice, Plataforma de Dados Derivados para Cargas de Trabalho em Escala Planetária.

Sistema de recomendação de produtos em tempo real para big data de e-commerce, com Vue + TypeScript + ElementUI + Spring + Spark

Apache Tez