hadoop

Système de stockage distribué, évolutif et fiable, optimisé pour l'analyse de données et les charges de travail de stockage d'objets.

Plus de 450 ressources sur AWS, Hadoop, Cloud, Kafka, Docker, Elasticsearch, RabbitMQ, Redis, HBase, Solr, Cassandra, ZooKeeper, HDFS, Yarn, Hive, Presto, Drill, Impala, Consul, Spark, Jenkins, Travis CI, Git, MySQL, Linux, DNS, Whois, certificats SSL, mises à jour de sécurité Yum, Kubernetes, Cloudera, etc.

Mises à jour régulières de la documentation des composants Big Data de l'écosystème Hadoop, incluant Flink, Solr, Sparksql, ES, Scala, Kafka, Hbase/phoenix, Redis et Kerberos.

Plus de 80 outils CLI pour DevOps et Data : AWS, GCP, GCF Python Cloud Functions, anonymiseur de logs, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, convertisseurs et validateurs de données Spark (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr, etc.

Projet de fin d'études : système de recommandation de films basé sur le profil utilisateur. Développé avec Django (modèle MTV), utilisant MongoDB, MySQL et Redis. Les données proviennent du scraping de Douban. Le système développe des tags utilisateurs basés sur les informations de base et l'historique d'activité, avec une analyse effectuée via Hadoop et Spark. L'interface d'administration utilise Django avec une personnalisation via simpleui.

WeDataSphere est une suite de plateforme Big Data tout-en-un de qualité financière.

Solution de suivi et de visualisation de la lignée des données

Venice, platefome de données dérivées pour charges de travail à l'échelle de la planète.

Système de recommandation de produits en temps réel basé sur le Big Data e-commerce, utilisant Vue, TypeScript, ElementUI, Spring et Spark

Apache Tez