hadoop

针对数据分析与对象存储工作负载优化的可扩展、可靠的分布式存储系统。

450+ AWS、Hadoop、Cloud、Kafka、Docker、Elasticsearch、RabbitMQ、Redis、HBase、Solr、Cassandra、ZooKeeper、HDFS、Yarn、Hive、Presto、Drill、Impala、Consul、Spark、Jenkins、Travis CI、Git、MySQL、Linux、DNS、Whois、SSL 证书、Yum 安全更新、Kubernetes、Cloudera 等...

定期更新 Hadoop 生态圈中常用大数据组件文档，重心依次为：Flink、Solr、SparkSQL、ES、Scala、Kafka、HBase/Phoenix、Redis、Kerberos（项目包含 Hadoop 思维导图、印象笔记、Scala 版本简单 demo、常用工具类、去敏后的 train code，持续更新！！！）

80+ DevOps 与数据 CLI 工具 - AWS, GCP, GCF Python Cloud Functions, Log Anonymizer, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Spark 数据转换器与验证器 (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr 等。

本系统是我的毕业设计项目，题目为“基于用户画像的电影推荐系统的设计与实现”。主要是以 Django 作为基础框架，采用 MTV 模式，数据库使用 MongoDB、MySQL 和 Redis，以从豆瓣平台爬取的电影数据作为基础数据源，主要基于用户基本信息和使用操作记录等行为信息来开发用户标签，并使用 Hadoop、Spark 大数据组件进行分析和处理的推荐系统。管理系统使用的是 Django 自带的管理系统，并使用 simpleui 进行了美化。

WeDataSphere 是一个金融级的一站式大数据平台套件。

数据血缘追踪与可视化解决方案

Venice，用于行星级工作负载的衍生数据平台

电商大数据商品实时推荐系统，Vue + TypeScript + ElementUI + Spring + Spark

Apache Tez