hadoop

針對資料分析與物件儲存工作負載最佳化的可擴充、可靠的分散式儲存系統。

450+ AWS、Hadoop、Cloud、Kafka、Docker、Elasticsearch、RabbitMQ、Redis、HBase、Solr、Cassandra、ZooKeeper、HDFS、Yarn、Hive、Presto、Drill、Impala、Consul、Spark、Jenkins、Travis CI、Git、MySQL、Linux、DNS、Whois、SSL 憑證、Yum 安全更新、Kubernetes、Cloudera 等...

定期更新 Hadoop 生態圈中常用大數據組件文件，重心依序為：Flink、Solr、SparkSQL、ES、Scala、Kafka、HBase/Phoenix、Redis、Kerberos（專案包含 Hadoop 思維導圖、Evernote 筆記、Scala 版本簡單 demo、常用工具類、去敏後的 train code，持續更新！！！）

80+ DevOps 與資料 CLI 工具 - AWS, GCP, GCF Python Cloud Functions, Log Anonymizer, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Spark 資料轉換器與驗證器 (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr 等。

本系統是我的畢業設計專案，題目為「基於用戶畫像的電影推薦系統的設計與實現」。主要是以 Django 作為基礎框架，採用 MTV 模式，資料庫使用 MongoDB、MySQL 和 Redis，以從豆瓣平台爬取的電影數據作為基礎資料源，主要基於用戶的基本信息和使用操作記錄等行為信息來開發用戶標籤，並使用 Hadoop、Spark 大數據組件進行分析和處理的推薦系統。管理系統使用的是 Django 自帶的管理系統，並使用 simpleui 進行了美化。

WeDataSphere 是一個金融級的一站式大數據平台套件。

數據血緣追蹤與視覺化解決方案

Venice，用於行星級工作負載的衍生資料平台

電商大數據商品即時推薦系統，Vue + TypeScript + ElementUI + Spring + Spark

Apache Tez