hadoop

データ分析やオブジェクトストレージのワークロードに最適化された、スケーラブルで信頼性の高い分散ストレージシステム。

AWS、Hadoop、Cloud、Kafka、Docker、Elasticsearch、RabbitMQ、Redis、HBase、Solr、Cassandra、ZooKeeper、HDFS、Yarn、Hive、Presto、Drill、Impala、Consul、Spark、Jenkins、Travis CI、Git、MySQL、Linux、DNS、Whois、SSL 証明書、Yum セキュリティアップデート、Kubernetes、Cloudera など 450 以上のツール・技術

Hadoop エコシステムの一般的なビッグデータコンポーネントのドキュメントを定期的に更新。主な重点：Flink、Solr、SparkSQL、ES、Scala、Kafka、Hbase/phoenix、Redis、Kerberos（プロジェクトには Hadoop のマインドマップ、Evernote/印象筆記、Scala の簡単なサンプル、一般的なユーティリティクラス、機密情報をマスクしたトレーニングコードが含まれており、継続的に更新されます！）

80以上のDevOpsおよびデータCLIツール - AWS、GCP、GCF Python Cloud Functions、ログ匿名化ツール、Spark、Hadoop、HBase、Hive、Impala、Linux、Docker、Sparkデータコンバーターおよびバリデーター（Avro/Parquet/JSON/CSV/INI/XML/YAML）、Travis CI、AWS CloudFormation、Elasticsearch、Solrなど

「ユーザプロファイルに基づく映画推薦システムの設計と実装」をテーマとした卒業設計プロジェクト。Django フレームワーク（MTV パターン）をベースに構築されており、データベースには MongoDB、MySQL、Redis を使用しています。豆瓣（Douban）プラットフォームからスクレイピングした映画データを基礎データソースとし、ユーザの基本情報や操作履歴などの行動情報に基づいてユーザータグを開発します。また、Hadoop や Spark などのビッグデータコンポーネントを使用して分析・処理を行う推薦システムです。管理システムには Django 標準のものを使用し、simpleui で装飾しています。

WeDataSphereは、金融グレードのワンストップ・ビッグデータプラットフォームスイートです。

データリネージの追跡および可視化ソリューション

Venice：スケールワークロード向けの派生データプラットフォーム。

ECビッグデータ商品リアルタイム推薦システム、Vue + TypeScript + ElementUI + Spring + Spark

Apache Tez