hadoop

데이터 분석 및 객체 저장소 워크로드에 최적화된 확장 가능하고 안정적인 분산 스토리지 시스템

450개 이상의 AWS, Hadoop, Cloud, Kafka, Docker, Elasticsearch, RabbitMQ, Redis, HBase, Solr, Cassandra, ZooKeeper, HDFS, Yarn, Hive, Presto, Drill, Impala, Consul, Spark, Jenkins, Travis CI, Git, MySQL, Linux, DNS, Whois, SSL Certs, Yum 보안 업데이트, Kubernetes, Cloudera 등...

Hadoop 생태계의 주요 빅데이터 컴포넌트 문서 정기 업데이트 (중점 순서: Flink, Solr, SparkSQL, ES, Scala, Kafka, HBase/Phoenix, Redis, Kerberos)

80개 이상의 DevOps 및 데이터 CLI 도구 - AWS, GCP, GCF Python Cloud Functions, 로그 익명화 도구, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Spark 데이터 변환기 및 검증기(Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr 등

사용자 프로필 기반 영화 추천 시스템의 설계 및 구현 졸업 설계 프로젝트. Django 기반 MTV 패턴을 사용하며 MongoDB, MySQL, Redis를 데이터베이스로 활용. Douban에서 크롤링한 영화 데이터를 기반으로 사용자의 기본 정보와 행동 로그를 분석해 사용자 태그를 개발하고, Hadoop과 Spark 빅데이터 컴포넌트로 분석 및 처리하는 추천 시스템. 관리자 시스템은 Django 기본 관리 시스템에 simpleui를 적용해 미화함

WeDataSphere는 금융 등급의 원스톱 빅데이터 플랫폼 스위트입니다.

데이터 계보 추적 및 시각화 솔루션

Venice, 대규모 워크로드를 위한 파생 데이터 플랫폼

이커머스 빅데이터 상품 실시간 추천 시스템 (Vue + TypeScript + ElementUI + Spring + Spark)

Apache Tez