hadoop

데이터 과학 Python 노트북: 딥러닝(TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, 빅데이터(Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, Python 기초, AWS 및 다양한 커맨드라인.

Luigi는 복잡한 배치 작업 파이프라인 구축을 돕는 Python 모듈입니다. 의존성 해결, 워크플로우 관리, 시각화 등을 처리합니다. Hadoop 지원도 기본 내장되어 있습니다.

🏆 실시간 노코드, 강력하고 안전한 ORM 🚀 백엔드 코딩 없이 API 및 문서 제공, 프론트엔드(클라이언트)에서 응답 JSON 커스텀 가능 🏆 실시간 노코드, 풀기능, 고안전 ORM 라이브러리 🚀 백엔드 인터페이스와 문서 노코드, 프론트엔드(클라이언트)가 반환 JSON 데이터와 구조 커스텀

빅데이터 입문 가이드 :star:

빅데이터를 위한 Presto 분산 SQL 쿼리 엔진의 공식 홈페이지

Apache Hadoop

JVM을 사용하여 딥러닝 모델을 배포하고 학습하기 위한 도구 모음입니다. keras, tensorflow, onnx/pytorch 모델 가져오기, 수학 코드 실행을 위한 모듈식 소형 C++ 라이브러리, 코어 C++ 라이브러리 기반의 Java 수학 라이브러리가 주요 특징입니다. 또한 딥러닝 실행을 위한 pytorch/tensorflow 유사 라이브러리인 samediff도 포함되어 있습니다.

빅데이터를 위한 분산 SQL 쿼리 엔진 Trino(구 PrestoSQL)의 공식 저장소 (https://trino.io)

1200개 이상의 DevOps Bash 스크립트 - AWS, GCP, Kubernetes, Docker, CI/CD, API, SQL, PostgreSQL, MySQL, Hive, Impala, Kafka, Hadoop, Jenkins, GitHub, GitLab, BitBucket, Azure DevOps, TeamCity, Spotify, MP3, LDAP, 코드/빌드 린팅, Linux/Mac/Python/Perl/Ruby/NodeJS/Golang 패키지 관리, 고급 dotfiles: .bashrc, .vimrc, .gitconfig, .screenrc, tmux..

LinkedIn에서는 신입 SRE 직군의 온보딩을 위해 이 커리큘럼을 사용하고 있습니다.

H2O는 오픈 소스 분산형 고성능 확장 가능한 머신러닝 플랫폼입니다: 딥러닝, 그래디언트 부스팅(GBM) 및 XGBoost, 랜덤 포레스트, 일반화 선형 모델(Elastic Net이 포함된 GLM), K-Means, PCA, 일반화 가법 모델(GAM), RuleFit, 서포트 벡터 머신(SVM), 스택 앙상블, 자동 머신러닝(AutoML) 등

클라우드 분석 및 머신러닝을 위한 데이터 오케스트레이션, Alluxio

Apache Hive

Apache Calcite

Apache Ignite

Apache Nutch는 확장 가능하고 확장성 있는 웹 크롤러입니다.

DataSphereStudio는 데이터 교환, 마스킹/클렌징, 분석/마이닝, 품질 측정, 시각화, 작업 스케줄링 등의 시나리오를 아우르는 원스톱 데이터 애플리케이션 개발 및 관리 포털입니다.

빅데이터 학습, 제로 베이스 빅데이터 학습, 각 단계별 학습 동영상 및 면접 자료 포함

선전 지하철 빅데이터 승객 흐름 분석 시스템🚇🚄🌟

Apache Kyuubi는 데이터 웨어하우스와 레이크하우스에서 서버리스 SQL을 제공하기 위한 분산 및 멀티태넌트 게이트웨이입니다.

Apache Hadoop 도커 이미지

Hadoop 윈도우용 winutils.exe, hadoop.dll 및 hdfs.dll 바이너리

Apache Drill은 자체 설명 데이터(self-describing data)를 위한 분산 MPP 쿼리 레이어입니다.

빅데이터 지식 저장소로 데이터웨어하우스 모델링, 실시간 연산, 빅데이터, 데이터 중대(Mid-end), 시스템 설계, Java, 알고리즘 등을 다룹니다.

Hadoop 기반 AI

2,000개가 넘는 데이터 엔지니어 면접 질문 모음

고성능 데이터 저장소 솔루션

RDBMS와 NoSQL 간에 데이터를 원활하게転송할 수 있는 빠르고 다기능적인 ETL 도구

Docker 및 Kubernetes를 위한 50개 이상의 DockerHub 공개 이미지 - DevOps, CI/CD, GitHub Actions, CircleCI, Jenkins, TeamCity, Alpine, CentOS, Debian, Fedora, Ubuntu, Hadoop, Kafka, ZooKeeper, HBase, Cassandra, Solr, SolrCloud, Presto, Apache Drill, Nifi, Spark, Consul, Riak

Taier는 제출, 스케줄링, 운영 및 유지보수, 지표 정보 표시를 지원하는 빅데이터 개발 플랫폼입니다.