spark

Data Engineering Zoomcampは、本番環境対応のデータパイプラインを構築するための無料の9週間コースです。次のコホートは2026年1月に開始します。こちらからコースに参加してください 👇🏼

Apache Spark - 大規模データ処理のための統合分析エンジン

データサイエンス用Pythonノートブック：ディープラーニング (TensorFlow, Theano, Caffe, Keras)、scikit-learn、Kaggle、ビッグデータ (Spark, Hadoop MapReduce, HDFS)、matplotlib、pandas、NumPy、SciPy、Pythonの基礎、AWS、および各種コマンドライン。

貴社のデータをデータドリブンに。あらゆるデータソースに接続し、データを簡単に可視化、ダッシュボード化、共有できます。

最新のDockerコンテナ技術を、実際の事例からベストプラクティスを学ぶ！| 実際のDevOps実践を通じて、Docker＆Container技術を学習・理解

大データ入門ガイド :star:

世界を支配するためのデータサイエンスチートシート一覧

ChatGPT APIおよび多数のLLM用のGUI。エージェント、ファイルベースのQA、GPTファインチューニング、Web検索とのクエリに対応。すべてが洗練されたUIで提供される。

Flink学習ブログ。http://www.54tianzhisheng.cn/ Flinkの入門、概念、原理、実践、性能チューニング、ソースコード解析などの内容を網羅しています。Flink Connector、Metrics、Library、DataStream API、Table API & SQLなどの学習事例に加え、Flinkの実装適用における大規模プロジェクト事例（PVUV、ログストレージ、百億データリアルタイム重複排除、監視アラート）も共有しています。私のコラム「ビッグデータリアルタイム計算エンジン Flink 実践と性能最適化」をぜひご覧ください。

【大手企業面接専門コラム】Javaプログラマーが必要とする技術ガイド。面接問題、システムアーキテクチャ、キャリアの秘訣、主要なミドルウェアなど、あなたをより優れた存在にするための情報を提供します！

JVMを使用してディープラーニングモデルをデプロイおよびトレーニングするためのツールのスイート。主な機能には、keras、tensorflow、onnx/pytorch用のモデルインポート、数学コードを実行するためのモジュール式で軽量なc++ライブラリ、およびコアc++ライブラリ上に構築されたJavaベースの数学ライブラリが含まれます。また、samediffも含まれており、これはディープラーニングを実行するためのpytorch/tensorflowライクなライブラリです...

Python用SQLパーサーおよびトランスパイラ

Spark、PrestoDB、Flink、Trino、HiveなどのコンピューティングエンジンとAPIを備えたLakehouseアーキテクチャを構築できるオープンソースのストレージフレームワーク。

🧙 データ統合および変換のためのデータパイプラインの構築、実行、管理。

H2Oは、オープンソースで分散型、高速かつスケーラブルな機械学習プラットフォームです。ディープラーニング、Gradient Boosting (GBM) & XGBoost、Random Forest、一般化線形モデル (Elastic Net付きGLM)、K-Means、PCA、一般化加法モデル (GAM)、RuleFit、サポートベクターマシン (SVM)、スタックドアンサンブル、自動機械学習 (AutoML) など。

クラウド上での分析および機械学習のためのデータオーケストレーションツール Alluxio

大規模機械学習のための柔軟かつ強力なParameter Server。

SQL、Scalaなどを用いたデータ駆動型でインタラクティブなデータ分析および共同ドキュメントを可能にするWebベースのノートブック。

Spark向けにMLアルゴリズムを移植した、シンプルで分散型の機械学習Pythonライブラリ。

cube studioは、オープンソースのクラウドネイティブなオールインワン機械学習/深層学習/大規模モデルAIプラットフォームです。MLOpsのアルゴリズムリンク全工程、コンピューティングリソースレンタルプラットフォーム、ノートブックオンライン開発、ドラッグ＆ドロップによるタスクフローパイプラインオーケストレーション、マルチマシン/マルチGPU分散学習、ハイパーパラメータ探索、推論サービスVGPU仮想化、エッジコンピューティング、アノテーションプラットフォームの自動アノテーション、deepseekなどの大規模モデルのSFTファインチューニング/報酬モデル/強化学習トレーニング、vllm/ollama/mindieによる大規模モデルのマルチマシン推論、プライベートナレッジベース、AIモデルマーケットをサポートし、国産CPU/GPU/NPU（昇騰エコシステム）をサポート、RDMAをサポート、pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcanoなどの分散処理をサポートします。

最先端の自然言語処理 (State of the Art Natural Language Processing)。

The Hunting ELK

Javaにおけるより優れた圧縮ビットセット: Apache Spark、Netflix Atlas、Apache Pinot、Tablesawなど、多数で使用されています

Deequ は Apache Spark を基盤として構築されたライブラリであり、大規模データセットのデータ品質を測定する「データの単体テスト」を定義します

JSON を使用して構造化された SQL 文を生成します。Vue3 + TypeScript + Vite + Ant Design + MonacoEditor をベースに実装されており、シンプルなプロジェクト（ロジック重視、画面は軽量）で練習用に最適です。

Apache Linkis は、上位アプリケーションと基盤データエンジンの間の接続、ガバナンス、オーケストレーションを容易にする計算ミドルウェア層を構築します

Apache Paimon は、ストリーミングとバッチ処理の両方において Flink および Spark を用いたリアルタイムレイクハウスアーキテクチャの構築を可能にするレイクフォーマットです。

Koalas: Apache Spark上のpandas API

Rustで書かれた Apache Spark のドロップイン代替であり、バッチ処理、ストリーム処理、および計算負荷の高いAIワークロードを統合します。

DataSphereStudio は、データ交換、秘匿化/クレンジング、分析/マイニング、品質測定、可視化、タスクスケジューリングなどのシナリオをカバーする、ワンストップのデータアプリケーション開発・管理ポータルです。