flink

Apache Flink

Flink学習ブログ。http://www.54tianzhisheng.cn/ Flinkの入門、概念、原理、実践、性能チューニング、ソースコード解析などの内容を網羅しています。Flink Connector、Metrics、Library、DataStream API、Table API & SQLなどの学習事例に加え、Flinkの実装適用における大規模プロジェクト事例（PVUV、ログストレージ、百億データリアルタイム重複排除、監視アラート）も共有しています。私のコラム「ビッグデータリアルタイム計算エンジン Flink 実践と性能最適化」をぜひご覧ください。

SQL、Scalaなどを用いたデータ駆動型でインタラクティブなデータ分析および共同ドキュメントを可能にするWebベースのノートブック。

Flink CDCはストリーミングデータ統合ツールである。

CSDNブロガー/専門プログラマー欣宸のGitHub。600以上のオリジナル記事の詳細な分類と要約、および対応するソースコードが格納されており、内容はJava、Docker、Kubernetes、DevOpsなど多岐にわたる。

:helicopter::rocket: Flinkベースの商品リアルタイム推薦システム。Flinkが商品の人気度を統計し、Redisにキャッシュ、ログ情報を分析し、プロファイルタグとリアルタイム記録をHbaseに格納する。ユーザーが推薦リクエストを発行した後、ユーザープロファイルに基づいて人気度リストを再ソートし、協調フィルタリングとタグの2つの推薦モジュールを組み合わせて新しく生成されたリストの各商品に関連商品を付与し、最後に新しいユーザーリストを返す。

データ統合フレームワーク

DinkyはApache Flinkをベースとしたリアルタイムデータ開発プラットフォームであり、アジャイルなデータ開発、デプロイ、運用を可能にする。

Alinkは、アリババのコンピューティングプラットフォームPAIチームによって開発された、Flinkベースの機械学習アルゴリズムプラットフォーム

Apache Paimon は、ストリーミングとバッチ処理の両方において Flink および Spark を用いたリアルタイムレイクハウスアーキテクチャの構築を可能にするレイクフォーマットです。

DataSphereStudio は、データ交換、秘匿化/クレンジング、分析/マイニング、品質測定、可視化、タスクスケジューリングなどのシナリオをカバーする、ワンストップのデータアプリケーション開発・管理ポータルです。

LakeSoul は、高速なデータ取り込み、同時更新、インクリメンタル分析、マルチモーダルデータ処理、ベクトル検索を実現する、エンドツーエンドのリアルタイムクラウドネイティブ Lakehouse フレームワークであり、次世代の BI および AI ワークロードを強力にサポートします。

ビッグデータ学習：ゼロからのビッグデータ学習。各段階の学習動画や面接資料を含みます

深セン地下鉄ビッグデータ旅客流動分析システム🚇🚄🌟

単一の C++ バイナリによる最速の統合型ストリーミング SQL エンジン。⚡ ミリ秒単位のレイテンシ、100+ GB/s のスループット。ストリーム、ログ、メトリクス、イベント、CDC からリアルタイムコンテキストを継続的に計算します。

オープンソースの Flink をベースにリアルタイム SQL を拡張したもの。主にストリームとディメンションテーブルの結合を実装し、ネイティブ Flink SQL のすべての構文をサポートしています。

クラウドネイティブ DataOps & AIOps プラットフォーム

Flinkベースのリアルタイムストリーム計算Webプラットフォーム

ビッグデータ知識リポジトリ。データウェアハウスのモデリング、リアルタイム計算、ビッグデータ、データ中台、システム設計、Java、アルゴリズムなどを含みます。

2000件以上のデータエンジニア面接問題。

Flink、DataX、Flink-CDCをベースにしたWeb-UI付きアジャイルオントロジーDataOpsサポート

Taier は、提出、スケジューリング、運用保守、指標情報の表示を行うビッグデータ開発プラットフォームです。

【2026年最新版】ビッグデータ、データ分析、ECシステム、リアルタイムデータウェアハウス、オフラインデータウェアハウス、データレイクの構築ソリューションおよび実践コード。関連コンポーネント：#flink #paimon #doris #seatunnel #dolphinscheduler #datart #dinky #hudi #iceberg

Apache Amoro(incubating)は、オープンなデータレークフォーマット上に構築されたレークハウス管理システムです。

Apache Flink Kubernetes Operator

UserAgent解析ツールの別実装版

Apache Flink SQL Cookbook は、Apache Flink SQL の例、パターン、ユースケースを厳選したコレクションです。多くのレシピは完全に自己完結しており、Ververica Platform でそのまま実行できます。

LazySquirrel Flink-Bootは、FlinkにSpringエコシステムを完全に統合するためのプロジェクトテンプレートであり、開発者がJava WEB開発の要領で分散ストリーム処理プログラムを作成できるようにします。LazySquirrelにより、分野をまたいだ開発がよりシンプルになります。開発者が低い学習コスト（分散計算の理論知識やFlinkフレームワークの詳細を理解する必要なし）で迅速にビジネスロジックを記述し、コードを実装できるようにすることを目的としています。大規模プロジェクトの開発におけるアジャイル性をさらに高めるため、このテンプレートはデフォルトでBean管理用のSpringフレームワークを統合し、マイクロサービスやWEB開発でよく使われるフレームワークを組み込むことで開発速度を加速させます。例えば、Mybatis ORMフレームワーク、Hibernate Validator検証フレームワーク、Spring Retryリトライフレームワークなどが統合されています。詳細は以下のテンプレートの機能をご覧ください。

データをより深く理解する！Datavines はメタデータ管理とデータ品質をサポートする次世代データ可観測性プラットフォームです。

リアルタイムデータの操作を自動化するローコードツール | ユーザー向けストリーム処理。