bigdata

Apache Spark向けのC#およびF#言語バインディングと拡張機能

データサイエンス向けGUIベースPythonコードジェネレーター、Jupyter Lab、Jupyter Notebook、Google Colabの拡張機能

TiDB/TiKV の上で Apache Spark を実行するための TiSpark

LazySquirrel Flink-Bootは、FlinkにSpringエコシステムを完全に統合するためのプロジェクトテンプレートであり、開発者がJava WEB開発の要領で分散ストリーム処理プログラムを作成できるようにします。LazySquirrelにより、分野をまたいだ開発がよりシンプルになります。開発者が低い学習コスト（分散計算の理論知識やFlinkフレームワークの詳細を理解する必要なし）で迅速にビジネスロジックを記述し、コードを実装できるようにすることを目的としています。大規模プロジェクトの開発におけるアジャイル性をさらに高めるため、このテンプレートはデフォルトでBean管理用のSpringフレームワークを統合し、マイクロサービスやWEB開発でよく使われるフレームワークを組み込むことで開発速度を加速させます。例えば、Mybatis ORMフレームワーク、Hibernate Validator検証フレームワーク、Spring Retryリトライフレームワークなどが統合されています。詳細は以下のテンプレートの機能をご覧ください。

Akka をベースにした軽量なリアルタイムビッグデータストリーミングエンジン

DataWaveは、Apache Accumuloを活用して高速で安全なデータアクセスを提供するインジェスト/クエリフレームワークです。

ビジュアル大画面ソリューション。ビジュアル編集エンジンを提供し、個人や企業が独自のリッチなビジュアル大画面アプリを簡単にカスタマイズできるように支援します。

WeDataSphereは、金融グレードのワンストップ・ビッグデータプラットフォームスイートです。

高速なトピックモデリングプラットフォーム。

データリネージの追跡および可視化ソリューション

Datafaker は、大規模なテストデータおよびフローテストデータの生成ツールです。データを偽装してさまざまなデータソースに挿入します。

AI 向けのオープンソースコンテキストレイヤー。テーブル、トピック、キュー、API をカタログ化し、実際のメタデータを AI エージェントに提供します。

テスト環境用のシンプルな Spark スタンドアロンクラスター

Apache Hudi関連資料のまとめ

ビッグデータ収集・抽出プラットフォーム。zdh_webはzdhシリーズサービスのビジュアル管理プラットフォームであり、データ収集、スケジューリング、権限管理、承認ワークフロー、プライベートドメインマーケティングなどのモジュールを含みます。

円グラフを構築するためのd3ライブラリ

ECビッグデータ商品リアルタイム推薦システム、Vue + TypeScript + ElementUI + Spring + Spark

高速性に特化し、MinIO や RustFS のオープンな代替となるよう設計された、高性能で分散型の S3 互換オブジェクトストレージ。