bigdata

データエンジニアリングについて学びたいと思うことすべてへのリンクを集めたリポジトリ

🚀MinIO比4KBオブジェクトペイロードで2.3倍高速。RustFSは、MinIOやCephなどの他のS3互換プラットフォームとの移行と共存をサポートするオープンソースのS3互換高性能オブジェクトストレージシステムである。

産業用IoT (IIoT) シナリオ向けに設計された、高性能でスケーラブルな時系列データベース

分散SQLを活用し、すべてのデータベースにおけるシャーディング、スケーラビリティ、セキュリティを強化してデータインテリジェンスを推進

大データ入門ガイド :star:

優れたビッグデータフレームワーク、リソース、その他の機能を厳選したリスト。

JuiceFSは、RedisとS3を基盤とした分散POSIXファイルシステムです。

Data Agent Ready Warehouse：Analytics、Search、AI、Python Sandboxのための統合倉庫。—ゼロから再構築。S3上の統一アーキテクチャ。

Python、ML、可視化、および1秒あたり数十億行のビッグテーブルデータの探索のための、Out-of-CoreハイブリッドApache Arrow/NumPy DataFrame 🚀

ビッグデータにおけるUpserts、削除、およびインクリメンタル処理

クラウドネイティブバッチシステム（CNCFプロジェクト）。

100以上のビッグデータ可視化向け豪華な大画面HTML5テンプレート。業界別（コミュニティ、不動産、行政、交通、金融銀行など）で網羅しており、全ウェブで最新、最多、完全、最もクールで華やかなビッグデータ可視化テンプレートです。順次更新中。

データ統合フレームワーク

JSON を使用して構造化された SQL 文を生成します。Vue3 + TypeScript + Vite + Ant Design + MonacoEditor をベースに実装されており、シンプルなプロジェクト（ロジック重視、画面は軽量）で練習用に最適です。

Apache Avroはデータシリアライゼーションシステムです。

ビッグデータ学習：ゼロからのビッグデータ学習。各段階の学習動画や面接資料を含みます

GridDB は、時系列 IoT やビッグデータを高速かつ容易にする次世代オープンソースデータベースです。

Aix-DB は LangChain/LangGraph フレームワークをベースにし、MCP Skills マルチエージェント協調アーキテクチャと結合して、自然言語からデータ洞察へのエンドツーエンドの変換を実現します。

.NET for Apache® Spark™ により、.NET 開発者が Apache Spark™ を簡単に利用できるようになります。

オープンソースの Flink をベースにリアルタイム SQL を拡張したもの。主にストリームとディメンションテーブルの結合を実装し、ネイティブ Flink SQL のすべての構文をサポートしています。

Byzer（旧MLSQL）：データパイプライン、分析、AIのためのローコード・オープンソースプログラミング言語。

ビッグデータ知識リポジトリ。データウェアハウスのモデリング、リアルタイム計算、ビッグデータ、データ中台、システム設計、Java、アルゴリズムなどを含みます。

分散ビッグデータオーケストレーションサービス

Google、Naver マルチプロセス画像ウェブクローラー (Selenium)

IPython / Jupyterノートブック形式のビッグデータ分析および機械学習向けApache Spark & Python (pySpark) チュートリアル

:truck: Pandas、Dask、cuDF、Dask-cuDF、Vaex、PySpark を使ったアジャイルなデータ前処理ワークフローを簡単に実現

初のオープンソースデータディスカバリーおよび観測可能性プラットフォーム。データ実務者の作業を簡素化し、ビジネスに集中できるようにします。

Apache Celeborn は、シャッフルおよびスピルデータ向けのエラスティックで高性能なサービスです

ClickHouse 向けの Go 言語によるデータ同期ツール

Apache Livy は、どこからでも Apache Spark と対話するためのオープンソース REST インターフェースです。