spark

LakeSoul は、高速なデータ取り込み、同時更新、インクリメンタル分析、マルチモーダルデータ処理、ベクトル検索を実現する、エンドツーエンドのリアルタイムクラウドネイティブ Lakehouse フレームワークであり、次世代の BI および AI ワークロードを強力にサポートします。

ビッグデータ学習：ゼロからのビッグデータ学習。各段階の学習動画や面接資料を含みます

Kubernetes 上で Apache Spark アプリケーションのライフサイクルを管理するための Kubernetes オペレーター。

Apache Spark 用の REST ジョブサーバー

コンシューマー向けおよび異種混在ハードウェア向けのLLM推測的推論サーバー。

Spring Bootベースの高速学習サンプル。RabbitMQ（遅延キュー）、Kafka、JPA、Redis、OAuth2、Swagger、JSP、Docker、K3s、K3d、K8s、MyBatis暗号化・復号プラグイン、例外処理、ログ出力、マルチモジュール開発、マルチ環境パッケージング、キャッシュ、Webスクレイピング、JWT、GraphQL、Dubbo、ZooKeeper、Asyncなど、自身が遭遇したオープンソースフレームワークを統合しています。

深セン地下鉄ビッグデータ旅客流動分析システム🚇🚄🌟

Go言語で書かれた、Webベースでクロスプラットフォーム対応の多機能なリモート管理ツール（RAT）。どこからでもすべてのデバイスを制御可能。

複数のSQLバックエンドをサポートする、高速、正確かつスケーラブルな確率的データ連係ライブラリ。

Apache Kyuubiは、データウェアハウスやレイクハウス上でサーバーレスSQLを提供する、分散型かつマルチテナント対応のゲートウェイです。

TransmogrifAIは、最小限の手動調整でApache Spark上にモジュール式で再利用可能な、型安全な機械学習ワークフローを構築するためのAutoMLライブラリです。

スケーラブルかつフォールトトレラントなオープンソースのビッグデータプラットフォーム YTsaurus

クアッドコプターを中心に、DJI 製品のファームウェアを処理するためのツール。

分散処理のための統一インターフェース。Fugue はコードを書き直すことなく、Spark、Dask、Ray上で SQL、Python、Pandas、Polars のコードを実行します。

Scala 向けのコンパイル時言語統合クエリ。

.NET for Apache® Spark™ により、.NET 開発者が Apache Spark™ を簡単に利用できるようになります。

GATK バージョン 4 以降の公式コードリポジトリ

Apache Spark用Apache Cassandraコネクタ

ビッグデータ知識リポジトリ。データウェアハウスのモデリング、リアルタイム計算、ビッグデータ、データ中台、システム設計、Java、アルゴリズムなどを含みます。

分散型計算フレームワーク（例: Spark）向けの Auron アクセラレータは、ネイティブなベクトル化実行を活用してクエリ処理を高速化します

バックエンド (Java、Golang) フルスタック知識アーキテクチャ体系のまとめ

ApacheCN オープンソース組織：お知らせ、紹介、メンバー、活動、交流方法

2000件以上のデータエンジニア面接問題。

Elassandra = Elasticsearch + Apache Cassandra

IPython / Jupyterノートブック形式のビッグデータ分析および機械学習向けApache Spark & Python (pySpark) チュートリアル

Jupyter 用の Scala カーネル

Apache Spark の内部構造

MLeap：ML パイプラインを本番環境にデプロイする

:truck: Pandas、Dask、cuDF、Dask-cuDF、Vaex、PySpark を使ったアジャイルなデータ前処理ワークフローを簡単に実現

Nessie: Gitのようなセマンティクスを持つデータレイク用トランザクションカタログ