data-engineering

SQL Translatorは、AIを用いて自然言語のクエリをSQLコードに変換するツール。本プロジェクトは100%無料かつオープンソースです。

pandas on AWS - Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer, S3 (Parquet, CSV, JSON, EXCEL) との容易な統合

データエンジニアリングをゼロから学ぶための有用なリソースリスト

Maestro: Netflixのワークフローオーケストレーター

超高速なデータラングリングツールキット

Memphis.devは、スケーラビリティが高く手軽なデータストリーミングプラットフォームです

本番環境グレードのMLアプリケーションの設計、開発、デプロイ、およびイテレーションの方法を学ぶ。

Rustで書かれた Apache Spark のドロップイン代替であり、バッチ処理、ストリーム処理、および計算負荷の高いAIワークロードを統合します。

オープンソースのデータエンジニアリングプロジェクトのまとめリスト

:bar_chart: D3をベースに構築された、モジュール型のチャートコンポーネントライブラリ

LLM、エージェント、RAG、ファインチューニング、LLMOps、AIシステム技術を活用して「セカンドブレイン」AIアシスタントの構築を学ぶ。

Meltano: データおよび ML 駆動型の製品アイデアを実現する、宣言型のコードファーストデータ統合エンジン。API 統合の記述、保守、スケーリングの手間から解放されます。

Apache Hamiltonは、データサイエンティストやエンジニアが、テスト可能でモジュール式かつ自己文書化されたデータフローを定義するのを支援します。データ系統やメタデータを含み、Pythonが動作するすべての環境で実行・スケールします。

RAG の新しい SOTA——人間とエージェントのための独自の検索アーキテクチャおよびオープンソースのナレッジベース。

ユーザーエンゲージメントを向上させる、記事、リスティング、検索結果、レコメンデーション向けのローコード機械学習パーソナライズランキングサービス。使いやすいLearn-to-Rankエンジン

モダンデータスタック向けのデータコントラクトエンジン。https://www.soda.io

Datartは次世代のデータ可視化オープンプラットフォームです

Python ストリーム処理

データエンジニアリングを学ぶための最適な場所。データエンジニアリングコミュニティによって構築・維持されています。

Feathr – エンタープライズ向けの拡張可能で統合されたデータおよび AI エンジニアリングプラットフォーム

厳選された素晴らしい dbt リソースのリスト

2000件以上のデータエンジニア面接問題。

MLRunは、ライフサイクル全体を通じて継続的なMLアプリケーションを迅速に構築・管理するためのオープンソースのMLOpsプラットフォームです。開発およびCI/CD環境に統合され、本番データ、MLパイプライン、オンラインアプリケーションの配信を自動化します。

オープンソースの Reverse ETL。hightouch や census の代替ツール

データサイエンス、データエンジニアリング、機械学習、ディープラーニング、コンピュータサイエンス、プログラミング、ソフトウェアエンジニアリングなどの分野における 180 以上の YouTube チャンネルの包括的なリスト

👾 naoはオープンソースの分析エージェントです。(1) nao-core CLIでコンテキストを作成し、(2) 誰でも使えるnaoチャットインターフェースをデプロイします

:bar_chart: :clipboard: YAML または JSON ファイルを使用したダッシュボード

ktxは、データおよび分析エージェント向けの実行可能なコンテキストレイヤーです。Claude Code、Codex、その他のAIエージェントが、企業の完全なコンテキストを把握して分析データベースを正確にクエリできるようにします。

Kafka 向け Python ストリーミング DataFrame

Python の並行処理をシンプルに