dataops

マルチモーダルAIのためのオープンLakehouseフォーマット。2行のコードでParquetから変換可能で、ランダムアクセス、ベクトルインデックス、データバージョン管理が100倍高速化。Pandas、DuckDB、Polars、Pyarrow、PyTorchと互換性があり、さらなる統合が予定されています。

Redpanda Consoleは、Kafka/Redpandaのワークロードを管理するための開発者フレンドリーなUIです。Consoleは、トピックの可視化、データマスキング、コンシューマグループの管理、タイムトラベルデバッグによるリアルタイムデータの探索を、シンプルでインタラクティブなアプローチで提供します。

スケーラブルで効率的なデータ変換フレームワーク - dbt と下位互換性があります。

機械学習モデルとデータパイプライン向けのオープンソースデータロギングライブラリ。📚 時間経過に伴うデータ品質とモデルパフォーマンスの可視化を提供。🛡️ プライバシーを保護するデータ収集をサポートし、安全性と堅牢性を確保。📈

Meltano: データおよび ML 駆動型の製品アイデアを実現する、宣言型のコードファーストデータ統合エンジン。API 統合の記述、保守、スケーリングの手間から解放されます。

データおよびアナリティクスエンジニア向けの dbt ネイティブなデータ可観測性ソリューション。数分でデータパイプラインを監視できます。プレミアム機能を備えたセルフホストまたはクラウドサービスとして利用可能です。

開発用の Kafka Docker。Kafka、Zookeeper、Schema Registry、Kafka-Connect、20 以上のコネクタを同梱

クラウドネイティブ DataOps & AIOps プラットフォーム

Flink、DataX、Flink-CDCをベースにしたWeb-UI付きアジャイルオントロジーDataOpsサポート

素晴らしいデータカタログとオブザーバビリティプラットフォームのまとめ

Optimusは、データ変換、データモデリング、パイプライン、データ品質管理のための、使いやすく信頼性の高い高性能なワークフローオーケストレーターです。

Tenzir はセキュリティチーム向けのデータパイプラインエンジンです。

Polyaxon の AI/ML/データ追跡、視覚化、説明可能性、ドリフト検出、ダッシュボード用エンジン