data-quality

本番環境レベルのMLアプリケーションを開発、デプロイ、反復的に改善する方法を学ぶ。

📚 データサイエンスおよび機械学習を本番環境で利用する際の企業の論文や技術ブログ。

DataとAIのためのオープンコンテキストレイヤー。OpenMetadataは、人間、AIアシスタント、エージェントのために信頼できるデータコンテキストとビジネスセマンティクスを構築するためのオープンプラットフォームです。

PandasおよびSpark DataFrame向けの1行コードでのデータ品質プロファイリングと探索的データ分析。

常にデータから何が期待できるかを知っておくこと。

Cleanlabのオープンソースライブラリは、実世界のノイズの多いデータとラベルに対応した、データ品質および機械学習のための標準的なデータ中心AIパッケージです。

高品質なデータセットとビジュアルAIモデルの洗練

EvidentlyはオープンソースのMLおよびLLMオブザーバビリティフレームワークです。表形式データからGen AIまで、あらゆるAI駆動システムやデータパイプラインを評価、テスト、監視できます。100以上のメトリクスを提供。

AI/ML向けオープンソースFeature Store。

lakeFS - データレイクのためのデータバージョン管理 | データのためのGit

本番環境グレードのMLアプリケーションの設計、開発、デプロイ、およびイテレーションの方法を学ぶ。

機械学習モデルとデータパイプライン向けのオープンソースデータロギングライブラリ。📚 時間経過に伴うデータ品質とモデルパフォーマンスの可視化を提供。🛡️ プライバシーを保護するデータ収集をサポートし、安全性と堅牢性を確保。📈

モダンデータスタック向けのデータコントラクトエンジン。https://www.soda.io

バーチャル Feature Store。既存のデータインフラストラクチャを Feature Store に変換します。

Feathr – エンタープライズ向けの拡張可能で統合されたデータおよび AI エンジニアリングプラットフォーム

LLM向けのスケーラブルなデータ前処理およびキュレーションツールキット

re_data - ユーザーや CEO に見つかる前にデータの問題を修正します 😊

初のオープンソースデータディスカバリーおよび観測可能性プラットフォーム。データ実務者の作業を簡素化し、ビジネスに集中できるようにします。

独自のサーバーやクラウドにデプロイできるオープンソースのETL/ELT。DuckDBをベースに構築：ノーコード／ローコードのビジュアルパイプラインまたはSQL、385のコンポーネント、dbt、CDC、データ品質、リバースETL、リネージ、AIエージェント向けMCP。ベンダーのクラウドや行ごとの課金はありません。

画像データセットの問題を自動的に検出し、データ中心のコンピュータビジョンを実践する

データ中心型 AI リソースの厳選された（ただし網羅的ではない）リスト。

Open Data Contract Standard (ODCS) の公式リポジトリ

素晴らしいデータカタログとオブザーバビリティプラットフォームのまとめ

データ契約の強制

データフレームおよびデータベーステーブルのデータ品質評価とメタデータレポート

自動単位エラー検出のための本番グレードのMLシステム | 精度 88-92% | 自律度 94% | KNIMEワークフロー

Qualitisは、さまざまなデータソースに対する品質検証、通知、管理をサポートするワンストップのデータ品質管理プラットフォームです。データ処理によって引き起こされるさまざまなデータ品質問題を解決するために使用されます。https://github.com/WeBankFinTech/Qualitis

データをより深く理解する！Datavines はメタデータ管理とデータ品質をサポートする次世代データ可観測性プラットフォームです。

機械学習プロジェクトの失敗に関する、注目度の高い現実世界の事例集

Dingo: 包括的な AI データ、モデル、およびアプリケーションの品質評価ツール