deduplication

高速で安全かつ効率的なバックアッププログラム

Windows、macOS、Linux向けのクロスプラットフォームバックアップツール。高速な増分バックアップ、クライアントサイドのエンドツーエンド暗号化、圧縮、データ重複排除に対応。CLIおよびGUIを含む。

圧縮と認証付き暗号化を備えた重複排除アーカイバ。

Prometheus Alertmanager

重複ファイルを検索する

世界中の住所を解析・正規化するためのCライブラリ。統計的NLPとオープンジオデータによって動作します。

rustic - Rust 製の高速で暗号化および重複排除に対応したバックアップツール

Linux、FreeBSD、macOS、Windows 向けの高速で高圧縮な読み取り専用ファイルシステム

ファイルシステムから重複やその他の不要なファイルを削除するための極めて高速なツール

複数のSQLバックエンドをサポートする、高速、正確かつスケーラブルな確率的データ連係ライブラリ。

サーバーおよびワークステーション向けの、設定駆動型でシンプルなバックアップソフトウェア

Kloset と ptar を活用したバックアップソリューション plakar

設定駆動型で使いやすいrestic用のバックアップCLI。

LLM向けのスケーラブルなデータ前処理およびキュレーションツールキット

複雑な Borg Backup のターミナルコマンドを美しい Web UI に置き換えます。わずか数クリックでバックアップの作成、スケジュール設定、復元を行います。

ML を活用したスケーラブルなマスターデータ管理、ID 解決、エンティティ解決、および重複排除

Pythonでのレコード連結と重複検出のための、強力かつモジュール式のツールキット

高速なマルチモーダルセマンティック重複排除＆フィルタリング。

GenAIアプリケーション向けデータ準備オープンソースプロジェクト

PostgreSQL でよくあるタスク（データの取得と変更、クエリの高速化、DB のメンテナンス）に向けた準備済み SQL クエリ集

JavaScript 向けの直感的なファジーマッチング、情報検索、および NLP 構築ブロック。