text-processing

PyMuPDFは、PDF（およびその他の）ドキュメントのデータ抽出、分析、変換、操作のための高性能なPythonライブラリです。

直感的な検索＆置換CLI (sedの代替)

PEG パーサーを作成するための Python ライブラリ

テキスト分類アルゴリズムのサーベイ論文

AI支援によるドラフトの可読性と自然なリズムを向上させるためのオープンソースパイプラインおよびリファレンス実装。

Rust向けの高速で便利なファジーマッチャーライブラリ

ペルシャ語 NLP ツールキット

短文や多言語混在テキストに適した、Go 向けの高精度な自然言語検出ライブラリ。

RustによるAho-Corasickアルゴリズムの高速な実装

テキストの行をツリー構造に変換するプログラム

Pythonによるタイ語自然言語処理

高パフォーマンスで CommonMark 準拠の HTML から Markdown への変換ツール。Kreuzberg チームによって保守されています。Kreuzberg は、Rust コアを持つ高速な多言語ドキュメントインテリジェンスエンジンです。ストリーミングパーサーと組み込み OCR を使用して、98以上のドキュメントフォーマットから構造化データを抽出します。

テキスト正規化と逆テキスト正規化

オールインワンのテキスト重複排除ツール

cut(1) コマンドのシャープなクローン。

text-humanizerは、AIが生成したテキストを「人間らしい」バージョンに変換するように設計されたオープンソースプロジェクトです。TurnitinやGPTZeroなどのほとんどのAIチェッカーをバイパスします。

人の名前を個別の構成要素に解析するためのシンプルな Python モジュール

Ekphrasis は、Twitter や Facebook などのソーシャルネットワーク上のテキストに特化したテキスト処理ツールです。2つの大規模コーパス（英語 Wikipedia、英語ツイート3億3千万件）の単語統計を使用し、トークン化、単語の正規化、単語の分割（ハッシュタグ用）、スペル修正を実行します。

オープンソースの韓国語テキスト処理プロセッサ

PDF や EPUB をオーディオブックに、字幕や動画を（翻訳を含む）吹き替え動画に変換するなど。無料で使用できます。Pandrator は、音声クローン（インスタント、RVC 拡張、XTTS ファインチューニング）や LLM 処理などのローカルモデルを使用します。GUI、インストーラー、オールインワンパッケージを備えた、ユーザーフレンドリーなアプリを目指しています。

AIを活用したテキスト変換のための Android アクセシビリティサービス

RE2のバインド：バックトラッキング正規表現エンジンに対する高速で安全な代替手段。

データベース不要の SQL ランタイム