nlp

OCRフリーのDocument Understanding Transformer (Donut) および Synthetic Document Generator (SynthDoG) の公式実装 (ECCV 2022)

Pythonおよびコマンドラインツール。Web上のテキストとメタデータを収集：クローリング、スクレイピング、抽出、CSV、JSON、HTML、MD、TXT、XMLとしての出力。

エンティティ抽出、感情分析、自動言語識別など、ボット構築のためのNLPライブラリ

このリポジトリは、人工知能（AI）に関する様々なコースやリソースへのキュレーションされたリンク集です。

Pythonで記述されたオープンソースのオフライン翻訳ライブラリ

統計的機械知能＆学習エンジン。

AI Singapore による無料 RPA ツール

Tensorflow機械学習クックブックのコード。

PDF、ドキュメント、画像をリッチな構造化データに変換する。

👮‍♂️Java用のセンシティブワードツール。（敏感語/禁止語/違法語/俗語。DFAアルゴリズムに基づいた高性能なJavaセンシティブワードフィルタリングツールフレームワーク。単語タグの分類・階級付けを内蔵サポート。政治、広告、マーケティング、VPN利用、国家法規違反などに関連するコンテンツの投稿を禁止。高性能なセンシティブワード検出・フィルタリングコンポーネントで、繁体字と簡体字の相互変換、全角と半角の相互変換、漢字からピンインへの変換、あいまい検索などの機能に対応。）

中国語のCLIP版。中国語のクロスモーダル検索と表現生成を実現。

文からキーワードを抽出、または文中のキーワードを置換する。

優れた事前学習済み中国語NLPモデル。高品質な中文事前学習モデル、大規模モデル、マルチモーダルモデル、大規模言語モデルの集合。

言語技術プラットフォーム

ローカルファーストのヘルスケアAI：臨床NERおよびHIPAA PIIの非識別化を100%オンデバイスで実行。2,200以上の医療モデル、21言語、Apple MLX + Python対応。クラウド不要、患者データはネットワーク外に出ない。Apache-2.0

AIが書いたハングルを人間らしい文章に校正するClaudeスキル — 韓国語AIテキストヒューマナイザー: 機械的な並行表現や71のその他のAI的特徴を検出し書き直す

EasyR1: veRLに基づいた、効率的でスケーラブルなマルチモーダルRLトレーニングフレームワーク

:herb: 中国語の類義語：チャットボット、インテリジェントQ&Aツールキット

Argillaは、AIエンジニアやドメインエキスパートが高品質なデータセットを構築するためのコラボレーションツールです。

BenCao（元名: HuaTuo (华驼)）のリポジトリ。中国の医学知識を用いた大規模言語モデルのインストラクションチューニング。本草（元名: 华驼）モデル倉庫、中国語医学知識に基づく大規模言語モデルの指令微調整

text2vec、テキストからベクトルへ。テキストをベクトル行列に変換するツールで、Word2Vec、RankBM25、Sentence-BERT、CoSENTなどのテキスト表現およびテキスト類似度計算モデルを実装しており、すぐに使用できます。

機械学習およびエージェンティックAIのリソース、実践、研究

Prompt-Learningのためのオープンソースフレームワーク。

世界中の住所を解析・正規化するためのCライブラリ。統計的NLPとオープンジオデータによって動作します。

Learn Promptingによるプロンプトエンジニアリング、生成AI、LLMガイド | 最大のプロンプトエンジニアリング学習コミュニティに参加しよう

NLPのためのデータ拡張

Prompt Engineering | Prompt Versioning | GPTまたはその他のプロンプトベースのモデルを使用して構造化された出力を取得。Prompt-Engineering、LLM、その他の最新研究のためにDiscordに参加してください

PyTorchとTorchTextを使った感情分析の入門チュートリアル。

『大语言模型』著者：赵鑫、李军毅、周昆、唐天一、文继荣

大規模言語モデル (Large Language Models)、AIペインティングなどの厳選されたチュートリアルとリソース。