nlp

HanLPの作者による新著『自然語言処理入門』の詳細なノート。業界の良心的な作品であり、退屈な公式の羅列ではなく、平易な言葉で分かりやすくアルゴリズムモデルを解説している。基本概念から出発し、単語分割、品詞タグ付け、固有表現抽出、情報抽出、テキストクラスタリング、テキスト分類、構文解析という主要な課題のアルゴリズム原理と実装を段階的に紹介する。

IDCNN/biLSTM+CRF を使用した中国語の固有表現抽出、および biGRU+2ATT を使用した関係抽出

TigerBot: 多言語・マルチタスク対応の LLM

自然言語理解のためのマルチタスク深層ニューラルネットワーク

[論文リスト] 知識グラフ（KG）と大規模言語モデル（LLM）を統合した論文集

フレーズ抽出のための TextRank アルゴリズム（「textgraphs」）の Python 実装

xLSTMの公式リポジトリ

高速で最先端の静的エンベディング

EasyNLP：包括的で使いやすい NLP ツールキット。

NLP 言語モデルの説明、分析、可視化。Ecco は Jupyter ノートブック内で直接インタラクティブな可視化を作成し、Transformer ベースの言語モデル（GPT2、BERT、RoBERTA、T5、T0 など）の動作を説明します。

オンプレミスで OCR 不要の非構造化データ抽出、マークダウン変換、ベンチマーク用のツールキット (https://idp-leaderboard.org/)

大規模モデルの安全性、セキュリティ、プライバシーに関するリーディングリスト（Awesome LLM Security や Safety などを含む）

AlibabaのMinD（Machine IntelligeNce of Damo）ラボによるエンコーダ・デコーダのコレクション

自然言語処理に関するすべてのトピックに関する包括的なリファレンス

指示追従型言語モデルのための自動評価ツール。人間による検証済み、高品質、低コスト、高速。

ContextGem: ドキュメントからの簡単な LLM 抽出

RAG（検索拡張生成）のフレームワーク、プロジェクト、リソースを集めたコミュニティ駆動のコレクション。進化するRAGエコシステムの探索と貢献に。

科学・生物医学文書向けの完全なspaCyパイプラインおよびモデル。

Meta Llama 3をベースに開発された中国語Llama-3 LLMプロジェクト（中文羊驼大模型三期项目）

🌸 TypeScriptで日本語の文法を学ぶ

💫 spaCy 自然言語処理（NLP）ライブラリ用のモデル

Transformersライブラリクイックスタートチュートリアル

ナレッジグラフ関連の学習資料、データベース、ツールなどの厳選されたリソースリスト

ワンクリック中国語データ拡張パッケージ；NLPデータ拡張、BERTデータ拡張、EDA：pip install nlpcda

[ICML 2024] LLMCompiler: 並列関数呼び出しのための LLM コンパイラ

Go 言語で書かれた、スタンドアロンな機械学習および自然言語処理ライブラリ

NLTK データ

中国語長文・短文分類、マルチラベル分類、文間類似度判定、埋め込み層およびネットワーク層の構築用基底クラス、FastText、TextCNN、CharCNN、TextRNN、RCNN、DCNN、DPCNN、VDCNN、CRNN、Bert、Xlnet、Albert、Attention、DeepMoji、HAN、CapsuleNet、Transformer-encode、Seq2seq、SWEM、LEAM、TextGCN

Underthesea - AIアシスタント

Microsoft.Recognizers.Text は、複数言語での数値、単位、日付/時刻などの認識と解決を提供します（ZH, EN, FR, ES, PT, DE, IT, TR, HI, NL。JA, KO, AR, SV は部分サポート）。パッケージは NuGet および npm で入手可能