nlp

:book: トークン化、品詞タグ付け、固有表現抽出などのテキスト処理を行う Golang ライブラリ。

Rust 製のすぐに使える NLP パイプラインおよび Transformer ベースのモデル（BERT、DistilBERT、GPT2 など）

Chinese-LLaMA 1&2、Chinese-Falcon ベースモデル、ChatFlow 中国語対話モデル、中国語 OpenLLaMA モデル、NLP 事前学習・指示微調整データセット

エージェントに必要なすべてのモデルに対応する、オープンソースの推論サーバーおよび本番用クラスター

ディープラーニングおよび深層強化学習の研究論文とコード集

ChatGLM-6B、ChatGLM2-6B、ChatGLM3、GLM4(V) の C++ 実装

🔮 お気に入りのライブラリと互換性を持つ、ディープラーニングに対する刷新された関数型アプローチ

Lingvo

aeneas は、音声とテキストを自動的に同期（強制アライメント）するための Python/C ライブラリおよびツール群です。

Go 言語による効率的な多言語 NLP およびテキストセグメンテーション。英語、中国語、日本語などをサポート。

パラメータ効率的かつモジュール式な転移学習のための統合ライブラリ

機械学習の分類器をデバッグ・検査し、その予測を説明するためのライブラリ

Sentence Transformersを用いた効率的な少数例学習（few-shot learning）

dLLM: シンプルな拡散言語モデリング (Diffusion Language Modeling)

テキストマイニングおよび前処理ツール（テキストクレンジング、新語発見、感情分析、エンティティ認識・リンク、キーワード抽出、知識抽出、構文解析など）、教師なしまたは弱教師あり手法

中国語医学NLPオープンリソースのまとめ：用語集/コーパス/単語ベクトル/事前学習済みモデル/ナレッジグラフ/固有表現抽出/QA/情報抽出/モデル/論文など

PyTorchを使用した機械学習とディープラーニングによる現実世界の問題解決に関するJupyter Notebookチュートリアル。トピック：Detectron 2による顔検出、LSTMオートエンコーダーによる時系列異常検知、YOLO v5による物体検出、初めてのニューラルネットワーク構築、コロナウイルス日別感染者数の時系列予測、BERTによる感情分析

兜哥によるオープンソースの NLP 入門書

news-please - そのまま動く、ニュース向けの統合Webクローラーおよび情報抽出ツール

オープンソースの大規模言語モデル向けの OpenAI スタイル API。ChatGPT のように LLM を利用可能。LLaMA、LLaMA-2、BLOOM、Falcon、Baichuan、Qwen、Xverse、SqlCoder、CodeLLaMA、ChatGLM、ChatGLM2、ChatGLM3 などをサポート

画像検索、音声検索、分子検索、動画解析、質問応答システム、NLP など、あらゆる非構造化データを処理します。

👩‍🏫 spaCyを使った高度なNLP：無料のオンラインコース

アプリのためのセルフコーディングシステム — Web用 Alan AI SDK

🧠 ライブラリ、SDK、API などを含む、素晴らしい ChatGPT リソースの厳選リスト。🌟 このプロジェクトにスターをつけて応援していただけると幸いです。

人間の好みに合わせて言語モデルを微調整するためのモジュール式 RL ライブラリ

Kashgari は tf.keras をベースに構築された本番環境向けの NLP 転移学習フレームワークです。テキストラベリングとテキスト分類をサポートし、Word2Vec、BERT、GPT2 の言語埋め込みを含みます。

大規模概念モデル：文表現空間における言語モデリング

文書タイプ間で言語がどのように異なるかを美しく視覚化するツール

スキャナーやメールなどからの膨大なドキュメントを最小限の手間で整理するのを支援します

情報検索（IR）のための異種混合ベンチマーク。使いやすく、15以上の多様なIRデータセットでモデルを評価可能