natural-language-processing

Transformersライブラリクイックスタートチュートリアル

[ICML 2024] LLMCompiler: 並列関数呼び出しのための LLM コンパイラ

半教師あり学習に関する最新かつ厳選された論文、手法、リソースのリスト。

Go 言語で書かれた、スタンドアロンな機械学習および自然言語処理ライブラリ

NLTK データ

Google AI Languageチームによるオープンソースプロジェクトの共有リポジトリ

Python向けの高精度な自然言語検出ライブラリ。短文や混成言語テキストに最適です

高速で効率的な非構造化データ抽出。Rustで記述され、多くの言語向けのバインディングを備えています。

事後学習および構造化データ抽出のための合成データキュレーション。

私たちが学ぶ人工知能、機械学習、ディープラーニングに関するAwesomeなリスト。学習ノートや厳選されたリソースのまとめ

🤗 Hugging Face の transformer モデル向けの高効率、スケーラブル、エンタープライズグレードな CPU/GPU 推論サーバー

Graph4nlp は、NLP 向け Graph Neural Networks を簡単に利用するためのライブラリです。様々な学習リソースについては DLG4NLP ウェブサイト (https://dlg4nlp.github.io/index.html) をご覧ください。

LLM(😽)

🦆 コンテキストキー付き単語ベクトル

事前学習済み中国語 XLNet モデル

非構造化されたアメリカの住所文字列を各コンポーネントに解析するための Python ライブラリ

再現性のあるディープラーニング研究のためにPyTorchをベースに構築されたノーコードフレームワーク。PyTorchエコシステム。TPAMI、CVPR、ICLR、ECCV、NeurIPS、ICCV、AAAIなどで発表された26の知識蒸留メソッドを実装済み。再現性とベンチマークを保証するため、学習済みモデル、学習ログ、設定ファイルを提供。

ワシントン D.C. で開催された General Assembly の 2015 年データサイエンスコース

WikiChat は改良版 RAG です。コーパスからデータを取得することで、大規模言語モデルのハルシネーションを防ぎます。

Macaw-LLM: 画像、動画、音声、テキストを統合したマルチモーダル言語モデル

DAMO-ConvAI: Alibaba DAMO Conversational AI のコードベースを含む公式リポジトリ。

統合型半教師あり学習コードベース (NeurIPS'22)

テキストの敵対的攻撃と防御に関する必読論文集

固有表現抽出（NER）およびエンティティ認識タスク向けのコーパス集。これらのアノテーション済みデータセットは、多様な言語、ドメイン、エンティティタイプをカバーしています。

ChatArena（またはChat Arena）は、LLM向けのマルチエージェント言語ゲーム環境です。AIのコミュニケーションとコラボレーション能力の開発を目的としています。

Awesome Search - E コマース（に限らず）検索とその素晴らしさに関するまとめ

感情、気分、皮肉などを分析するための最先端ディープラーニングモデル

このリポジトリには、会話における感情認識のためのさまざまなアーキテクチャの実装が含まれています。

自然言語データのスケール、評価、保守を行うためのデータサイエンティスト向けオープンソースの選択肢。トレーニングデータをソフトウェア成果物のように扱います。

🪐 プロトタイプから本番環境までのエンドツーエンドのNLPワークフロー