nlp

GPT/LLMエージェントを構築・デプロイするためのオープンソースハブ ⚡️

モデル別に整理された最先端のディープラーニングスクリプト - エンタープライズグレードのインフラストラクチャ上で再現性のある精度とパフォーマンスで容易にトレーニングおよびデプロイ可能。

NLTKソース

最先端の自然言語処理 (NLP) 用の非常にシンプルなフレームワーク。

AI学習ロードマップ。約200の実践的ケースとプロジェクトを整理し、無料の教材を提供。ゼロから始められ、就職に直結する実践的な学習が可能！対象分野：Python、数学、機械学習、データ分析、深層学習、コンピュータビジョン、自然言語処理、PyTorch, tensorflow, machine-learning, deep-learning, data-analysis, data-mining, mathematics, data-science, artificial-intelligence, python, tensorflow, tensorflow2, caffe, keras, pytorch, algorithm, numpy, pandas, matplotlib, seaborn, nlp, cvなど。

毎週トップのML論文をハイライト。

優れたモデルズーを備えた、使いやすく強力なLLMおよびSLMライブラリ。

💡 セマンティック検索、LLMオーケストレーション、言語モデルワークフローのためのオールインワンAIフレームワーク。

控えめな自然言語処理

💥 研究および本番環境向けに最適化された高速な最先端トークナイザー

OpenVINO™は、AI推論の最適化とデプロイのためのオープンソースツールキットです。

テキスト、画像、構造化データ全体で機密データ（PII）を検出、編集、マスキング、匿名化するためのオープンソースフレームワーク。NLP、パターンマッチング、カスタマイズ可能なパイプラインをサポート。

🌸 BitTorrentスタイルのホームLLM実行。オフロード比で最大10倍高速なファインチューニングと推論。

Chinese BERTのためのWhole Word Maskingによる事前学習（中文BERT-wwmシリーズモデル）

LLMの実践的なガイドリソースの厳選リスト（LLMs Tree、Examples、Papers）

CoreNLP: トークン化、文分割、NER、構文解析、コアレファレンス、感情分析などのコアNLPツール群（Java製）。

大規模中国語自然言語処理コーパス (Large Scale Chinese Corpus for NLP)

「Attention is All You Need」におけるTransformerモデルのPyTorch実装。

シンプルでPython的なテキスト処理 — 感情分析、品詞タグ付け、名詞句抽出、翻訳など。

ModelScope: Model-as-a-Serviceの概念を具現化。

Zhiheng Xiらによる86ページのSCIS表紙論文「The Rise and Potential of Large Language Model Based Agents: A Survey」の論文リスト

BertViz: TransformerモデルにおけるAttentionの可視化

多くの自然言語のトークン化、文分割、NER、解析のためのStanford NLP Pythonライブラリ

BERTとc-TF-IDFを活用し、容易に解釈可能なトピックを作成。

BERT tokenizer を使用した GPT2 トレーニングコードの中国語版。

この型破りな教科書で、直感的な数学、コンピューティング、MLを網羅し、AI/MLの研究者/エンジニアになる。

中国語LLaMA-2 & Alpaca-2大規模モデルフェーズ2プロジェクト + 64K超長コンテキストモデル (Chinese LLaMA-2 & Alpaca-2 LLMs with 64K long context models)

ディープラーニングのエンドツーエンドの対話システムおよびチャットボットのためのオープンソースライブラリ。

学習中のことのログ

PaddlePaddleによって公式にメンテナンスされており、CV、NLP、Speech、Rec、TS、大規模モデルなどを含む。