nlp

機械学習モデルを自動作成するための高速でカスタマイズ可能なフレームワーク（AutoML）

自然言語データのスケール、評価、保守を行うためのデータサイエンティスト向けオープンソースの選択肢。トレーニングデータをソフトウェア成果物のように扱います。

🪐 プロトタイプから本番環境までのエンドツーエンドのNLPワークフロー

事前学習済み中国語 ELECTRA モデル（中文ELECTRA预训练模型）

Obseiは、AIを活用したローコード自動化ツールです。ソーシャルリスニング、AIベースのアラート、ブランドイメージ分析、比較調査など、さまざまなビジネスフローで使用できます。

ブラウザおよび Node.js 向けの、永続的でネットワーク耐性のある全文検索ライブラリ。

ペルシャ語 NLP ツールキット

韓国語 BERT 事前学習済みモデル（ケースあり、KoBERT）

Tribuo - Java 機械学習ライブラリ

多言語対話コーパス

🛸 spaCyでBERT、XLNet、GPT-2などの事前学習済みtransformerを使用する

🦙 LLM を構造化された NLP パイプラインに統合する

開発者フレンドリーな自然言語処理 ✨

自然言語生成向け各種教師なし自動評価指標の評価コード

「結巴」中国語分詞：最高の PHP 中国語分詞・単語分割コンポーネントを目指して。

学術目的、独学、趣味のために自身が作成したデータサイエンスプロジェクトのポートフォリオ。

短文や多言語混在テキストに適した、Go 向けの高精度な自然言語検出ライブラリ。

トルコ語用のNLPツール

基本的なロシア語のNLPタスクを解決し、低レイヤーのNatashaプロジェクト向けAPIを提供するライブラリ

自然言語処理分野の関連論文（読書ノート付き）、モデルの再現、データ処理など（TensorFlowとPyTorchの両方のバージョンのコードを含む）

エレガントな Transformers の PyTorch 実装

Jigsawの有害コメント検出コンペティションの全3回において、有害コメントを予測するための学習済みモデルとコード。⚡ Pytorch Lightningと🤗 Transformersを使用して構築されています。APIへのアクセスについては、contact@unitary.aiまでメールでお問い合わせください。

Transformers4Recは、シーケンシャルおよびセッションベースの推薦のための柔軟で効率的なライブラリであり、PyTorchと連携して動作します

🎓 LLM（大規模言語モデル）構築の体系的カリキュラム｜🛠️ 事前学習データエンジニアリング、Tokenizer、Transformer、MoE、GPUプログラミング（CUDA/Triton）、分散学習、スケーリング則、推論最適化、アライメント（SFT/RLHF/GRPO）を網羅｜🚀 6つの段階的な課題とコード駆動により、LLMのフルスタックな認知体系を構築

コンテキスト化されたトピックモデリングを実行するための Python パッケージ。CTM は、コンテキスト化された埋め込み（BERT など）とトピックモデルを組み合わせて一貫性のあるトピックを抽出します。EACL および ACL 2021 にて発表（Bianchi et al.）

ktrain は、ディープラーニングと AI をより身近にし、簡単に適用できるようにする Python ライブラリです。

Cifar10 および ImageNet 上での差分進化を用いた「ディープニューラルネットワークを欺くための 1 ピクセル攻撃」の Keras 実装

Byte-Pair Encoding（BPE）に基づく、275 言語の事前学習済みサブワード埋め込みモデル

Taranis AI は、人工知能を活用して情報収集と状況分析に革命をもたらす高度なオープンソースインテリジェンス（OSINT）ツールです。

ディープラーニングを理解するための動画、ノート、実験