language-models

🌸 BitTorrentスタイルのホームLLM実行。オフロード比で最大10倍高速なファインチューニングと推論。

Pythonで記述されたオープンソースのオフライン翻訳ライブラリ

Chain-of-ThoughtプロンプティングからOpenAI o1、DeepSeek-R1まで 🍓

Liquid AI Foundational Models (LFM) と LEAP SDK を使用して構築されたサンプル、エンドツーエンドのチュートリアル、およびアプリ

大規模概念モデル：文表現空間における言語モデリング

[論文リスト] 知識グラフ（KG）と大規模言語モデル（LLM）を統合した論文集

NLP 言語モデルの説明、分析、可視化。Ecco は Jupyter ノートブック内で直接インタラクティブな可視化を作成し、Transformer ベースの言語モデル（GPT2、BERT、RoBERTA、T5、T0 など）の動作を説明します。

Perplexity.ai の非公式 API ラッパーと、Web インターフェース付きアカウントジェネレーター

日本語LLMまとめ - 日本語LLMの概要

ChatGPT などの大規模言語モデル（LLM）に関する LangChain & プロンプトエンジニアリングのチュートリアル。カスタムデータを使用した Jupyter Notebook（データの読み込みとインデックス化、プロンプトテンプレートの作成、CSV エージェント、検索 QA チェーンを使用したカスタムデータのクエリなど）。プライベート LLM（Llama 2）を使用した PDF ファイルとのチャットや、ツイートの感情分析プロジェクト。

テキストからオーディオを生成する拡散モデルのファミリ。

自然言語処理向けのTransformersモデルに関する優れたリソース集。論文、動画、ブログ、公式リポジトリ、Colabノートブックが含まれています。

[ACL 2023] 言語モデルプロンプトによる推論：サーベイ論文

SPIRESを含む、LLMベースのオントロジー抽出ツール

PhoBERT：ベトナム語向けの事前学習済み言語モデル（EMNLP-2020 Findings）。

Hyena を用いて構築された長距離ゲノム基盤モデル「HyenaDNA」の公式実装

Python によるテキスト分類のためのアクティブラーニング

Happy Transformer を使用すると、NLP Transformer モデルのファインチューニングと推論が簡単に行えます。

マルチタスク ファインチューニングを通じたクロスリンガル汎化

PromptInject は、プロンプトをモジュール形式で組み立て、敵対的プロンプト攻撃に対する LLM のロバスト性を定量的に分析するフレームワークです。🏆 NeurIPS ML Safety Workshop 2022 Best Paper Award 受賞

クリーンで効果的、かつGo言語らしいアプローチを通じて、LLM（大規模言語モデル）やその他の生成AIの可能性を探求したい開発者向けに設計されたライブラリ。