language-model

Go 言語で書かれた、スタンドアロンな機械学習および自然言語処理ライブラリ

簡体字・繁体字の拡張辞書、声調エンコーディング、最完全な声調アノテーションツールチェーン、万象更新ツールチェーン、Rime 文法モデル：LMDG（Language, Model, Dictionary, Grammar）。まさに万象ピンインの「ローマ帝国」！

RAPTOR の公式実装：ツリー構造化検索のための再帰的抽象化処理

日本語対話0.2B小規模モデル（ChatLM-Chinese-0.2B）。データセットのソース、データクリーニング、トークナイザーのトレーニング、モデルの事前学習、SFT命令微調整、RLHF最適化などのすべてのプロセスのコードをオープンソース化しています。下流タスクのSFT微調整をサポートし、三元情報抽出の微調整例を提供します。

大規模言語モデル（LLMs）を使用して、コードから自動的にアーキテクチャ図を作成します。

Macaw-LLM: 画像、動画、音声、テキストを統合したマルチモーダル言語モデル

RWKV 言語モデルの CPU 上での INT4/INT5/INT8 および FP16 推論。

[EMNLP 2025 Oral] パーソナライズされた AI エージェント向けにメモリ用オペレーティングシステムを提供する MemoryOS

Tiny Model, Big Logic: 多様性駆動型最適化による VibeThinker-1.5B の大規模モデル推論能力の引き出し

基礎モデルをゼロから最先端まで学ぶためのカリキュラム

事前学習済み中国語 ELECTRA モデル（中文ELECTRA预训练模型）

日本語LLMまとめ - 日本語LLMの概要

韓国語 BERT 事前学習済みモデル（ケースあり、KoBERT）

🛸 spaCyでBERT、XLNet、GPT-2などの事前学習済みtransformerを使用する

あらゆる LLM のトークン/秒および GPU メモリ要件を計算します。llama.cpp/ggml/bnb/QLoRA の量子化をサポート

オープンソースの知識豊富な大規模言語モデルフレームワーク。

限られた計算量で（BERT 型の）言語モデルのトレーニングを詰め込む

「Prismer: A Vision-Language Model with Multi-Task Experts」の実装

Transformers4Recは、シーケンシャルおよびセッションベースの推薦のための柔軟で効率的なライブラリであり、PyTorchと連携して動作します

論文「Cognitive Architectures for Language Agents」に基づく言語エージェントのリスト

音声チャットアプリ

自然言語処理向けのTransformersモデルに関する優れたリソース集。論文、動画、ブログ、公式リポジトリ、Colabノートブックが含まれています。

指示追従型 LLM（ChatGPT、LLaMA、Alpaca）の訓練用オープンソースデータセット集

Transformer ネットワーク、アテンションメカニズム、GPT、BERT、ChatGPT、LLM、転移学習に焦点を当てた NLP リソースのキュレーションリスト。

[NeurIPS 2023] LLM-Pruner: 大規模言語モデルの構造的プルーニング。Llama-3/3.1、Llama-2、LLaMA、BLOOM、Vicuna、Baichuan、TinyLlamaなどをサポート。

ToRA は、ツールとの連携を通じて困難な数学的推論問題の解決を目的として設計された、ツール統合型推論 LLM エージェントのシリーズです [ICLR'24]。

Z80-μLMは、8ビットのZ80プロセッサで実行できるほど小型の2ビット量子化言語モデルです。Pythonで対話型モデルをトレーニングし、CP/M .COMバイナリとしてエクスポートして、ビンテージコンピューターとチャットできます。

LangSmith クライアント SDK の実装

Kaldi用のPythonラッパー

OpenAI API 呼び出しメソッドを持つあらゆるモデルを PotPlayer に統合し、動画視聴中のリアルタイム字幕翻訳を実現するプラグイン