nlp

Ghi chép chi tiết về cuốn sách mới "Nhập môn Xử lý Ngôn ngữ Tự nhiên" của tác giả HanLP! Một tác phẩm vô cùng tâm huyết, không liệt kê công thức khô khan mà giải thích các mô hình thuật toán một cách bình dị, dễ hiểu. Xuất phát từ các khái niệm cơ bản, sách lần lượt giới thiệu nguyên lý thuật toán và triển khai kỹ thuật cho các bài toán phổ biến: phân đoạn từ tiếng Trung, gán nhãn từ loại, nhận dạng thực thể tên riêng, trích xuất thông tin, gom cụm văn bản, phân loại văn bản và phân tích cú pháp.

Nhận dạng thực thể có tên tiếng Trung với IDCNN/biLSTM+CRF và Trích xuất quan hệ với biGRU+2ATT

TigerBot: Mô hình ngôn ngữ lớn đa ngôn ngữ và đa tác vụ

Mạng nơ-ron sâu đa tác vụ dành cho việc hiểu ngôn ngữ tự nhiên

[Danh sách bài báo] Các bài báo tích hợp đồ thị tri thức (KG) và mô hình ngôn ngữ lớn (LLM)

Cài đặt bằng Python của các thuật toán TextRank ("textgraphs") cho việc trích xuất cụm từ

Kho lưu trữ chính thức của xLSTM.

Nhúng tĩnh tiên tiến và tốc độ cao

EasyNLP: Bộ công cụ NLP toàn diện và dễ sử dụng

Giải thích, phân tích và trực quan hóa các mô hình ngôn ngữ NLP. Ecco tạo ra các hình ảnh trực quan tương tác trực tiếp trong sổ tay Jupyter để giải thích hành vi của các mô hình ngôn ngữ dựa trên Transformer (như GPT2, BERT, RoBERTA, T5 và T0).

Bộ công cụ trích xuất dữ liệu phi cấu trúc tại chỗ không cần OCR, chuyển đổi markdown và đánh giá chuẩn.

Danh sách tài liệu đọc về tính an toàn, bảo mật và quyền riêng tư của mô hình lớn (bao gồm Awesome LLM Security, Safety, v.v.).

Bộ sưu tập Encoder-decoder của Alibaba từ Phòng thí nghiệm MinD (Machine IntelligeNce của Damo)

Tài liệu tham khảo toàn diện cho tất cả các chủ đề liên quan đến Xử lý Ngôn ngữ Tự nhiên

Trình đánh giá tự động cho các mô hình ngôn ngữ tuân theo hướng dẫn. Được xác thực bởi con người, chất lượng cao, chi phí rẻ và nhanh chóng.

ContextGem: Trích xuất LLM dễ dàng từ tài liệu

Bộ sưu tập do cộng đồng đóng góp gồm các framework, dự án và tài nguyên RAG (Retrieval-Augmented Generation). Đóng góp và khám phá hệ sinh thái RAG đang phát triển.

Một pipeline và các mô hình spaCy đầy đủ dành cho tài liệu khoa học/y sinh.

Dự án mô hình ngôn ngữ lớn Llama 3 tiếng Trung giai đoạn 3 (Chinese Llama-3 LLMs) phát triển từ Meta Llama 3

🌸 Học ngữ pháp tiếng Nhật với TypeScript

💫 Các mô hình cho thư viện Xử lý Ngôn ngữ Tự nhiên (NLP) spaCy

Hướng dẫn nhập môn nhanh cho thư viện Transformers

Danh sách tài liệu học tập, cơ sở dữ liệu, công cụ và các tài nguyên khác liên quan đến Knowledge Graph được tuyển chọn

[ICML 2024] LLMCompiler: Trình biên dịch LLM để gọi hàm song song

Gói tăng cường dữ liệu tiếng Trung một cú click; tăng cường dữ liệu NLP, bert, EDA: pip install nlpcda

Thư viện Học máy và Xử lý Ngôn ngữ Tự nhiên độc lập bằng Go

Dữ liệu NLTK

Phân loại văn bản tiếng Trung dài, phân loại câu ngắn, phân loại đa nhãn, độ tương tự giữa hai câu (Phân loại văn bản tiếng Trung của Keras NLP, phân loại đa nhãn hoặc phân loại câu, dài hoặc ngắn), các lớp cơ sở xây dựng lớp nhúng từ và câu (embeddings) và lớp mạng (graph), FastText, TextCNN, CharCNN, TextRNN, RCNN, DCNN, DPCNN, VDCNN, CRNN, Bert, Xlnet, Albert, Attention, DeepMoji, HAN, Mạng capsule-CapsuleNet, Transformer-encode, Seq2seq, SWEM, LEAM, TextGCN

Underthesea - Trợ lý AI

Microsoft.Recognizers.Text cung cấp khả năng nhận diện và phân giải số, đơn vị, ngày/giờ,... bằng nhiều ngôn ngữ (ZH, EN, FR, ES, PT, DE, IT, TR, HI, NL. Hỗ trợ một phần JA, KO, AR, SV). Các gói có sẵn tại: https://www.nuget.org/profiles/Recognizers.Text, https://www.npmjs.com/~recognizers.text