tokenization

💫 Xử lý Ngôn ngữ Tự nhiên (NLP) cấp độ công nghiệp bằng Python

🎒 Token-Oriented Object Notation (TOON) – tuần tự hóa dữ liệu JSON nhỏ gọn, dễ đọc cho con người dùng trong prompt LLM. TypeScript SDK, CLI, các bài benchmark.

Token hóa mô hình ngôn ngữ ở tốc độ GB/s

Ước tính giá token dễ dàng cho hơn 400 LLM. TokenOps.

Kho lưu trữ bảo mật dành cho hồ sơ PII/PHI/PCI/KYC của khách hàng

LunaSec - Trình quét bảo mật phụ thuộc tự động thông báo cho bạn về các lỗ hổng như Log4Shell hoặc node-ipc trong Pull Requests và Builds của bạn. Bảo vệ chính bạn trong 30 giây với ứng dụng LunaTrace GitHub: https://github.com/marketplace/lunatrace-by-lunasec/

Cây tích hợp/staging của Ravencoin Core

Các khối xây dựng và công cụ trực quan hóa spaCy cho ứng dụng Streamlit

Trankit là bộ công cụ Python dựa trên Transformer gọn nhẹ cho xử lý ngôn ngữ tự nhiên đa ngôn ngữ

Ekphrasis là công cụ xử lý văn bản, hướng tới các văn bản từ mạng xã hội như Twitter hoặc Facebook. Ekphrasis thực hiện tách từ (tokenization), chuẩn hóa từ, phân đoạn từ (để tách hashtag) và sửa lỗi chính tả, sử dụng thống kê từ vựng từ 2 kho dữ liệu lớn (Wikipedia tiếng Anh và 330 triệu tweet tiếng Anh).

Trình huấn luyện từ vựng và tokenizer subword không tham lam cho Python, Go, C++ và Javascript

Quy trình xử lý ngôn ngữ tự nhiên - Tách câu, phân tách từ, đưa về từ gốc, gán nhãn từ loại và phân tích cú pháp phụ thuộc

PHP Text Analysis là một thư viện để thực hiện các tác vụ Truy xuất thông tin (IR) và Xử lý ngôn ngữ tự nhiên (NLP) bằng ngôn ngữ PHP.