tokenizer

Tự triển khai một LLM giống ChatGPT bằng PyTorch từ đầu, từng bước một

Một thư viện nhỏ để chuyển đổi mã nguồn PHP đã được phân tách (tokenized) thành XML (và có thể là các định dạng khác)

Token hóa mô hình ngôn ngữ ở tốc độ GB/s

Một mô-đun phân tích cú pháp SQL không xác thực dành cho Python

Bộ công cụ xây dựng parser cho JavaScript

Môi trường thử nghiệm trực tuyến cho OpenAPI tokenizers

Bộ công cụ NLP tiếng Ba Tư

Giải quyết các tác vụ NLP tiếng Nga cơ bản, API cho các dự án Natasha cấp độ thấp hơn

Một thư viện vi mô gồm các thành phần luồng để xây dựng đường ống xử lý JSON và JSONC tùy chỉnh với dung lượng bộ nhớ tối thiểu — phân tích, lọc và chuyển đổi JSON lớn hơn nhiều so với bộ nhớ khả dụng với API mã thông báo lấy cảm hứng từ SAX, trên Node.js hoặc Web Streams.

Thư viện Python dành cho xử lý ngôn ngữ tự nhiên tiếng Hàn. Cung cấp các tính năng trích xuất từ, bộ tách từ, gán nhãn từ loại và tiền xử lý.

Trình phân tích hình thái tiếng Nhật độc lập được viết bằng Go thuần túy

Trình tạo tokenizer/lexer được tối ưu hóa! Sử dụng /y để đạt hiệu suất cao.

Tiện ích mở rộng SQLite fts5 hỗ trợ tìm kiếm toàn văn bản bằng tiếng Trung và Pinyin

Bộ mã hóa và giải mã BPE Tokenizer JavaScript nhanh nhất cho các mô hình GPT của OpenAI (gpt-5, gpt-o*, gpt-4o, v.v.). Bản chuyển đổi từ tiktoken của OpenAI với các tính năng bổ sung.

Công cụ ngữ liệu tích hợp hỗ trợ đa ngôn ngữ để nghiên cứu ngôn ngữ, văn học và dịch thuật

Công cụ gán nhãn dữ liệu chuyên dụng để xử lý và gán nhãn dữ liệu văn bản. Thông qua quy trình gán nhãn nhanh chóng và phản hồi thuật toán động, công cụ hỗ trợ người dùng gán nhãn từ khóa nhanh chóng, đồng thời sử dụng thuật toán để giảm chi phí và thời gian gán nhãn thủ công. Quy trình gán nhãn dữ liệu bắt đầu bằng việc xây dựng nền tảng thủ công, sau đó gán nhãn tự động hỗ trợ lại cho con người, và cuối cùng là hiệu chỉnh thủ công, từ đó cải thiện đáng kể độ chính xác và hiệu quả. Việc gán nhãn dữ liệu cần dựa trên nền tảng số mã nguồn mở để quản lý vị trí nhân sự.

Ekphrasis là công cụ xử lý văn bản, hướng tới các văn bản từ mạng xã hội như Twitter hoặc Facebook. Ekphrasis thực hiện tách từ (tokenization), chuẩn hóa từ, phân đoạn từ (để tách hashtag) và sửa lỗi chính tả, sử dụng thống kê từ vựng từ 2 kho dữ liệu lớn (Wikipedia tiếng Anh và 330 triệu tweet tiếng Anh).

Open Korean Text Processor - Bộ xử lý văn bản tiếng Hàn mã nguồn mở

Thư viện phân tích hình thái đa ngôn ngữ.

Trình tạo bộ quét nhanh cho Java™ với hỗ trợ Unicode đầy đủ

Thực hiện suy luận llama3 từng bước, nắm vững các khái niệm cốt lõi, hiểu rõ quá trình suy luận và triển khai mã nguồn.

Trình huấn luyện từ vựng và tokenizer subword không tham lam cho Python, Go, C++ và Javascript

NodeJS PHP Parser - trích xuất AST hoặc token.

Trình phân tích cú pháp (tokenizer) JavaScript nhỏ gọn

Trình bao bọc Cython cho MeCab giúp phân tách từ và phân tích hình thái tiếng Nhật nhanh chóng theo phong cách Python.

[NeurIPS 2025 Spotlight] Bộ mã hóa token thống nhất cho việc tạo và hiểu hình ảnh

Tiện ích mở rộng VSCode để làm nổi bật các khối mã lồng nhau