alasdairforsythe/tokenmonster

@alasdairforsythe

Trình huấn luyện từ vựng và tokenizer subword không tham lam cho Python, Go, C++ và Javascript

↗ Mở trên GitHub

Sao

627

Fork

23

Ngôn ngữ

Go

Giấy phép

MIT

Push gần nhất

2 tháng trước

Go tokenizer tokenization vocabulary text-tokenization tokenisation tokenize tokenizing vocabulary-builder vocabulary-generator

Chưa có intel liên quan

Kho mã này chưa xuất hiện trong bất kỳ nguồn nào radar theo dõi. Bộ thu thập chạy theo lịch — hãy quay lại khi nó bao quát kho mã này.