niieani/gpt-tokenizer
@niieaniBộ mã hóa và giải mã BPE Tokenizer JavaScript nhanh nhất cho các mô hình GPT của OpenAI (gpt-5, gpt-o*, gpt-4o, v.v.). Bản chuyển đổi từ tiktoken của OpenAI với các tính năng bổ sung.
Sao
841
Fork
59
Ngôn ngữ
TypeScript
Giấy phép
MIT
Push gần nhất
4 tuần trước
Intel liên quan (0)
Chưa có intel liên quan
Kho mã này chưa xuất hiện trong bất kỳ nguồn nào radar theo dõi. Bộ thu thập chạy theo lịch — hãy quay lại khi nó bao quát kho mã này.