tiktokenは、OpenAIのモデルで使用するための高速なBPEトークナイザーです。
このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。