benbrandt

將文字分割成語意區塊，最高可達指定的區塊大小。支援透過字元與 token 計算長度，並可從 Rust 與 Python 呼叫。