benbrandt

テキストを指定されたチャンクサイズに合わせ、意味単位で分割します。文字数およびトークン数による長さの計算をサポートし、Rust および Python から呼び出し可能です。