Tokenizer

查看文字在常見模型分詞器下如何拆分為 token 和 token ID。

輸入

選擇分詞器，輸入文字，查看拆分後的 token 片段或 token ID。

Tokens

在 token 文字和 token ID 之間切換。

Token 會顯示在這裡。