Tokenizer

查看文本在常见模型分词器下如何拆分为 token 和 token ID。

输入

选择分词器，输入文本，查看拆分后的 token 片段或 token ID。

Tokens

在 token 文本和 token ID 之间切换。

Token 会显示在这里。