Tokenizer

Sehen Sie, wie Text in Token aufgeteilt wird, bei den gängigen Modell-Tokenizern.

Eingabe

Wählen Sie einen Tokenizer, fügen Sie Text ein und prüfen Sie die resultierenden Token-Stücke oder IDs.

Token

Wechseln Sie zwischen Token-Text und Token-IDs.

Token werden hier angezeigt.