Tokeniseur

Découvrez comment le texte est divisé en jetons (tokens) dans les tokeniseurs de modèles populaires.

Entrée

Choisissez un tokeniseur, collez du texte et inspectez les jetons ou identifiants résultants.

Jetons

Basculer entre texte de jeton et identifiants de jeton.

Les jetons s'afficheront ici.