토크나이저

인기 있는 모델 토크나이저에서 텍스트가 어떻게 토큰으로 분할되는지 확인합니다.

입력값

토크나이저를 선택하고 텍스트를 붙여넣어 생성된 토큰 조각이나 ID를 검사합니다.

토큰 결과

토큰 텍스트와 토큰 ID 표시 간에 전환합니다.

토큰 결과가 여기에 표시됩니다.