Токенизация

Токенизация (tokenization) – это выделение в контенте символов таких как - слова, чисела, и др., в этот процесс так же входит, нахождение пределов предложений.