Tokenizacja

Tokenizacja to proces identyfikacji elementów zdania, takich jak frazy, słowa, skróty i symbole, przed utworzeniem indeksu.