Jak wielu klientów korzysta z wyszukiwarki? Dowiedz się z naszego E-booka!

Tokenizacja

Tokenizacja to proces identyfikacji elementów zdania, takich jak frazy, słowa, skróty i symbole, przed utworzeniem indeksu.