TOKENIZÉR

Základní

Počítačový program provádějící ↗tokenizaci. T. je buď: (a) stochastický (statistický), který tokenizuje text na základě ↗strojového učení (zvláště při zpracování více jaz.), n. (b) založený na pravidlech tokenizace platných pro zpracovávaný jaz. Viz také ↗token.

Rozšiřující
Literatura
Citace
Vladimír Petkevič (2017): TOKENIZÉR. In: Petr Karlík, Marek Nekula, Jana Pleskalová (eds.), CzechEncy - Nový encyklopedický slovník češtiny.
URL: https://www.czechency.org/slovnik/TOKENIZÉR (poslední přístup: 25. 2. 2020)

Další pojmy:

korpusová lingvistika

CzechEncy – Nový encyklopedický slovník češtiny

Všechna práva vyhrazena © Masarykova univerzita, Brno 2012–2018

Provozuje Centrum zpracování přirozeného jazyka