Tokenisation

Définition

Découpage d'un texte en unités (tokens) avant traitement par le modèle.

Exemple

Étape préliminaire du moteur de synthèse vocale de visio-agents.

Source
Lexique Éducation nationale
Catégories du glossaire