Qu'est-ce que l'analyse lexicale?

L'analyse lexicale est le processus de prise d'une chaîne de caractères mdash;Ou, plus simplement, texte mdash;et le convertir en groupes significatifs appelés jetons.Cette méthodologie a des utilisations dans une grande variété d'applications, de l'interprétation des langages informatiques à l'analyse des livres.L'analyse lexicale n'est pas synonyme d'analyse;Il s'agit plutôt de la première étape du processus d'analyse total, et il crée des matières premières pour une utilisation ultérieure.

Les éléments constitutifs des jetons, également appelés lexèmes, peuvent être générés de plusieurs manières, selon la grammaire requise pour l'analyse lexicale.Un exemple courant de cela est de diviser les phrases par des mots;Cela se fait fréquemment en divisant les phrases autour des espaces.Chaque chaîne continue de caractères générée sans espaces est un lexème.Les chaînes de texte peuvent être divisées sur un ou plusieurs types de caractères, créant plusieurs versions de lexèmes avec une complexité variable.Les jetons sont générés après que chaque lexème a été évalué et associé à sa valeur correspondante;Par définition, les jetons se réfèrent à cet appariement, et pas seulement à la lexème.

L'analyse lexicale, quelque peu contre-intuitive, dépouille une chaîne de texte de son contexte.Son objectif est uniquement de générer des blocs de construction pour une étude plus approfondie, et non de déterminer si ces pièces sont valides ou invalides.Dans le cas de l'interprétation du langage informatique, la validation est effectuée par analyse de syntaxe et la validation du texte peut être effectuée en termes de contexte ou de contenu.Si une chaîne d'entrée est complètement divisée en lexèmes appropriés et que chacun de ces lexèmes a une valeur appropriée, l'analyse est considérée comme réussie.

sans contexte ni capacité à effectuer une validation, l'analyse lexicale ne peut pas être utilisée de manière fiable pour trouver des erreurs dans la saisie.Une grammaire lexicale peut avoir des valeurs d'erreur attribuées à des lexèmes spécifiques, et une telle analyse peut également détecter des jetons illégaux ou mal formés.Bien que la recherche d'un jeton illégal ou mal formé signale une entrée non valide, il n'a aucune incidence sur le fait que les autres jetons sont valides, et il n'est donc pas strictement un type de validation.

Bien que l'analyse lexicale fasse partie intégrante de nombreux algorithmes, il doit êtreêtre souvent utilisé en conjonction avec d'autres méthodologies pour créer des résultats significatifs.Par exemple, la division d'une chaîne de texte en mots pour déterminer les fréquences utilise la création de lexème, mais la création de lexème seule ne peut pas surveiller le nombre de fois qu'un lexème particulier apparaît dans l'entrée.L'analyse lexicale peut être utile à elle seule si les lexèmes eux-mêmes sont à noter, mais de grandes quantités d'entrée peuvent rendre l'analyse des lexèmes bruts difficiles en raison du volume de données.