Was ist lexikalische Analyse?

Lexikalische Analyse ist der Prozess der Aufnahme einer Zeichenfolge mdash;Oder einfacher, Text mdash;und es in sinnvolle Gruppen umzuwandeln, die als Token bezeichnet werden.Diese Methodik wird in einer Vielzahl von Anwendungen verwendet, von der Interpretation von Computersprachen bis zur Analyse von Büchern.Die lexikalische Analyse ist nicht gleichbedeutend mit Parsen;Es ist vielmehr der erste Schritt des Gesamt -Parsing -Prozesses und erzeugt Rohstoff für die spätere Verwendung.

Die Bausteine von Token, auch Lexeme genannt, können je nach Grammatik, die für die lexikalische Analyse erforderlich sind, in vielerlei Hinsicht generiert werden.Ein häufiges Beispiel dafür ist die Aufteilung von Sätzen nach Wörtern;Dies erfolgt häufig durch Teilen von Sätzen um die Räume.Jede kontinuierliche Zeichenfolge ohne Lexem ist ein Lexem.Textzeichenfolgen können auf einem oder vielen Arten von Zeichen aufgeteilt werden, wodurch mehrere Versionen von Lexemen mit unterschiedlicher Komplexität erstellt werden.Token werden erzeugt, nachdem jedes Lexem bewertet und mit seinem entsprechenden Wert gepaart wurde.Die Token beziehen sich per Definition auf diese Paarung, nicht nur auf das Lexem.Sein Zweck besteht nur darin, Bausteine für die weitere Untersuchung zu generieren und nicht festzustellen, ob diese Teile gültig oder ungültig sind.Bei der Interpretation der Computersprache erfolgt die Validierung durch Syntaxanalyse und die Validierung des Textes kann im Hinblick auf den Kontext oder den Inhalt durchgeführt werden.Wenn eine Eingangszeichenfolge vollständig in geeignete Lexeme unterteilt ist und jedes dieser Lexeme einen geeigneten Wert hat, wird die Analyse als erfolgreich angesehen..Eine lexikalische Grammatik kann Fehlerwerte aufweisen, die bestimmten Lexemen zugeordnet sind, und eine solche Analyse kann auch illegale oder missgebildete Token erkennen.Obwohl das Finden eines illegalen oder missgebildeten Tokens eine ungültige Eingabe hat, hat es keinen Einfluss darauf, ob die anderen Token gültig sind, und es ist daher nicht ausschließlich eine Art von Validierung.häufig in Verbindung mit anderen Methoden verwendet werden, um sinnvolle Ergebnisse zu erzielen.Wenn Sie beispielsweise eine Textzeichenfolge in Wörter aufteilen, um die Frequenzen zu bestimmen, verwenden die Lexemerstellung, aber die Lexemerstellung allein kann nicht die Anzahl der in der Eingabe erscheinenden Lexem erscheint.Die lexikalische Analyse könnte für sich genommen nützlich sein, wenn die Lexeme selbst von Bedeutung sind, aber große Mengen an Eingaben könnten aufgrund des Datenvolumens schwierig werden.