Hva er leksikalsk analyse?

Leksikalsk analyse er prosessen med å ta en rekke tegn og mdash;Eller, enklere, tekst mdash;og konvertere den til meningsfulle grupper kalt symboler.Denne metodikken har bruksområder i en rekke applikasjoner, fra å tolke dataspråk til analyse av bøker.Leksikalsk analyse er ikke synonymt med analysering;Snarere er det det første trinnet i den totale analyseringsprosessen, og det skaper råstoff for senere bruk.

Byggesteinene til symboler, også kalt leksemer, kan genereres på mange måter, avhengig av grammatikken som kreves for leksikalsk analyse.Et vanlig eksempel på dette er å dele ut setninger med ord;Dette gjøres ofte ved å dele setninger rundt områder.Hver kontinuerlig streng med tegn som genereres uten mellomrom er en leksem.Tekststrenger kan deles på en eller mange typer tegn, og skaper flere versjoner av leksemer med varierende kompleksitet.Tokens genereres etter at hvert lekseme er blitt evaluert og parret med dens tilsvarende verdi;Per definisjon refererer symboler til denne sammenkoblingen, ikke bare leksemet.

leksikalsk analyse, noe motintuitivt, striper en tekststreng i konteksten.Formålet er bare å generere byggesteiner for videre studier, ikke for å avgjøre om disse brikkene er gyldige eller ugyldige.Når det gjelder tolkning av dataspråk, gjøres validering ved syntaksanalyse, og validering av tekst kan gjøres når det gjelder kontekst eller innhold.Hvis en inngangsstreng er fullstendig delt inn i passende leksemer og hver av disse leksemene har en passende verdi, anses analysen for å være vellykket.

Uten kontekst eller muligheten til å utføre validering, kan leksikalsk analyse ikke brukes pålitelig for å finne feil i input.En leksikalsk grammatikk kan ha feilverdier tildelt spesifikke leksemer, og slik analyse kan også oppdage ulovlige eller misdannede symboler.Selv om det å finne et ulovlig eller misdannet token signaliserer ugyldige innganger, har det ingen betydning for om de andre symbolene er gyldigbrukes ofte i forbindelse med andre metoder for å skape meningsfulle resultater.For eksempel å dele opp en tekststreng i ord for å bestemme frekvenser benytter seg av leksemeoppretting, men oppretting av Lexeme alene kan ikke overvåke antall ganger et bestemt Lexeme vises i input.Leksikalsk analyse kan være nyttig på egen hånd hvis leksemene i seg selv er oppmerksom, men store mengder inngang kan gjøre analyse av rå leksemer vanskelig på grunn av datamengden.