Ano ang pagsusuri ng lexical?

lexical analysis ay ang proseso ng pagkuha ng isang string ng mga character at mdash;O, mas simple, teksto at mdash;at pag -convert ito sa mga makabuluhang pangkat na tinatawag na mga token.Ang pamamaraang ito ay gumagamit sa isang iba't ibang mga aplikasyon, mula sa pagbibigay kahulugan sa mga wika ng computer hanggang sa pagsusuri ng mga libro.Ang pagsusuri ng lexical ay hindi magkasingkahulugan sa pag -parse;Sa halip, ito ang unang hakbang ng kabuuang proseso ng pag -parse, at lumilikha ito ng hilaw na materyal para magamit sa ibang pagkakataon.Ang isang karaniwang halimbawa nito ay ang paghahati ng mga pangungusap sa pamamagitan ng mga salita;Ito ay madalas na ginagawa sa pamamagitan ng paghahati ng mga pangungusap sa paligid ng mga puwang.Ang bawat tuluy -tuloy na string ng mga character na nabuo nang walang mga puwang ay isang lexeme.Ang mga string ng teksto ay maaaring hatiin sa isa o maraming uri ng mga character, na lumilikha ng maraming mga bersyon ng mga lexemes na may iba't ibang pagiging kumplikado.Ang mga token ay nabuo pagkatapos ng bawat lexeme ay nasuri at ipinares sa kaukulang halaga nito;Sa pamamagitan ng kahulugan, ang mga token ay tumutukoy sa pagpapares na ito, hindi lamang ang lexeme.Ang layunin nito ay upang makabuo lamang ng mga bloke ng gusali para sa karagdagang pag -aaral, hindi upang matukoy kung ang mga piraso ay may bisa o hindi wasto.Sa kaso ng interpretasyon sa wika ng computer, ang pagpapatunay ay ginagawa ng pagsusuri ng syntax, at ang pagpapatunay ng teksto ay maaaring gawin sa mga tuntunin ng konteksto o nilalaman.Kung ang isang string ng input ay ganap na nahahati sa naaangkop na mga lexemes at ang bawat isa sa mga lexemes ay may naaangkop na halaga, ang pagsusuri ay itinuturing na matagumpay..Ang isang lexical grammar ay maaaring magkaroon ng mga halaga ng error na itinalaga sa mga tiyak na lexemes, at ang nasabing pagsusuri ay maaari ring makakita ng mga iligal o malformed na mga token.Bagaman ang paghahanap ng isang iligal o malformed na token ay nag -sign ng hindi wastong pag -input, wala itong epekto kung ang iba pang mga token ay may bisa, at sa gayon hindi ito mahigpit na isang uri ng pagpapatunay.

Kahit na ang pagsusuri ng lexical ay isang mahalagang bahagi ng maraming mga algorithm, dapatmadalas na ginagamit kasabay ng iba pang mga pamamaraan upang lumikha ng mga makabuluhang resulta.Halimbawa, ang paghahati ng isang string ng teksto sa mga salita upang matukoy ang mga frequency ay gumagamit ng paglikha ng lexeme, ngunit ang paglikha ng lexeme lamang ay hindi masusubaybayan ang bilang ng mga beses na lumilitaw ang isang partikular na lexeme sa pag -input.Ang lexical analysis ay maaaring maging kapaki -pakinabang sa sarili nito kung ang mga lexemes mismo ay napansin, ngunit ang malaking halaga ng pag -input ay maaaring gumawa ng pagsusuri ng mga hilaw na lexemes dahil sa dami ng data.