Mi a lexikai elemzés?

A lexikai elemzés a karakterek sorozatának elkészítésének folyamata mdash;Vagy, egyszerűbben: szöveg mdash;és a tokeneknek hívott értelmes csoportokká alakítva.Ez a módszertan sokféle alkalmazást használ, a számítógépes nyelvek értelmezésétől a könyvek elemzéséig.A lexikai elemzés nem szinonimája az elemzésnek;Inkább ez a teljes elemzési folyamat első lépése, és nyersanyagot hoz létre későbbi felhasználáshoz.Ennek általános példa a mondatok szavakkal történő felosztása;Ezt gyakran a mondatok szóköz körüli felosztásával hajtják végre.A szóközök nélkül generált minden folyamatos karakterlánc lexeme.A szöveges karakterláncok feloszthatók egy vagy sok típusú karakterre, így a Lexemes több változata változó bonyolultságú.A tokeneket az egyes lexémák kiértékelése és a megfelelő értékkel párosítottuk;A definíció szerint a tokenek erre a párosításra utalnak, nem csak a lexeme.Célja csak az építőelemek előállítása további tanulmányozáshoz, nem pedig annak meghatározása, hogy ezek a darabok érvényesek -e vagy érvénytelenek -e.A számítógépes nyelv értelmezése esetén az érvényesítést szintaxis elemzéssel végezzük, és a szöveg validálása kontextus vagy tartalom szempontjából megtehető.Ha egy bemeneti karakterlánc teljesen fel van osztva a megfelelő lexemákra, és ezeknek a lexémeknek megfelelő értéke van, akkor az elemzést sikeresnek tekintik.-Lehet, hogy egy lexikai nyelvtannak hibajelei vannak hozzárendelve a specifikus lexémákhoz, és az ilyen elemzés az illegális vagy a rosszindulatú tokeneket is felismerheti.Noha az illegális vagy rosszindulatú token megtalálása érvénytelen bemenetet jelez, nem befolyásolja azt, hogy a többi zseton érvényes -e, és így nem szigorúan egy típusú validálás.Gyakran használják más módszerekkel együtt, hogy értelmes eredményeket hozzanak létre.Például, ha egy szöveges karakterlánc szavakba osztja a frekvenciák meghatározására, a Lexeme Creation használatát használja, de a Lexeme Creation önmagában nem tudja megfigyelni, hogy egy adott Lexeme hányszor jelenik meg a bemenetben.A lexikai elemzés önmagában is hasznos lehet, ha maguk a lexemák is figyelembe vehetnek, de a nagy mennyiségű bemenet megnehezítheti a nyers lexémák elemzését az adatok mennyisége miatt.