Apa itu analisis leksikal?

Analisis leksikal adalah proses mengambil serangkaian karakter mdash;Atau, lebih sederhana, teks mdash;dan mengubahnya menjadi kelompok yang bermakna yang disebut token.Metodologi ini memiliki penggunaan dalam berbagai aplikasi, dari menafsirkan bahasa komputer hingga analisis buku.Analisis leksikal tidak identik dengan penguraian;Sebaliknya, ini adalah langkah pertama dari proses parsing total, dan itu menciptakan bahan baku untuk digunakan nanti.

Blok bangunan token, juga disebut leksem, dapat dihasilkan dalam banyak hal, tergantung pada tata bahasa yang dibutuhkan untuk analisis leksikal.Contoh umum dari hal ini adalah membelah kalimat dengan kata -kata;Ini sering dilakukan dengan membelah kalimat di sekitar ruang.Setiap string karakter kontinu yang dihasilkan tanpa spasi adalah leksem.String teks dapat dibagi pada satu atau banyak jenis karakter, membuat beberapa versi leksem dengan berbagai kompleksitas.Token dihasilkan setelah setiap leksem telah dievaluasi dan dipasangkan dengan nilai yang sesuai;Menurut definisi, token merujuk pada pasangan ini, bukan hanya leksem.

Analisis leksikal, agak kontra-intuitif, strip string teks konteksnya.Tujuannya hanya untuk menghasilkan blok bangunan untuk studi lebih lanjut, bukan untuk menentukan apakah potongan -potongan itu valid atau tidak valid.Dalam hal interpretasi bahasa komputer, validasi dilakukan dengan analisis sintaksis, dan validasi teks dapat dilakukan dalam hal konteks atau konten.Jika string input benar -benar dibagi menjadi leksem yang sesuai dan masing -masing leksem tersebut memiliki nilai yang sesuai, analisis dianggap berhasil.

tanpa konteks atau kemampuan untuk melakukan validasi, analisis leksikal tidak dapat secara andal digunakan untuk menemukan kesalahan dalam input.Tata bahasa leksikal mungkin memiliki nilai kesalahan yang ditugaskan untuk leksem tertentu, dan analisis tersebut juga dapat mendeteksi token ilegal atau cacat.Meskipun menemukan token ilegal atau cacat tidak menandakan input yang tidak valid, ia tidak memiliki kaitannya dengan apakah token lain valid, dan karenanya bukan jenis validasi.

Meskipun analisis leksikal merupakan bagian integral dari banyak algoritma, ia harussering digunakan bersama dengan metodologi lain untuk menciptakan hasil yang bermakna.Misalnya, membagi string teks menjadi kata -kata untuk menentukan frekuensi memanfaatkan pembuatan leksem, tetapi pembuatan leksem saja tidak dapat memantau berapa kali leksem tertentu muncul dalam input.Analisis leksikal mungkin berguna sendiri jika leksem itu sendiri dicatat, tetapi sejumlah besar input mungkin membuat analisis leksem mentah menjadi sulit karena volume data.