Sözlüksel analiz, bir karakter dizisi alma (veya daha basit bir şekilde metin) ve onu belirteçler olarak adlandırılan anlamlı gruplara dönüştürme işlemidir. Bu metodoloji, bilgisayar dillerinin yorumlanmasından kitap analizine kadar çok çeşitli uygulamalarda kullanılmaktadır. Sözlüksel analiz ayrıştırma ile eş anlamlı değildir; aksine, toplam ayrıştırma işleminin ilk adımıdır ve daha sonra kullanılmak üzere hammadde oluşturur.
Sözlük olarak da adlandırılan belirteçlerin yapıtaşları, sözcük analizi için gereken gramerine bağlı olarak birçok şekilde üretilebilir. Bunun yaygın bir örneği cümleleri kelimelere ayırmak; Bu, cümleleri boşluklara bölmek suretiyle yapılır. Boşluksuz üretilen her sürekli karakter dizisi bir sözlüktür. Metin dizeleri, değişken karmaşıklığa sahip birden fazla sözcük sürümü oluşturarak, bir veya daha fazla karakter türüne bölünebilir. Jetonlar, her bir sözlük değerlendirildikten ve karşılık gelen değer ile eşleştirildikten sonra üretilir; tanım olarak, belirteçler sadece eşleşmeyi değil, bu eşleşmeyi de ifade eder.
Biraz sezgisel olarak sözcüksel analiz, bağlamında bir metin dizesini çıkarır. Amacı, sadece ileri çalışma için yapı taşları üretmek, bu parçaların geçerli ya da geçersiz olup olmadığını belirlemek değil. Bilgisayar dili yorumlanması durumunda, doğrulama sözdizimi analizi ile yapılır ve metnin kapsamı veya içeriği açısından doğrulama yapılabilir. Bir giriş dizgisi tamamen uygun kelimelere bölünmüşse ve bu kelimelerden her biri uygun bir değere sahipse, analizin başarılı olduğu kabul edilir.
Bağlam veya doğrulama yapma yeteneği olmadan, sözlük analizi girdideki hataları bulmak için güvenilir bir şekilde kullanılamaz. Sözlüksel dilbilgisi, belirli sözcüklere atanmış hata değerlerine sahip olabilir ve bu tür bir analiz yasadışı veya hatalı biçimlendirilmiş belirteçleri de algılayabilir. Yasadışı veya hatalı biçimlendirilmiş bir belirteci bulmak geçersiz girdiyi işaret etse de, diğer belirteçlerin geçerli olup olmadığına dair bir ilgisi yoktur ve bu nedenle kesinlikle bir doğrulama türü değildir.
Sözcüksel analiz birçok algoritmanın ayrılmaz bir parçası olmasına rağmen, anlamlı sonuçlar elde etmek için sıklıkla diğer metodolojilerle birlikte kullanılmalıdır. Örneğin, frekansları belirlemek için bir metin dizesini sözcüklere ayırmak, sözcük oluşturma işlemini kullanır, ancak sözcük oluşturma oluşturma yalnızca belirli bir sözcük girişinde görünme sayısını izleyemez. Sözlüklerin kendileri not edilirse sözcüksel analiz kendi başına yararlı olabilir, ancak büyük miktarlarda girdiler, ham sözcüklerin analizini veri hacmi nedeniyle zorlaştırabilir.
