어휘 분석이란 무엇입니까?

wexical 분석은 일련의 문자를 취하는 과정입니다. mdash;또는 더 간단히 말해서 텍스트 mdash;그리고 그것을 토큰이라고 불리는 의미있는 그룹으로 변환합니다.이 방법론은 컴퓨터 언어 해석에서 책 분석에 이르기까지 다양한 응용 프로그램에 사용됩니다.어휘 분석은 구문 분석과 동의어가 아닙니다.오히려, 그것은 총 구문 분석 과정의 첫 번째 단계이며, 나중에 사용할 수있는 원료를 만듭니다.

lexemes라고도하는 토큰의 빌딩 블록은 어휘 분석에 필요한 문법에 따라 여러 가지 방법으로 생성 될 수 있습니다.이것의 일반적인 예는 단어로 문장을 나누는 것입니다.이것은 공백 주위에 문장을 분할하여 종종 수행됩니다.공백없이 생성 된 각 연속 문자열은 lexeme입니다.텍스트 문자열은 하나 또는 여러 유형의 문자로 분할되어 다양한 복잡성을 가진 여러 버전의 Lexemes를 생성 할 수 있습니다.각 Lexeme이 평가되고 해당 값과 쌍을 이룬 후 토큰이 생성됩니다.정의에 따르면, 토큰은 Lexeme뿐만 아니라이 페어링을 말합니다.

어휘 분석은 다소 직관적으로 컨텍스트의 텍스트 문자열을 제거합니다.그 목적은 추가 연구를 위해 빌딩 블록을 생성하는 것입니다. 해당 작품이 유효하거나 유효하지 않은지 확인하지 않습니다.컴퓨터 언어 해석의 경우 확인은 구문 분석에 의해 수행되며 텍스트 검증은 컨텍스트 또는 내용 측면에서 수행 할 수 있습니다.입력 문자열이 적절한 Lexemes로 완전히 나누어지고 각 Lexemes가 적절한 값을 갖는 경우 분석은 성공한 것으로 간주됩니다. ➢ 컨텍스트 또는 검증 능력이 없으면 입력에서 오류를 찾기 위해 어휘 분석을 안정적으로 사용할 수 없습니다..어휘 문법은 특정 렉시에 오류 값이 할당 될 수 있으며, 이러한 분석은 불법 또는 기형 토큰을 감지 할 수도 있습니다.불법 또는 기형 토큰을 찾는 것은 유효하지 않은 입력을 나타내지 만, 다른 토큰이 유효한지 여부와는 아무런 영향을 미치지 않으므로 엄격하게 유형의 검증이 아닙니다.종종 다른 방법론과 함께 사용하여 의미있는 결과를 창출합니다.예를 들어, 텍스트 문자열을 단어로 분할하여 주파수를 결정하면 Lexeme 생성을 사용하지만 Lexeme 생성만으로는 특정 Lexeme이 입력에 나타나는 횟수를 모니터링 할 수 없습니다.어휘 분석은 Lexemes 자체가 주목할 만하면 자체적으로 유용 할 수 있지만 많은 양의 입력이 데이터의 양으로 인해 원시 Lexemes의 분석이 어려울 수 있습니다.