Analisis Lexico

Instituto Tecnológico de Nuevo León
Materia:
Lenguajes y Autómatas 2
Trabajo:
Análisis Léxico
Nombre del Alumno: Francisco Javier Alvarado González
No. De Control: 15481057
Catedrático: Dr. Fidencio Sánchez Rueda
Carrera: Ingeniería en Sistemas Computacionales
Ciudad Guadalupe, Nuevo León, a 10 de Septiembre del 2018

Un analizador léxico
Un analizador léxico o analizador lexicográfico (en inglés scanner) es la primera

fase de un compilador consistente en un programa que recibe como entrada el
código fuente de otro programa (secuencia de caracteres) y produce una salida
compuesta de tokens (componentes léxicos) o símbolos. Estos tokens sirven para
una posterior etapa del proceso de traducción, siendo la entrada para el analizador
sintáctico (en inglés parser).
La especificación de un lenguaje de programación a menudo incluye un conjunto

de reglas que definen el léxico. Estas reglas consisten comúnmente en
expresiones regulares que indican el conjunto de posibles secuencias de
caracteres que definen un token o lexema.
En algunos lenguajes de programación es necesario establecer patrones para

caracteres especiales (como el espacio en blanco) que la gramática pueda
reconocer sin que constituya un token en sí.
Análisis
Esta etapa está basada usualmente en una máquina de estados finitos. Esta
máquina contiene la información de las posibles secuencias de caracteres que
puede conformar cualquier token que sea parte del lenguaje (las instancias
individuales de estas secuencias de caracteres son denominados lexemas). Por
ejemplo, un token de naturaleza entero puede contener cualquier secuencia de
caracteres numéricos.
Funciones del Analizador Léxico
 Convierte el programa fuente en una cadena de tokens

 Para reconocer el token usa un patrón, una regla que describe como se
forman las cadenas que corresponden a un token.
 Salta comentarios y espacios en blanco (tabuladores, saltos de línea...)
 Tener el registro de la línea del archivo fuente que está siendo analizada
 Genera mensajes de error léxico, y se recupera del error
 Convierte los valores literales al tipo que corresponda
 Si la entrada debe obedecer a un formato, verifica el formato Ej. Fortran,
Cobol
Tokens y Lexemas
Token:
 Elemento básico del lenguaje

 Unidad léxica indivisible
 Identifica una entidad lógica dentro del lenguaje
 Incluyen: Palabras Reservadas, Constantes, Operadores, Signos de
Puntuación e Identificadores
Lexema:
 La cadena original que se identifica como token

 No hay correspondencia 1-1 entre token-lexema
Construcción de Generadores
Automáticos de Scanners
 Construir un NFA para cada una de las expresiones regulares a reconocer.

 Aplicar una unión a todas las expresiones (unirlas con un mismo estado de
inicio -usando transiciones Є-), pero sin unirlas en un solo estado final (se
requiere un estado de aceptación para cada token de tal forma que se
pueda identificar el token econocido) Generar el DFA.
 Hacer el programa de recorrido de DFA teniendo en cuenta que un lexema
puede pasar por varios estados de aceptación (crear una lista de los
estados de aceptación por los que pasó).
Atributos para tokens
 El analizador recopila información sobre los tokens a medida que los

reconoce. Por ejemplo: token num, pero... qué lexema?
 Cuando la cadena de entrada permite reconocer más de un token, esta
información puede ayudar a desambiguar.
Palabras Reservadas
 Identificador es una palabra que inicia con una letra, y es seguida por letras
o dígitos.
 Las palabras clave cumplen con este mismo patrón de construcción.
 Se hace necesario un mecanismo que permita decidir cuándo una cadena

es una palabra clave o un identificador
 Solución sencilla: Palabras Reservadas (que no pueden ser usadas como
identificadores)
Porque se divide el Análisis Léxico del Sintáctico?
 Simplifica y modulariza el diseño del compilador, se hace más claro, facilita

la implementación.
 Mejora la eficiencia del compilador:
 El parser trabaja con Tokens, no con caracteres
 Uso de técnicas de buffers
 La mayor parte del tiempo de compilación se usa en el análisis léxico
(excluyendo la optimización)
 Mayor portabilidad:
  Aísla las peculiaridades en el alfabeto de entrada
  Ej. El conjunto de caracteres, representación de símbolos

Analisis Lexico

Cargado por

Copyright:

Formatos disponibles

Analisis Lexico

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Analisis Lexico

Cargado por

Copyright:

Formatos disponibles

Instituto Tecnológico de Nuevo León

Nombre del Alumno: Francisco Javier Alvarado González

No. De Control: 15481057

Catedrático: Dr. Fidencio Sánchez Rueda

Carrera: Ingeniería en Sistemas Computacionales

Ciudad Guadalupe, Nuevo León, a 10 de Septiembre del 2018

Un analizador léxico o analizador lexicográfico (en inglés scanner) es la primera

La especificación de un lenguaje de programación a menudo incluye un conjunto

En algunos lenguajes de programación es necesario establecer patrones para

Funciones del Analizador Léxico

 Convierte el programa fuente en una cadena de tokens

 Elemento básico del lenguaje

 La cadena original que se identifica como token

 Construir un NFA para cada una de las expresiones regulares a reconocer.

Atributos para tokens

 El analizador recopila información sobre los tokens a medida que los

 Se hace necesario un mecanismo que permita decidir cuándo una cadena

Porque se divide el Análisis Léxico del Sintáctico?

 Simplifica y modulariza el diseño del compilador, se hace más claro, facilita

También podría gustarte