Compilation (3ème LMD –S5-) Chap2 

: Analyse Lexicale

Chapitre II : Analyse Lexicale

II.1 Introduction

L'analyse lexicale consiste à segmenter un texte source en un ensemble de mots que l'on appelle
traditionnellement « tokens» (ou «lexème»), ce qui signifie un objet appartenant à une unité lexicale.
Il s'agit d'une part de déterminer la suite des caractères comprenant le token, et d'autre part
d'identifier le type de token (identificateur, nombre, opérateur, etc.), dans l’autre cas, c’est une erreur
lexicale !

Pour réaliser cette tache, il nous faut un Analyseur Lexical (ou Scanner) : c’est un programme
qui représente un Automate d’Etats Finis (AEF) correspondant à des Expressions Régulières (ER)
définissant les différents mots du langage à compiler (source). Donc, on peut déduire les taches
principales de cet analyseur :

1) Parcourir le programme source caractère par caractère.

2) Identifier les mots du programme source « tokens » avec leurs types.
3) Insérer les tokens avec leurs types dans la table des symboles.

Comme taches secondaires de l’analyseur lexical, on peut citer :

1) Ignorer les commentaires et les caractères superflus (blancs, tabulations, fins des lignes, …).
2) Afficher les messages d’erreur (mots n’appartenant pas au langage).
3) Insérer les attributs correspondants aux différents « tokens »

Remarque  :
L’analyseur lexical peut être réalisé directement au moyen d’un langage de haut niveau (C, Java, …), ou
bien, au moyen d’un outil d’aide comme le Lex ou Flex.

Programme  Suite de tokens

Source Analyseur
)Texte(  Table des Symboles
Lexical
 Erreurs lexicales

Outil d’aide
(Lex ou Flex)

Expressions
Régulières

Université de Tébessa 2014 – 2015 1 M. : ZEBDI A

Compilation (3ème LMD –S5-) Chap2 : Analyse Lexicale

II.2 Expressions Régulières :

Expressions Construction Objectif Analyseur
Régulières A.E.F Lexical

a) Unités lexicales et lexèmes

Définition 1 :   Une unité lexicale  est une classe de chaines de caractères qui a une signification
collective.

Exemples : les chaînes ≥, ≤, >, < sont des opérateurs relationnels. L'unité lexicale est
OPREL (par exemple). Les chaînes toto, ind, tab, ajouter sont des identificateurs (de
variables, ou de fonctions). Les chaînes if, else, while sont des mots clefs. Les
symboles , ; () sont des séparateurs.

Définition 2 :  Un modèle est une règle associée à une unité lexicale qui décrit l'ensemble des chaînes du
programme qui peuvent correspondre à cette unité lexicale.

Définition 3 :   On appelle lexème toute suite de caractère du programme source qui concorde avec le
modèle d'une unité lexicale.

Exemples :
L'unité lexicale IDENT (identificateur) en C a pour modèle : toute suite non vide de
caractères composée de chiffres, lettres ou du symbole "_" et qui commencent par une
lettre. Des exemples de lexèmes pour cette unité lexicale sont : truc, i,a1, ajou_valeur

L'unité lexicale NOMBRE (entier signé) a pour modèle : toute suite non vide de chiffres
précédée éventuellement d'un seul caractère parmi {+ , -}.
Lexèmes possibles : -12, 83204, +0 ...

L'unité lexicale REEL a pour modèle : tout lexème correspondant à l'unité lexicale
NOMBRE suivi éventuellement d'un point et d'une suite (vide ou non) de chiffres, le tout
suivi éventuellement du caractère E ou e et d'un lexème correspondant à l'unité lexicale
NOMBRE. Cela peut également être un point suivi d'une suite de chiffres, et
éventuellement du caractère E ou e et d'un lexème correspondant à l'unité lexicale
NOMBRE. Exemples de lexèmes : 12.4, 0.5e3, 10., -4e-1, -.103e+2 ...

Pour décrire le modèle d'une unité lexicale, on utilisera des Expressions Régulières.

Université de Tébessa 2014 – 2015 2 M. : ZEBDI A

Compilation (3ème LMD –S5-) Chap2 : Analyse Lexicale

b) Expressions régulières
Les expressions régulières permettent de décrire les mots d’un langage régulier (de type 3). Pour
décrire cette notion, on doit se rappeler de quelques notions de la théorie des langages.

Définitions 1 :  
On appelle alphabet   un ensemble fini non vide de symboles (lettres).
On appelle mot toute séquence finie d'éléments de .
On note le mot vide.
On note l'ensemble infini contenant tous les mots possibles sur .
On note l'ensemble des mots non vides que l'on peut former sur , c'est à dire
On note |m| la longueur du mot m, c'est à dire le nombre de symboles de composant le mot.
On note l'ensemble des mots de de longueur n. on peut dire que

Exemples :
Soit l'alphabet , aaba, bbbacbb, c, , ca sont des mots de , de longueurs respectives :
4, 7, 1, 0 et 2.
Soit l'alphabet . , aba n'est pas un mot de . baab, caa, bc, aaaa sont des mots de
de longueurs 3, 2, 2 et 2.

On note . l'opérateur de concaténation   de deux mots : si (avec ) et

(avec ), alors la concaténation de u et v est le mot

Propriété

| u.v |=| u | + | v |
(u.v).w=u.(v.w) (associativité)
est l'élément neutre pour . :

Remarque : nous écrirons désormais uv pour u.v

Définition 2 :   On appelle langage sur un alphabet tout sous-ensemble de .

 Exemples : Soit l'alphabet

Soit L1 l'ensemble des mots de ayant autant de a que de b. L1 est le langage infini

Université de Tébessa 2014 – 2015 3 M. : ZEBDI A

Compilation (3ème LMD –S5-) Chap2 : Analyse Lexicale
Soit L2 l'ensemble de tous les mots de ayant exactement 4 a. L2 est le langage infini

Opérations sur les langages :

Union :

Intersection :

Concaténation :

Itération :

Etoile :

Problème :
Étant donné un langage, comment décrire tous les mots acceptables ? Comment décrire un langage ?
Il existe plusieurs types de langage (classification –Voir cours Théorie de Langages), certains étant plus
facile à décrire que d'autres. On s'intéresse ici aux langages réguliers.  

Définition 3 :  Un langage régulier L sur un alphabet est défini récursivement de la manière suivante :

{ ε } est un langage régulier sur

Si a est une lettre de , { a }est un langage régulier sur
Si R est un langage régulier sur , alors Rn et R* sont des langages réguliers sur
Si R1 et R2 sont des langages réguliers sur , alors R1 U R2 et R1R2 sont des langages réguliers
Les langages réguliers se décrivent facilement par une expression régulière.

Définition 4 :   Les expressions régulières (E.R.) sur un alphabet et les langages qu'elles décrivent
sont définis récursivement de la manière suivante :

est une E.R. qui décrit le langage { ε }

Si , alors a est une E.R. qui décrit le langage { a }
Si r est une E.R. qui décrit le langage R, alors (r)* est une E.R. décrivant le langage R*
Si r est une E.R. qui décrit le langage R, alors (r)+ est une E.R. décrivant le langage R+
Si r et s sont des E.R. qui décrivent respectivement les langages R et S, alors (r)|(s) est une E.R.
décrivant le langage R U S
Si r et s sont des E.R. qui décrivent respectivement les langages R et S, alors (r)(s) est une E.R.

Université de Tébessa 2014 – 2015 4 M. : ZEBDI A

Compilation (3ème LMD –S5-) Chap2 : Analyse Lexicale
dénotant le langage RS

Remarque : Il existe une priorité décroissante des opérations sur les E.R : *, concaténation, |
C'est à dire par exemple que ab*|c = ((a)((b)*))|(c)
Propriété : La concaténation est distributive par rapport à | : c'est à dire que r( s | t) = rs | rt et ( s|t )r=sr|
tr.

Exemples :
(a|b)* dénote l'ensemble de tous les mots formés de a et de b, ou le mot vide.
(a|b)*=(b|a)*
(a)|((b)*(c))=a|b*c est soit le mot a, soit les mots formés de 0 ou plusieurs b suivi d'un c. C'est à dire

(a|b)*abb(a|b)* dénote l'ensemble des mots sur { a , b }ayant le facteur abb

b*ab*ab*ab* dénote l'ensemble des mots sur { a , b }ayant exactement 3 a
(abbc|baba)+aa(cc|bb)*

c) Mise en œuvre d’un analyseur lexical

c.1) Spécification des unités lexicales

Nous disposons donc, avec les E.R., d'un mécanisme de base pour décrire des unités lexicales. Par
exemple, une ER décrivant les identificateurs en C pourrait être :
ident = (a|b|c|d|e|f|g|h|i|j|k|l|m|n|o|p|q|r|s|t|u|v |w|x|y|z|A|B|C|D|E|F|G|H|I|J|K|L|M|N|O|P|Q |R|S|T|U
|V|W|X|Y|Z) (a|b|c|d|e|f|g|h|i|j|k|l|m|n|o|p|q|r| s|t|u|v|w|x|y|z|A|B |C|D|E|F|G|H|I|J|K|L|M |N|O
|P|Q| R|S|T|U|V|W|X|Y|Z|0|1|2|3|4|5|6|7|8|9|_)*
C'est un peu chiant et illisible ...
Alors on s'autorise des définitions régulières et le symbole - sur des types ordonnés (lettres, chiffres, ...). 

Une définition régulière est une suite de définitions de la forme

Université de Tébessa 2014 – 2015 5 M. : ZEBDI A

Compilation (3ème LMD –S5-) Chap2 : Analyse Lexicale
où chaque ri est une expression régulière sur l'alphabet, et chaque di est un nom
différent.

Exemple : l'unité lexicale IDENT (identificateur) devient :

c.2) Analyseur lexical

Récapitulons : le rôle d'un analyseur lexical est la reconnaissance des unités lexicales. Une unité lexicale
peut (la plupart du temps) être exprimée sous forme de définitions régulières.
Dans la théorie des langages, on définit des automates qui sont des machines théoriques permettant la
reconnaissance de mots. Ces machines ne marchent que pour certains types de langages. En particulier :
Théorème :   Un langage régulier est reconnu par un automate fini.

c.3) Interaction entre analyseur lexical & analyseur syntaxique

Pratiquement, l’analyseur lexical est un sous programme (une fonction) de l’analyseur syntaxique,
ce dernier demande de l’analyseur lexical, à chaque fois, quand il a besoin, le prochain token à traiter.

Exemples :

Pour ce qui est des symboles <=, >=, <, >, <>, l'analyseur syntaxique a juste besoin de savoir que cela
correspond à l'unité lexicale OPREL (opérateur relationnel).
C'est seulement lors de la génération de code que l'on aura besoin de distinguer < de >= (par exemple).

Pour ce qui est des identificateurs, l'analyseur syntaxique a juste besoin de savoir que c'est l'unité
lexicale IDENT.
Mais le générateur de code, lui, aura besoin de l'adresse de la variable correspondant à cet
identificateur. L'analyseur sémantique aura aussi besoin du type de la variable pour vérifier que les
expressions sont sémantiquement correctes.
Université de Tébessa 2014 – 2015 6 M. : ZEBDI A
Compilation (3ème LMD –S5-) Chap2 : Analyse Lexicale

Remarque  : Cette information supplémentaire, inutile pour l'analyseur syntaxique, mais utile pour les
autres phases du compilateur, est appelée Attribut.  

II.3 Les Automates Finis :

Définition 1 :   Un automate à états finis (AEF) est défini par
un ensemble fini E d'états
un état e0 distingué comme étant l'état initial 
un ensemble fini T d'états distingués comme états finaux (ou   états terminaux)
un alphabet des symboles d'entrée
une fonction de transition qui à tout couple formé d'un état et d'un symbole de fait
correspondre un ensemble (éventuellement vide) d'états :

Exemple : e0=0
, ,
(et sinon)
, , ,
Représentation graphique :

Convention : on dessinera un triangle pour l'état initial et un carré pour les états finaux

Représentation par une table de transition :

état a b
0 0,1 0
1 - 2
2 - 3
3 - -

Université de Tébessa 2014 – 2015 7 M. : ZEBDI A

Compilation (3ème LMD –S5-) Chap2 : Analyse Lexicale

e0=0 et

Définition 2 :   Le langage reconnu par un automate est l'ensemble des chaînes qui permettent de
passer de l'état initial à un état terminal.

L'automate de l'exemple précédent accepte le langage (l'expression régulière) (a|b)*abb

N.B  : Un automate peut très facilement être simulé par un algorithme (et donc un programme simulant un
automate fini). C'est encore plus facile si l'automate est déterministe

a) Automates finis déterministes (AFD)

Définition 1 :   On appelle -transition, une transition par le symbole entre deux états.
   

Définition 2 :   Un automate fini est dit déterministe lorsqu'il ne possède pas de -transition et lorsque
pour chaque état e et pour chaque symbole a, il y a au plus un arc étiqueté a qui quitte e

Remarque  : L'automate donné en exemple précédent n'est pas déterministe, puisque de l'état 0, avec la
lettre a, on peut aller soit dans l'état 0 soit dans l'état 1.

NB  : Les AFD sont plus faciles à simuler (pas de choix dans les transitions, donc jamais de retours en
arrière à faire).
Il existe des algorithmes permettant de « déterminiser » un automate non déterministe (c'est à
dire de construire un AFD qui reconnaît le même langage que l'AFN donné). L'AFD obtenu comporte en
général plus d'états que l'AFN, donc le programme le simulant occupe plus de mémoire.

b) Construction d'un AFN à partir d'une E.R.

(Construction de Thompson, basée sur la récursivité des expressions régulières)

Pour une expression régulière s, on note A(s) un automate reconnaissant cette expression.

 Automate A(ε)acceptant la chaîne vide

 Automate A(a) acceptant la lettre a

 Automate A(r.s) acceptant (r)(s)

Université de Tébessa 2014 – 2015 8 M. : ZEBDI A

Compilation (3ème LMD –S5-) Chap2 : Analyse Lexicale
1. Mettre une -transition de chaque état terminal de A(r) vers l'état initial de A(s)
2. Les états terminaux de A(r) ne sont plus terminaux
3. Le nouvel état initial est celui de A(r)
4. (L’ancien état initial de A(s) n'est plus état initial)

 Automate A(r|s)reconnaissant r|s

1. Créer un nouvel état initial q

2. Mettre une -transition de q vers les états initiaux de A(r) et A(s)
3. (Les états initiaux de A(r) et A(s) ne sont plus états initiaux)

 Automate reconnaissant r+

Mettre des -transitions de chaque état terminal de A(r) vers son état initial

Exemple : (ab|bca)+bb(ab|cb)*a correspond à l'automate donné par la figure suivante :

c) Transformation en AFD d’un AFN ne contenant pas d' -transitions

Principe : considérer des ensembles d'états plutôt que des états.

Université de Tébessa 2014 – 2015 9 M. : ZEBDI A
Compilation (3ème LMD –S5-) Chap2 : Analyse Lexicale
1. Partir de l'état initial
2. Rajouter dans la table de transition tout les nouveaux "états" produits, avec leur transition
3. Recommencer 2 jusqu'à ce qu'il n'y ait plus de nouvel "état"
4. Tous les "états" contenant au moins un état terminal deviennent terminaux
5. Renuméroter alors les états.

Exemple : l'automate représenté dans la figure précédente a pour table de transition :

état a b
0 0,2 1
1 3 0,2
2 3,4 2
3 2 1
3
4 -

e0=0 et
"état" a b
en appliquant l’algorithme on obtient :
0 0,2 1
0,2 0,2,3,4 1,2
1 3 0,2
0,2,3,4 0,2,3,4 1,2,3
1,2 3,4 0,2
3 2 1 Puis, ça devient :
1,2,3 2,3,4 0,1,2
3,4 a b2
état 1,3
02 1 3,4 2 2
2,3,4 2,3,4 1,2,3
Université de Tébessa
0,1,2 0,2,3,4 0,1,2 2014 – 2015 10 M. : ZEBDI A
1,3 2,3 0,1,2
2,3 2,3,4 1,2
Compilation (3ème LMD –S5-) Chap2 : Analyse Lexicale
1 3 4
2 5 1
3 3 6
4 7 1
5 8 2
6 9 10
7 8 11
8 7 8
9 9 6
10 3 10
11 12 10
12 9 4

avec e0=0 et (voir figure suivante)

  

d) Transformation en AFD d’un AFN (cas général)

Principe : considérer l' -fermeture des ensembles d'états

Définition 1 :   On appelle -fermeture de l'ensemble d'états l'ensemble des états

accessibles depuis un état ei de T par des -transitions

Université de Tébessa 2014 – 2015 11 M. : ZEBDI A

Compilation (3ème LMD –S5-) Chap2 : Analyse Lexicale
Calcul de l' -fermeture de:

Mettre tous les états de T dans une pile P

Initialiser -fermeture(T) à T
Tant que P est non vide faire
Soit p l'état en sommet de P
dépiler P
Pour chaque état e tel qu'il y a une -transition entre p et e faire
Si e n'est pas déja dans -fermeture(T)
ajouter e à -fermeture(T)
empiler e dans P
finsi
finpour
fin tantque

Exemple:

Soit l'AFN

état a b c
0 2 - 0 1
1 3 4 - -
2 - - 1,4 0
3 - 1 - -
4 - - 3 2

e0=0 et

On a par exemple -fermeture , -fermeture ,

-fermeture , ...

Déterminisation :

1. Partir de l' -fermeture de l'état initial

2. Rajouter dans la table de transition toutes les -fermetures des nouveaux "états" produits, avec leurs
transitions
3. Recommencer 2 jusqu'à ce qu'il n'y ait plus de nouvel "état"
4. Tous les "états" contenant au moins un état terminal deviennent terminaux

Université de Tébessa 2014 – 2015 12 M. : ZEBDI A

Compilation (3ème LMD –S5-) Chap2 : Analyse Lexicale
5. Renuméroter alors les états.

Sur l'exemple, on obtient

état a b c
0,1 2,3,0,1 4,2,0,1 0,1
0,1,2,3 0,1,2,3 0,1,2,4 0,1,4,2
0,1,2,4 0,1,2,3 0,1,2,4 0,1,3,4,2
0,1,2,3,4 0,1,2,3 0,1,2,4 0,1,2,3,4

état a b c
0 1 2 0
1 1 2 2
2 1 2 3
3 1 2 3

avec e0=0 et

e) Minimisation d'un AFD

But : obtenir un automate ayant le minimum d'états possible. En effet, certains états peuvent être
équivalents.

Principe : on définit des classes d'équivalence d'états par raffinements successifs. Chaque classe
d'équivalence obtenue forme un seul même état du nouvel automate.

1 - Faire deux classes : A contenant les états terminaux et B contenant les états non terminaux.

Université de Tébessa 2014 – 2015 13 M. : ZEBDI A

Compilation (3ème LMD –S5-) Chap2 : Analyse Lexicale
2 - S'il existe un symbole a et deux états e1 et e2 d'une même classe tels que et
n'appartiennent pas à la même classe, alors créer une nouvelle classe et séparer e1 et e2.
3 - Recommencer 2 jusqu'à ce qu'il n'y ait plus de classes à séparer.
4 - Chaque classe restante forme un état du nouvel automate

Sur l'exemple:

(1) et

(2) et n'appartiennent pas à la même classe, alors A se casse en

et

et n'appartiennent pas à la même classe, alors B se casse en

et

(3) Ça ne bouge plus.

On obtient donc l'automate à 4 états (correspondants aux 4 classes) de la figure suivante:

  

Cet automate reconnaît le même langage que l'AFN que nous avions au début.

Exemple Pratique d’Analyseur Lexical:

Bon, un langage régulier (et donc une ER) peut être reconnu par un automate fini. Donc, pour
écrire un analyseur lexical de notre programme source, il suffit, donc, d'écrire un programme simulant
l'automate reconnaissant les E.R décrivant les unités lexicales du langage source.

Université de Tébessa 2014 – 2015 14 M. : ZEBDI A

Compilation (3ème LMD –S5-) Chap2 : Analyse Lexicale
Lorsqu'une unité lexicale est reconnue, elle est envoyée à l'analyseur syntaxique, qui la traite, puis
repasse la main à l'analyseur lexical qui lit l'unité lexicale suivante dans le programme source. Et ainsi de
suite, jusqu'à tomber sur une erreur ou jusqu'à ce que le programme source soit traité en entier.

Exemple d’un morceau d'analyseur lexical pour le langage Pascal (en C) :

c = getchar();
switch (c) {
case ':' : c=getchar();
if (c== '=')
{
unite_lex = AFFECTATION;
c= getchar();
}
else
unite_lex = DEUX_POINTS;
break;
case '<' : unite_lex := OPREL;
c= getchar();
if (c=='=')
{
attribut = INFEG;
c = getchar();
}
else
attribut := INF
break;
case .....

ou encore, en copiant le travail de l'automate (mais cela donne un code moins rapide, car il contient
beaucoup d'appels de fonctions).

void Etat1()
{
char c;
c= getchar();
swicth(c) {
case ':' : Etat2();
break;
case '<' : Etat5();
break;
case 'a' : Etat57();
break;
...
default : ERREUR();
}
}

void Etat36524()
...

Il n'est pas évident du tout dans tout ça de s'y retrouver si on veut modifier l'analyseur, le compléter, ...

Heureusement, il existe des outils pour écrire des programmes simulant des automates à partir de simples
définitions régulières. Par exemple : flex  
Université de Tébessa 2014 – 2015 15 M. : ZEBDI A
Compilation (3ème LMD –S5-) Chap2 : Analyse Lexicale

Exemple de programme en flex :

chiffre [0-9]
lettre [a-zA-Z]
entier [+-]?[1-9]{chiffre}*
ident {lettre}({lettre}|{chiffre})*
%%
":=" { return AFF; }
"<=" {
attribut = INFEG;
return OPREL;
}
if|IF|If|iF {return MC_IF;}
{entier} {return NB;}
{ident} {return ID;}
%%
main() {
yylex();
}

II.3) Erreurs lexicales

Peu d'erreurs sont détectables au seul niveau lexical, car un analyseur lexical a une vision très
locale du programme source. Les erreurs se produisent lorsque l'analyseur est confronté à une suite de
caractères qui ne correspond à aucun des modèles d'unité lexicale qu'il a à sa disposition.
Par exemple, dans un programme C, si l'analyseur rencontre esle, s'agit t-il du mot clef else mal
orthographié ou d'un identificateur ? Dans ce cas précis, comme la chaîne correspond au modèle de
l'unité lexicale IDENT (identificateur), l'analyseur lexical ne détectera pas d'erreur, et transmettra à
l'analyseur syntaxique qu'il a reconnu un IDENT. S'il s'agit du mot clef mal orthographié, c'est l'analyseur
syntaxique qui détectera alors une erreur.

Autre exemple : s'il rencontre 1i, il ne sait pas s'il s'agit du chiffre 1 suivi de l'identificateur i ou d'une
erreur de frappe (et dans ce cas l'utilisateur pensait-il à i1, i, 1 ou à tout autre chose ?). L'analyseur lexical
peut juste signaler que la chaîne 1i ne correspond à aucune unité lexicale définie.
 

Lorsque l'analyseur est confronté à une suite de caractères qui ne correspond à aucun de ses modèles,
plusieurs stratégies sont possibles :

- Mode panique : on ignore les caractères qui posent problème et on continue.

- Transformation du texte source : insérer un caractère, remplacer, échanger, ...

Cette dernière se fait en calculant le nombre minimum de transformations à apporter au mot qui
pose problème pour en obtenir un qui ne pose plus de problèmes. On utilise des techniques de calcul de
distance minimale entre des mots. Cette technique de récupération d'erreur est très peu utilisée en pratique

Université de Tébessa 2014 – 2015 16 M. : ZEBDI A

Compilation (3ème LMD –S5-) Chap2 : Analyse Lexicale
car elle est trop coûteuse à implanter. En outre, au niveau lexical, elle est peu efficace, car elle entraîne
d'autres erreurs lors des phases d'analyse suivantes.

La stratégie la plus simple est le mode panique. En fait, en général, cette technique se contente de
refiler le problème à l'analyseur syntaxique. Mais c'est efficace puisque c'est lui, la plupart du temps, le
plus apte à le résoudre.

Université de Tébessa 2014 – 2015 17 M. : ZEBDI A