Chapitre III L’apprentissage supervisé : cas de classification

1. Introduction
La deuxième application importante de l’apprentissage supervisé est l’application de la classification.
Il faut savoir qu’il existe la classification à deux classes appelée……………………………………………… et la
classification ………………………….ou à k classes. Dans ce cas, la base de données est composée par des
couples………………………………………caractérisée par un……………………………et un …………………………………. .
Dans ce type d’apprentissage, la méthode de ………………………………………………………………. et la méthode
des …………………………………………… sont les algorithmes les plus utilisés, respectivement dans le cas de
la classification binaire et classification à multi classes.

2. La régression logistique
1.1. Structure de la base de données

Si on considère l’application de la détection d’une cellule cancéreuse décrite par la table ci-
dessous.on remarque qu’il existe 4 critères qui décrivent une cellule qui peut être maline (1) ou
benine(0).

Tableau 3.1 Représentation des exemples des caractéristiques des cellules cancéreuses.
Taille min Taille max Volume Nb pointe Type (M/B): Maline/Benine Codage (0/1)
40 90 300 1 B 0
60 68 400 0 B 0
20 32 650 2 B 0
52 50 280 8 M 1
65 75 520 15 M 1
30 45 250 6 M 1
Dans ce cas, la notation ainsi que les notations des dimensions des matrices de la base de données
restent les mêmes que celles étudiés dans le cas de la régression.

1.2. Le modèle

Dans ce cas, si on applique un modèle classique (linéaire, quadratique ou polynomial), la sortie prend
des valeurs supérieures à 1 et inférieures à (-1). Ce qui complique la procédure de sélection du
modèle.On développe alors la notion de la fonction logistique (appelée fonction sigmoïde) notée par
𝜎 et s’écrit :
 _________

Cette fonction est caractérisée par sa variation comprise entre 0 et 1 dans l’interval ]−∞, +∞[.

(∀𝑥 ∈ 𝐼𝑅; 𝜎(𝑥)𝜖[0,1])

Cette fonction permet de transformer n’importe quelle valeurs de l’intervalle…………………………….vers

l’intervalle …………………… La figure ci-dessous représente la variation de cette fonction:

1,2

0,8

0,6

0,4

0,2

0
-8 -6 -4 -2 0 2 4 6 8

Figure3.1 : Représentation de la fonction sigmoïde

On peut donc conclure qu’un modèle de classification de type régression logistique s’écrit comme
suit :

𝜎(𝑋, 𝜃) =

Avec : 𝜎(𝑋, 𝜃)𝜖[… … . , … … . ]

Par conséquent :
… … … … … … … … … … … 𝑎𝑙𝑜𝑟𝑠 𝑦 = 0

… … … … … … … … … … … 𝑎𝑙𝑜𝑟𝑠 𝑦 = 1
Remarque

on ne peut pas écrire 𝑦 = 𝜎(𝑋, 𝜃) car 𝑦 prend seulement deux valeurs (……. ou …..) tandis que 𝜎
prend des valeurs appartenant à[… … , … … . ].
 1.3. La fonction coût :

Dans le cas classique de la régression linéaire, la fonction coût 𝐽(𝜃) représentée par une courbe
convexe (qui présente un seul minimum qui est un minimum global).Dans le cas de la régression
logistique, la courbe de 𝐽(𝜃) n’est pas convexe et présente plusieurs minimas locaux. Comme le
montre la figure suivante, cette caractéristique bloque l’algorithme du gradient descendant au
niveau du premier minimum rencontré.

𝐽(𝜃) 𝐽(𝜃)

𝜃 𝜃

Figure3.2 : Représentation d’une courbe convexe Figure3.3 : Représentation d’une courbe non
convexe
La solution à cette problématique consiste à utiliser la fonction Log pour transformer la fonction 𝐽(𝜃)
en une fonction convexe.Ainsi la formulation de la fonction du coût devient :

𝐽(𝜃) =

Remarque :
Il faut tenir compte que deux formes se présentent lorsque y=0 et y=1 comme suit (en tenant compte
que 𝜎(𝑋, 𝜃)𝜖[0,1]) :

Dans le cas ou y=1

𝐽(𝜃) =

Dans le cas ou y=0

𝐽(𝜃) =
L’équation mathématique qui retient les deux formules s’écrit :

𝐽(𝜃) =

1.4. Algorithme de la descente du gradient :

Dans ce cas, la formulation du gradient reste la même ainsi que l’ajustement des paramètres reste
aussi le même que pour la régression classique.

𝜕𝐽(𝜃)
=
𝜕𝜃

𝜃=

1.5. Résumé des étapes du développement d’un modèle de régression

logistique :

Pour conclure, les étapes de calcul et d’ajustement des paramètres d’un modèle de classification
sont :

 Modèle :

 Fonction coût :

 Gradient :

 Algorithme du gradient :
3. Algorithme du voisin le plus proche (K-NN algorithm)
3.1. Description

C’est un algorithme très simple, qui permet de résoudre les problématiques de classification
……………………………… (>= 3 classes) de manière efficace, noté par K-NN (abréviation des K Nearest
Neighbour).Cet algorithme se base sur un ensemble de données composé d’un ensemble
………………………………………………………………………………..
En effet, pour un vecteur d’entrée faisant pas partie de la base initiale, l’algorithme K-NN va
chercher les K vecteurs d’entrée les plus proches du vecteur d’entrée considéré. Suite à cela,
pour ces K voisins les plus proches, l’algorithme se basera sur leurs classes 𝑦 pour déterminer la
classe du vecteur d’entrée considéré.

3.2. Similarités dans l’algorithme K-NN

Selon la description citée, cet algorithme a besoin d’une fonction de calcul de similarité entre les
données. Cette similarité est expliquée généralement par la distance entre les observations ou
entre les vecteurs : plus la distance est faible entre les vecteurs, plus les observations sont
similaires. Il existe plusieurs fonctions de calcul de distances. Notamment, la distance
euclidienne, la distance manhattan, la distance de Hamming , la distance de Minkowski,etc.
Généralement, lorsque les données sont de même type quantitatif, la distance euclidienne est
utilisée. Dans le cas où les données sont hétérogènes (age , sexe, taille,…), on utilise la distance
de Manhattan.
Les équations des distances sont les suivantes :

- Distance Euclidienne :

𝐷 (𝑥, 𝑧) =

- Distance de Manhattan :

𝐷 (𝑥, 𝑧) =
 3.3. Algorithme du K-NN

Les principales étapes de cet algorithme sont les suivantes :

 Sélection de la base de données ‘B’.
 ______________________________________________
 ______________________________________________
Pour une nouvelle entrée ‘Xnew’ :
 _______________________________________________________________________.
 _______________________________________________________________________.
 Prendre les vecteurs yB des ‘K’ observations et :
o Calculer _____________________________.
o Calculer ______________________________.
 ___________________________________________.

Remarques
1- il faut savoir que ce type d’algorithme peut être utilisé dans le cas
………………………………………………………………………..
2- Il faut bien choisir K : en effet, si la valeur de K est faible, moins le résultat est efficace. Dans
le cas où la valeur de K est importante, l’algorithme risque de tendre vers un problème de
sur-apprentissage (risque de mauvaise généralisation).

3.4. Caractéristiques de l’algorithme K-NN

Les principales caractéristiques de l’algorithme K-NN se résument aux :

 Avantages :
- ____________________________________,
- ____________________________________.
 Inconvénients :
- __________________________________________,
- Choix délicat de la formulation de la distance et du nombre des k-voisins : il
faut essayer plusieurs combinaisons pour avoir des résultats acceptables.
 3.5. Exemple :
Dans cet exemple, La base de données présentée au début de ce chapitre est tenu en compte.
Soit la nouvelle entrée exprimée par le vecteur X=(28, 45, 600, 10) . En se basant sur la
méthodologie présentée ci-dessus, trouver la classe de ‘Xnew’ sachant que k=3.
Tableau 3.2 : Représentation de la base des cellules cancéreuses.
Ordre Taille min Taille max Volume Nb pointe Type (M/B): Maline/Benine Codage (0/1)
1 40 90 300 1 B 0
2 60 68 400 0 B 0
3 20 32 650 2 B 0
4 52 50 280 8 M 1
5 65 75 520 15 M 1
6 30 45 250 6 M 1

𝑑1 =

𝑑2 =

𝑑3 =

𝑑4 =

𝑑5 =

𝑑6 =

Les trois plus proches voisins sont :

___________________________________________________________

On peut conclure que la sortie spécifique à ‘X’ est :

𝑦 = _____