L’apprentissage profond Evaluation et Soutenance de Projet Conclusion

L’apprentissage profond

Par:
KOUAMO Stéphane

Institut National Polytechnique Félix Houphouët Boigny de

Yamoussoukro(INP-HB) RCI

November 5, 2018

1 / 22
L’apprentissage profond Evaluation et Soutenance de Projet Conclusion

Définition et contexte

Définition
Apprentissage profond (ou deep learning en anglais) : ensemble de
méthodes d’apprentissage automatique tentant de modéliser avec
un haut niveau d’abstraction des données grâce à des architectures
articulées de différentes transformations non linéaires.

Domaines d’application
Reconnaissance de modèle,
Classification statistique,
etc.

2 / 22
L’apprentissage profond Evaluation et Soutenance de Projet Conclusion

Définition et contexte
Contexte
Le traitement de l’image consiste à traiter les vecteurs
caractéristiques de l’image : abstraction de l’image . Seulement,
le qualité de la reconnaissance dépend de la manière dont on a
effectué cette abstraction de l’image.
Pour pallier à ça, le deep learning intervient.

L’idée
L’idée est de sauter cette étape d’abstraction de l’image et de
passer en paramètre d’entrée du réseau l’ensemble de l’image
(réseau profond, trop de données à manipuler, etc.).
l’algorithme fabrique lui même les traits caractéristiques et
prédit mieux (avec un taux d’erreur bas).
on a donc plusieurs images brutes passées en entrée du
réseau.
3 / 22
L’apprentissage profond Evaluation et Soutenance de Projet Conclusion

Définition et contexte
Les techniques d’apprentissage profond constituent une classe
d’algorithmes d’apprentissage automatique :
Utilisant différentes couches d’unité de traitement non-linéaire
pour l’extraction et la transformation des caractéristiques.
Chaque couche prend en entrée la sortie de la précédente.
Elles fonctionnent avec un apprentissage à plusieurs niveaux
de détails ou de représentations des données. À travers les
différentes couches on passe de paramètres de bas niveau à
des paramètres de plus haut niveau.
Ces différents niveaux correspondent à différents niveaux
d’abstraction des données.
En somme l’idée, c’est de brancher des perceptrons entre eux,
regroupés en couches, de façon hiérarchique. Et d’entraı̂ner
toutes les couches en même temps.
Pooling: Mot anglais signifiant grouper, le plus souvent
afin d’optimiser. C’est le fait de conserver des ressources
4 / 22
L’apprentissage profond Evaluation et Soutenance de Projet Conclusion

Définition et contexte

Contexte
Le ”deep learning” fait partie d’une famille de méthodes
d’apprentissage automatique fondées sur l’apprentissage de
modèles de données.
Une image peut être représentée de différentes façons par un
vecteur de données en fonction de :
l’intensité des pixels dont elle est constituée;
les différentes arêtes;
les différentes régions de forme particulière;
etc.

5 / 22
L’apprentissage profond Evaluation et Soutenance de Projet Conclusion

Raisons du succès du deep learning

Succès du deep learning

amélioration des processeurs de cartes graphiques (GPU) ;
amélioration des algorithmes d’apprentissage ;
disponibilité des données d’apprentissage (plusieurs base de
données existantes : imagenet, mnist, ..).
etc.

6 / 22
L’apprentissage profond Evaluation et Soutenance de Projet Conclusion

Des résultats mathématiques montrent que certaines classes

de fonctions, représentables de manière compacte avec un
réseau de profondeur d, nécessiteraient un nombre exponentiel
de paramètres avec un réseau de profondeur d?1;
L’architecture des réseaux profonds permet la réutilisation de
paramètres ou de caractéristiques extraites, propriété désirable
pour la modélisation de fonctions complexes ;
Le cerveau humain (plus particulièrement le cortex visuel), est
construit comme une architecture profonde, avec plusieurs
sous-régions fonctionnelles (V1,V2,MT) arrangées en niveaux
d?abstraction de plus en plus élevés.
En plus d?extraire des caractéristiques de plus en plus
abstraites, une autre propriété désirable serait de les démêler,
afin que les différents facteurs qui expliquent les variations des
données soient séparés. Ceci serait très intéressant pour
l’apprentissage multitâches, ainsi que pour l’adaptation de
domaine.
7 / 22
L’apprentissage profond Evaluation et Soutenance de Projet Conclusion

Exemples d’algorithmes

Réseau de neurones convolutionnel

!
X
j j j
zx,y (A) = f wx,y ,r ,s Ir ,s (A) + t (1)
r ,s

L’objectif de cette partie du réseau est d’estimer la probabilité :

p = p[M(A, B)/∆z(A, B)] = p(M/∆z);

d’une correspondance entre A et B, étant donnée la preuve ∆z

provenant du filtre de convolution.

8 / 22
L’apprentissage profond Evaluation et Soutenance de Projet Conclusion

Exemples d’algorithmes

Réseau de neurones localement connectés

Mathématiquement l’activation d’un neurone dans le réseau est
définie par :
P
Iij + kl∈Nr (ij) [wij;kl αkl (n)]
αij (n + 1) = P  P  .E (2)
ij I ij + kl∈Nr (ij) [w ij;kl α kl (n)]

Entrée = vecteur 1D, Sortie = vecteur 1D. Exemple : classer

homme/femme en fonction d’un vecteur.

9 / 22
L’apprentissage profond Evaluation et Soutenance de Projet Conclusion

Exemples d’algorithmes

Rappel : le but du principe d’apprentissage est de minimiser

l’erreur entre une prédiction et la vérité.

Autres algorithmes
AlphaGo, Autopilot Tesla, Google Translate, Prisma, etc.

Analyse de l’image : Entrée= image(matrice2D),

Sortie= carte(matrice2D). Exemple : détecter les objets dans un
flux vidéo.

10 / 22
L’apprentissage profond Evaluation et Soutenance de Projet Conclusion

Modèles génératifs

Prendre un ensemble d’éléments en entrée et produire en

sortie une image (pourrait être très utile pour la voiture qui
roule toute seule pour les non-voyants);

11 / 22
L’apprentissage profond Evaluation et Soutenance de Projet Conclusion

Etude de cas : Reconnaissance d’empreintes digitales

Figure: Structure du réseau de neurones proposée. 12 / 22

L’apprentissage profond Evaluation et Soutenance de Projet Conclusion

Implémentation: Echantillonnage

Utilisation de deux bases de données : base de données

internationale NIST (2000 images de type fixe 512 × 512 pixels
avec 8 bits par pixel), base de données locale BDAL (500 images
de type fixe 248 × 338 avec 8 bits par pixel, provenant de 100
personnes différentes et coopérantes ).
Choix et préparation de l’échantillonnage
Le protocole de validation cross validation.
Sur-apprentissage : pour l’éviter utilisation de la base de
données locale
Elaboration de la structure du réseau
Perceptron multicouche
Apprentissage
Utilisation

13 / 22
L’apprentissage profond Evaluation et Soutenance de Projet Conclusion

Implémentation: Echantillonnage

Utilisation de deux bases de données : base de données

internationale NIST (2000 images de type fixe 512 × 512 pixels
avec 8 bits par pixel), base de données locale BDAL (500 images
de type fixe 248 × 338 avec 8 bits par pixel, provenant de 100
personnes différentes et coopérantes ).
Choix et préparation de l’échantillonnage
Le protocole de validation cross validation.
Sur-apprentissage : pour l’éviter utilisation de la base de
données locale
Elaboration de la structure du réseau
Perceptron multicouche
Apprentissage
Utilisation

13 / 22
L’apprentissage profond Evaluation et Soutenance de Projet Conclusion

Implémentation: Echantillonnage

Utilisation de deux bases de données : base de données

internationale NIST (2000 images de type fixe 512 × 512 pixels
avec 8 bits par pixel), base de données locale BDAL (500 images
de type fixe 248 × 338 avec 8 bits par pixel, provenant de 100
personnes différentes et coopérantes ).
Choix et préparation de l’échantillonnage
Le protocole de validation cross validation.
Sur-apprentissage : pour l’éviter utilisation de la base de
données locale
Elaboration de la structure du réseau
Perceptron multicouche
Apprentissage
Utilisation

13 / 22
L’apprentissage profond Evaluation et Soutenance de Projet Conclusion

Implémentation: Echantillonnage

Utilisation de deux bases de données : base de données

internationale NIST (2000 images de type fixe 512 × 512 pixels
avec 8 bits par pixel), base de données locale BDAL (500 images
de type fixe 248 × 338 avec 8 bits par pixel, provenant de 100
personnes différentes et coopérantes ).
Choix et préparation de l’échantillonnage
Le protocole de validation cross validation.
Sur-apprentissage : pour l’éviter utilisation de la base de
données locale
Elaboration de la structure du réseau
Perceptron multicouche
Apprentissage
Utilisation

13 / 22
L’apprentissage profond Evaluation et Soutenance de Projet Conclusion

Méthode proposée
Principe
Choisir les prototypes initiaux de chaque classe de données (en
fonction de la classification d’Henry).
Initialiser les neurones de la première couche de classification
par les prototypes de la première classe de données.
Initialiser les neurones de la seconde couche de classification
par les prototypes de la deuxième classe de données.
Initialiser les neurones de la couche d’identification par les
données de la base en fonction des classes prédéfinies.
Appliquer un vecteur en entrée.
Appliquer la mesure de similarité à la première couche de
classification.

hj = H(P(M(xi − wij ))) 1 ≤ i ≤ N, 1 ≤ j ≤ K 1,

14 / 22
L’apprentissage profond Evaluation et Soutenance de Projet Conclusion

Méthode proposée

Sélectionner le neurone vainqueur.

Appliquer la mesure de similarité à la seconde couche de
classification.
v
u K1
uX
gk = t (hj − zjk )2 1 ≤ k ≤ K 1,
j=1

Sélectionner le neurone vainqueur.

Appliquer la mesure de similarité à la couche de
correspondance (si vainqueur classe correcte).
v
u K1
uX
0
hl = t (gk − zkl0 )2 1 ≤ l ≤ K 2,
k=1

15 / 22
L’apprentissage profond Evaluation et Soutenance de Projet Conclusion

Méthode proposée
Sélectionner le neurone vainqueur.
Calculer l’erreur entre la sortie obtenue et celle attendue.
v
u N
1u X
oi = t (hl0 − wli0 )2 1 ≤ l ≤ K 2,
N
i=1

Vérifier les seuils.

Modifier le vainqueur par :
P
xi + ij [wij .αkl (n)]
wij (n + 1) = P P 0 .E
jl (xi + li [wli .αkl (n)]
Mettre à jour les prototypes des neurones vainqueurs.
l mnl + xn+1
l
mn+1 =
n+1
Retour à la ligne ”Appliquer un vecteur en entrée” jusqu’à
ensemble de données terminé.
16 / 22
L’apprentissage profond Evaluation et Soutenance de Projet Conclusion

Quelques résultats

Apprentissage avec 80% de données de

NIST (blocs de 8 × 8)
Méthode Méthode Classe 1 − K − FVCNN Méthode
classique probabiliste de PPV PPV deep proposée
moyennes LCNN LCNN l =2 en par-
LCNN (K=8) allèle

Temps Aucun 66min 48min 54min 62min 78min 21min

d’appren.

Temps 35s 5s 4s 5s 9s 2s 3s
recon.

TA (en %) 91.8 94.5 49.8 88.3 92.7 94.7 94.9

TFR (en % ) 7.5 4.8 17.3 11.3 6.7 4.8 4.6

TFA (en %) 0.7 0.6 32.9 0.4 0.6 0.5 0.5

17 / 22
L’apprentissage profond Evaluation et Soutenance de Projet Conclusion

Quelques résultats

Apprentissage avec 80% des données de

BDAL (blocs de 8 × 8)
Méthode Méthode Classe 1 − K − FVCNN Méthode
probabiliste de PPV PPV deep proposée
classique moyennes LCNN LCNN l =2 en par-
LCNN (K=8) allèle

Temps Aucun 22min 16min 18min 21min 27min 7min

d’appren.

Temps 19s 3s 2s 3s 5s 1s 1s
recon.

TA (en %) 91.4 94.1 49.9 87.9 92.3 94.4 94.5

TFR (en % ) 8.0 5.2 17.6 11.6 7.0 5.0 4.9

TFA (en %) 0.6 0.7 33.0 0.5 0.7 0.6 0.6

18 / 22
L’apprentissage profond Evaluation et Soutenance de Projet Conclusion

L’un des résultats intéressants de notre expérience démontre

que plus le seuil de décision est strict, plus la probabilité que
le système fournisse un résultat satisfaisant est élevé.
Contrepartie, la complexité de l’algorithme est également
accrue, ce qui entraı̂ne une augmentation des temps
d’apprentissage et de reconnaissance.
L’utilisation des gabarits qui sont invariants à la
translation/rotation, couplé à la correspondance par calculs de
probabilités permet de réaliser une reconnaissance avec des
TFR bas dans l’ordre ±4.8% en moyenne.

19 / 22
L’apprentissage profond Evaluation et Soutenance de Projet Conclusion

Conclusion

Resumé : L’objet de ce cours était d’introduire les réseaux de

neurones et de découvrir comment fonctionne ces derniers.
proposer une technique nouvelle permettant de réduire les
taux de faux rejets lors de l’authentification par empreintes
digitales à l’aide des RNA.
Expérimentation sur l’ensemble des images d’empreintes :
méthode basée sur le calcul des probabilités et la comparaison
des minuties pour effectuer la classification, semble être très
prometteuse.
utilisation du parallélisme.

20 / 22
L’apprentissage profond Evaluation et Soutenance de Projet Conclusion

Quelques publications
S. Kouamo, P. Melatagia, R. Ndoundam, ”La compression
d’images avec les réseaux de neurones artificiels”. Dans actes
du Colloque Africain sur la Recherche en Informatique et en
Mathématiques appliquées (CARI 0 08). Vol., 151. pp 535?543,
2008.
Kouamo, S. and Tangha, C. (2012). ”Handwritten Character
Recognition with Artificial Neural Network”. Distributed
Computing and Artificial Intelligence. Advances in Intelligent
and Soft Computing, 151, 535 − 543.
http : //dx.doi.org /10.1007/978.3.642.28765.7.64.
Kouamo, S. and Tangha, C. (2013) Images Compression with
Artificial Neural Network. Advances in Intelligent and Systems
and Computing, 189, 515-524.
http : //dx.doi.org /10.1007/978.3.642.33018.6.53.
Kouamo, S. and Tangha, C. (2016) Fingerprint Recognition
with Artificial Neural Networks: Application to E-Learning.
21 / 22
L’apprentissage profond Evaluation et Soutenance de Projet Conclusion

THANK YOU FOR

YOUR KIND
ATTENTION

22 / 22
L’apprentissage profond Evaluation et Soutenance de Projet Conclusion

R. Cappelli, A. Lumini, D. Maio and D. Maltoni, ”Synthetic

fingerprint-Database Generation”, proceeding of the 16th
International Conference on Pattern Recognition (ICPR 2002),
Québec City, Vol. 3, pp 744 ? 747, August 2002.
Hinton G. and al. ”Deep Neural Networks for Acoustic
Modelling in Speech Recognition”. IEEE Signal Processing
Magazine. Digital Object Identifier
10.1109/MSP.2012.2205597. November 2012.
J.J. Hopfield. ”Neural networks and physical systems with
emergent collective computational abilities”. Proceedings of
the National Academy of Sciences. (1982). pp. 2554 ? 2558
J. Jiang. ”Image compression with neural networks, A survey ”.
Signal Processing : Image Communication, (1998).

22 / 22
L’apprentissage profond Evaluation et Soutenance de Projet Conclusion

Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun. ”Deep

Residual Learning for Image Recognition”. Computer Vision
and Pattern Recognition. arXiv : 1512.03385[cs.CV ], 2016.
Lettvin, J. Y., McCulloch, Maturana, H.R., W. Sturgis. et W.
H. Pitts. ”What the frog’s eye tells the frog’s brain”.
Proceedings of the I.R.E. (1959). Vol. 47, N o .11, pp.
1940 − 1951.
Y.Minami, S.Tamura, HSawai, K.Shikano, ”Output Smoothing
for TDNN Using Information on Input Vectors Neighborhood
in Input Layer, Hidden Layer ”, Proc. ASJ, 1 ? 3 ? 18, pp.35 ?
36 (Mar. 1990) (in Japanese).
O. Moreira-Tamayo et J. Pineda de Gyvez. ”Preprocessing
Operators for Image Compression Using Cellular Neural
Networks”. Dans IEEE International Conference on Neural
Networks, juin 1996. pp. 1500 ? 1505

22 / 22
L’apprentissage profond Evaluation et Soutenance de Projet Conclusion

Y. Le Cun and al. ”Deep learning”. Macmillan Publishers

Limited. Nature, Vol.521, pp.436 − 444. May
2015.DOI : 10.1038/nature14539.
M. Minsky and S. Papert. Perceptrons. MIT Press, Cambridge
MA, 1969.
F. Rosenblatt. ”The Perceptron : A Probabilistic Model for
Information Storage and Organisation in the Brain”.
Psychological Review. Vol. 65, N o . 6, pp. 386 − 408. 1958.
D.E. Rumelhart, G.E. Hinton and R.J. Williams. ” Learning
Internal representations by error propagation”. In Parallel
Distributed Processing, Cambridge, MA : MIT Press, 1 :
318 − 362, 1986.

22 / 22