Human Object Interaction Recognition
Reconnaissance des intéractions humaines avec l'objet
Résumé
In this thesis, we have investigated the human object interaction recognition
by using the skeleton data and local depth information provided by
RGB-D sensors. There are two main applications we address in this thesis:
human object interaction recognition and abnormal activity recognition.
First, we propose a spatio-temporal modeling of human-object interaction
videos for on-line and off-line recognition. In the spatial modeling
of human object interactions, we propose low-level feature and object related
distance feature which adopted on on-line human object interaction
recognition and abnormal gait detection. Then, we propose object feature,
a rough description of the object shape and size as new features to
model human-object interactions. This object feature is fused with the
low-level feature for online human object interaction recognition. In the
temporal modeling of human object interactions, we proposed a shape
analysis framework based on low-level feature and object related distance
feature for full sequence-based off-line recognition. Experiments carried
out on two representative benchmarks demonstrate the proposed method
are effective and discriminative for human object interaction analysis.
Second, we extend the study to abnormal gait detection by using the
on-line framework of human object interaction classification. The experiments
conducted following state-of-the-art settings on the benchmark
shows the effectiveness of proposed method.
Finally, we collected a multi-view human object interaction dataset involving
abnormal and normal human behaviors by RGB-D sensors. We
test our model on the new dataset and evaluate the potential of the proposed
approach.
Dans cette thèse, nous avons étudié la reconnaissance des actions qui
incluent l’intéraction avec l’objet à partir des données du skeleton et des
informations de profondeur fournies par les capteurs RGB-D. Il existe
deux principales applications que nous abordons dans cette thèse: la
reconnaissance de l’interaction humaine avec l’objet et la reconnaissance
d’une activité anormale.
Nous proposons, dan un premier temps, une modélisation spatiotemporelle
pour la reconnaissance en ligne et hors ligne des intéractions
entre l’humain et l’objet. Dans la modélisation spatiale, nous proposons
des caractéristiques de bas niveau liés à la distance entre les points du
skeleton et la distance entre l’objet et les points du skeleton. Ces caractéristiques
ont été adoptées pour la reconnaissance en ligne des intéractions
humaines avec l’objet et pour la détection de la démarche anormale.
Ensuite, nous proposons des caractéristiques liées à d’objet qui décrivent
approximativement la forme et la taille de l’objet. Ces caractéristiques sont
fusionnées avec les caractéristiques bas-niveau pour la reconnaissance en
ligne des intéractions humaines avec l’objet. Dans la modélisation temporelle,
nous avons proposé un framework élastique pour aligner les trajectoires
des distances dans le temps afin de permettre une reconnaissance
hors ligne invariante au taux d’exécution. Les expériences menées sur
deux benchmarks démontrent l’efficacité de la méthode proposée. Dans le
deuxième volet de ce travail, nous étendons l’étude à la détection de la démarche
anormale en utilisant le cadre en ligne l’approche. Afin de valider
la robustesse de l’approche à la pose, nous avons collecté une base multivues
pour des intéractions humaines avec l’objet, de façon normale et
anormale. Les résultats expérimentaux sur le benchmark des actions anormales
frontales et sur la nouvelles base prouvent l’efficacité de l’approche.
Origine | Fichiers produits par l'(les) auteur(s) |
---|
Loading...