Geometrical reconstruction from multiple cameras can now concurrence classical reconstruction. Sh... more Geometrical reconstruction from multiple cameras can now concurrence classical reconstruction. Shape From Sil- houette (SFS)(4) is a method that estimates the Visual Hull, in real time from observed silhouette in each view. Despite the fact that SFS is really simple and robust, it produces ghost parts : a set of 3D points that does not belong to real objects. These parts can significantly disturb the precision and the realism of the 3D shape. In this paper, we suggest to use the motion estimation of people, getting from motion capture, in order to remove these ghost parts and refine geometry. By construction, SFS gives a 3D hull of the filmed person. If we transform the computed geometry from original pose to the current pose, the intersection of reconstruction and observed pose pro- duces a more precise reconstruction than the classical SFS. In this work, we introduce a real time and incremental ap- proach, which automatically refines the D reconstruction of the acquired object.
Dans cet article, nous proposons une méthode pour l’interprétation des mouvements d’un humain en ... more Dans cet article, nous proposons une méthode pour l’interprétation des mouvements d’un humain en temps réel, en s’appuyant sur des données fournies par une étape de capture (MoCap). Nous nous basons sur le paradigme examplars-based afin d’apprendre des actions à l’aide d’un représentant unique. Nous avons formalisé le concept de flux d’actions reconnaissables – provenant d’un système de capture de mouvements temps réel – à l’aide d’un automate de mouvements. Cet automate est utilisé pour reconnaître les actions, ainsi que pour ajouter de nouvelles actions à la volée. La méthode proposée est linéaire et incrémentale. Elle permet une utilisation temps-réel du système. De plus, chaque action peut être reconnue en ligne et ne nécessite pas d’attendre la fin de l’action pour l’identifier. Des expérimentations sur des données synthétiques, provenant de la base de MoCap de CMU [1], complétées par des données réelles, issues du dispositif Kinect R○, montrent l’efficacité de notre méthode.
This paper proposes a new method for real-time human motion recognition using Motion Capture (MoC... more This paper proposes a new method for real-time human motion recognition using Motion Capture (MoCap) data. In particular, our method uses examplars to learn actions, without the need for learning intra class variations. We have formalized streamed recognizable actions, coming from an online MoCap engine, into a motion graph, similar to an animation motion graph. This graph is used as an automaton to recognize known actions as well as to add new ones. We have defined and used a spatio-temporal metric for similarity measurements to achieve more accurate feedbacks on classification. The proposed method has the advantage of being linear and incremental, making the recognition process very fast and the addition of a new action straightforward. Furthermore, actions can be recognized with a score, even before they are fully completed. Thanks to the use of a skeleton-centric coordinate system, our recognition method has become view-invariant. We have successfully tested our action recogniti...
La platefOrme d'Acquisition et de Simulation pour l'Immersion et la Synthese (OASIS) a et... more La platefOrme d'Acquisition et de Simulation pour l'Immersion et la Synthese (OASIS) a ete initiee lors du projet ACI masses de donnees CYBER II. Elle est commune a deux equipes du departement image du laboratoire LIRIS SAARA et R3AM. L'objectif principal de la plateforme est de mettre en place une suite logicielle permettant de realiser des interactions homme-machine dans le cadre d'applications de realite augmentee. L'objectif de cette demonstration est de permettre a deux utilisateurs d'interagir a distance via un systeme de capture et de realite augmentee. Le premier utilisateur A "travaille" sur une table d'acquisition (3 webcams calibrees) lui permettant de "scanner" (reconstruire en temps reel) les objets qu'il place dans le champs de vision des camera. Le deuxieme utilisateur B dispose d'un casque de realite augmentee (lunettes-ecran + des webcams filmant l'environnement que "regarde" l'utilisateur). D...
Gesture-based interfaces allow instinctive use of applications but are often limited by their arb... more Gesture-based interfaces allow instinctive use of applications but are often limited by their arbitrary conguration. To overcome this problem, we propose to design adaptive systems able to negotiate new gestures with users. To facilitate the negotiation we propose to use Trace- Based Reasoning. In this article, we present a framework to collect and reuse traces in a gesture-based environment.
Cet article presente une methode de reconnaissance des actions a partir de donnees issues de Capt... more Cet article presente une methode de reconnaissance des actions a partir de donnees issues de Capture de Mouvements (MoCap).Notre but est de realiser cette tâche en temps reel, et sans recours a une base d’apprentissage lourde. Notre approche s’efforce de reconnaitre une action au cours de son deroulement. Pour cela, nous calculons un histogramme des poses de MoCap pour chaque action. Cet histogramme est construit a partir d’une distance entre les poses, et nous comparons les histogrammes ainsi crees a l’aide de la distance de Bhattacharyya. Grâce a un algorithme de programmation dynamique, ainsi qu’a une construction incrementale de notre histogramme, nous sommes en mesure de reconnaitre des actions a partir d’un flux de capture de mouvements. Nous presentons les resultats d’experimentations sur des donnees de synthese, provenant de la base de MoCap de CMU, completees par des donnees reelles, issues du dispositif Kinect. Les resultats obtenus montrent l’efficacite de notre methode.
Le projet IIBM (Intelligent Interactions Based on Motion) [1] est une collaboration entre les equ... more Le projet IIBM (Intelligent Interactions Based on Motion) [1] est une collaboration entre les equipes SAARA et SILEX du laboratoire LIRIS. Le but de ce projet est d'exploiter des approches issues de l'intelligence artificielle pour explorer davantage les possibilites d'interpretation des mouvements dans le cadre des interactions homme- machine. Nous nous attachons a etudier les liens qui s'etablissent entre l'utilisateur et son environnement au travers des interactions ainsi qu'a la co-construction de connaissance alors rendue possible. Le support de recherche au projet IIBM est l'outil d'annotation d'images iiAnnotate [2] avec lequel l'utilisateur peut interagir au moyen de mouvements realises dans l'espace, captures par un dispositif tel que Kinect. L'application est instrumentee de sorte a collecter les traces d'interaction entre l'utilisateur et le systeme. Ces traces sont ensuite exploitees au sein d'un processus de ra...
This paper introduces a project called iibm (Intelligent Interactions Based on Motion). In this p... more This paper introduces a project called iibm (Intelligent Interactions Based on Motion). In this project, we address the question of how to design and develop intelligent software systems controllable by gestures. This work is related to the eld of natural interactions, but we are not only interested in the motion capture issues. We focus on human-computer interaction and we seek to support negotiation of meaning and co-construction of knowledge between the user and the system. The goal is to develop intelligent and adaptive systems easy to use, through gestures, by end users. For that purpose, we exploit the CBR paradigm. CBR enables us to capture users' experiences and to reuse them in order to provide relevant feedback and assistance. This position paper presents the main ideas of our approach and illustrates them with a first experiment made within our test bed environment, with the application iiAnnotate. The paper also discusses the benets and risks of applying our approach...
Proceedings of the 21st International Conference on Pattern Recognition (ICPR2012), 2012
This paper introduces a new method for streamed action recognition using Motion Capture (MoCap) d... more This paper introduces a new method for streamed action recognition using Motion Capture (MoCap) data. First, the histograms of action poses, extracted from MoCap data, are computed according to Hausdorf distance. Then, using a dynamic programming algorithm and an incremental histogram computation, our proposed solution recognizes actions in real time from streams of poses. The comparison of histograms for recognition was achieved using Bhattacharyya distance. Furthermore, the learning phase has remained very efficient with respect to both time and complexity. We have shown the effectiveness of our solution by testing it on large datasets, obtained from animation databases. In particular, we were able to achieve excellent recognition rates that have outperformed the existing methods.
Avec les progres constants de la realite virtuelle et augmentee, de plus en plus d'environnem... more Avec les progres constants de la realite virtuelle et augmentee, de plus en plus d'environnements de qualite sont crees. Pour peupler ses environnements, il est necessaire d'avoir des avatars brillants de realisme. Les methodes de Shape from Silhouette volumique permettent d'obtenir une ebauche de surface lors de l'enregistrement video d'un sujet a partir de plusieurs cameras. Partant de cette representation voxelique, on se propose de fournir la surface d'un modele, a l'aide notamment du Marching Cubes. Pour des raisons evidentes d'efficacite, la reconstruction doit etre incrementale. Une technique de skinning permettra la generation d'un modele generique dans une pose quelconque. Cela permet aussi d'affiner le modele au cours du temps lorsque des parties auparavant invisibles rentrent dans le champs des cameras. La methode se veut automatique, se contentant d'une reconstruction voxelique, et d'une estimation du mouvement d'un squ...
La reconstruction de la geometrie a partir de cameras est un domaine qui pourrait concurrencer le... more La reconstruction de la geometrie a partir de cameras est un domaine qui pourrait concurrencer les reconstructions classiques. Parmi les methodes de reconstruction 3D a partir de plusieurs vues, la methode Shape From Silhouette (SFS)[4] permet d'estimer en temps reel un volume englobant d'un objet (un humain dans notre cas) a partir de ses silhouettes observees dans chaque vue. En dehors de sa simplicite d'implementation et de sa robustesse, SFS produit des formes qui contiennent des entites fantomes : ensemble de points 3D qui n'appartiennent pas aux objets d'interets. Ces entites peuvent fortement perturber la precision et le realisme de la forme 3D reconstruite. Dans cet article nous proposons d'utiliser l'information additionnelle de posture de la personne obtenue par un procede de capture de mouvement, afin de supprimer ces entites fantomes et d'affiner la geometrie. Par construction l'approche SFS fournit une forme 3D englobante de la person...
Le developpement de l'image numerique et des outils associes ces dernieres annees a entraine ... more Le developpement de l'image numerique et des outils associes ces dernieres annees a entraine une evolution dans les attentes des utilisateurs et des changements dans leurs habitudes de travail. Cette evolution apporte de nouvelles possibilites d'utilisation ouvrant l'usage a un public tres large, allant des interactions gestuelles aux jeux video, en passant par le suivi d'activites a domicile, la surveillance, ... Pour qu'elles puissent etre performantes et attractives, ces nouvelles technologies necessitent la mise en œuvre d'outils de reconnaissance et d'interpretation des gestes humains, par des methodes efficaces, rapides et ouvertes. Actuellement, les methodes proposees en reconnaissance d'actions peuvent etre regroupees en trois categories principales : les approches de type apprentissage automatique (Machine Learning), les modelisations stochastique ou encore les methodes utilisant le paradigme des examplars. Les travaux developpes dans cette t...
ABSTRACT Ongoing human action recognition is a challenging problem that has many applications, su... more ABSTRACT Ongoing human action recognition is a challenging problem that has many applications, such as video surveillance, patient monitoring, human-computer interaction, etc. This paper presents a novel framework for recognizing streamed actions using Motion Capture (MoCap) data. Unlike the after-the-fact classification of completed activities, this work aims at achieving early recognition of ongoing activities. The proposed method is time efficient as it is based on histograms of action poses, extracted from MoCap data, that are computed according to Hausdorff distance. The histograms are then compared with the Bhattacharyya distance and warped by a dynamic time warping process to achieve their optimal alignment. This process, implemented by our dynamic programming-based solution, has the advantage of allowing some stretching flexibility to accommodate for possible action length changes. We have shown the success and effectiveness of our solution by testing it on large datasets and comparing it with several state-of-the-art methods. In particular, we were able to achieve excellent recognition rates that have outperformed many well known methods.
Geometrical reconstruction from multiple cameras can now concurrence classical reconstruction. Sh... more Geometrical reconstruction from multiple cameras can now concurrence classical reconstruction. Shape From Sil- houette (SFS)(4) is a method that estimates the Visual Hull, in real time from observed silhouette in each view. Despite the fact that SFS is really simple and robust, it produces ghost parts : a set of 3D points that does not belong to real objects. These parts can significantly disturb the precision and the realism of the 3D shape. In this paper, we suggest to use the motion estimation of people, getting from motion capture, in order to remove these ghost parts and refine geometry. By construction, SFS gives a 3D hull of the filmed person. If we transform the computed geometry from original pose to the current pose, the intersection of reconstruction and observed pose pro- duces a more precise reconstruction than the classical SFS. In this work, we introduce a real time and incremental ap- proach, which automatically refines the D reconstruction of the acquired object.
Geometrical reconstruction from multiple cameras can now concurrence classical reconstruction. Sh... more Geometrical reconstruction from multiple cameras can now concurrence classical reconstruction. Shape From Sil- houette (SFS)(4) is a method that estimates the Visual Hull, in real time from observed silhouette in each view. Despite the fact that SFS is really simple and robust, it produces ghost parts : a set of 3D points that does not belong to real objects. These parts can significantly disturb the precision and the realism of the 3D shape. In this paper, we suggest to use the motion estimation of people, getting from motion capture, in order to remove these ghost parts and refine geometry. By construction, SFS gives a 3D hull of the filmed person. If we transform the computed geometry from original pose to the current pose, the intersection of reconstruction and observed pose pro- duces a more precise reconstruction than the classical SFS. In this work, we introduce a real time and incremental ap- proach, which automatically refines the D reconstruction of the acquired object.
Dans cet article, nous proposons une méthode pour l’interprétation des mouvements d’un humain en ... more Dans cet article, nous proposons une méthode pour l’interprétation des mouvements d’un humain en temps réel, en s’appuyant sur des données fournies par une étape de capture (MoCap). Nous nous basons sur le paradigme examplars-based afin d’apprendre des actions à l’aide d’un représentant unique. Nous avons formalisé le concept de flux d’actions reconnaissables – provenant d’un système de capture de mouvements temps réel – à l’aide d’un automate de mouvements. Cet automate est utilisé pour reconnaître les actions, ainsi que pour ajouter de nouvelles actions à la volée. La méthode proposée est linéaire et incrémentale. Elle permet une utilisation temps-réel du système. De plus, chaque action peut être reconnue en ligne et ne nécessite pas d’attendre la fin de l’action pour l’identifier. Des expérimentations sur des données synthétiques, provenant de la base de MoCap de CMU [1], complétées par des données réelles, issues du dispositif Kinect R○, montrent l’efficacité de notre méthode.
This paper proposes a new method for real-time human motion recognition using Motion Capture (MoC... more This paper proposes a new method for real-time human motion recognition using Motion Capture (MoCap) data. In particular, our method uses examplars to learn actions, without the need for learning intra class variations. We have formalized streamed recognizable actions, coming from an online MoCap engine, into a motion graph, similar to an animation motion graph. This graph is used as an automaton to recognize known actions as well as to add new ones. We have defined and used a spatio-temporal metric for similarity measurements to achieve more accurate feedbacks on classification. The proposed method has the advantage of being linear and incremental, making the recognition process very fast and the addition of a new action straightforward. Furthermore, actions can be recognized with a score, even before they are fully completed. Thanks to the use of a skeleton-centric coordinate system, our recognition method has become view-invariant. We have successfully tested our action recogniti...
La platefOrme d'Acquisition et de Simulation pour l'Immersion et la Synthese (OASIS) a et... more La platefOrme d'Acquisition et de Simulation pour l'Immersion et la Synthese (OASIS) a ete initiee lors du projet ACI masses de donnees CYBER II. Elle est commune a deux equipes du departement image du laboratoire LIRIS SAARA et R3AM. L'objectif principal de la plateforme est de mettre en place une suite logicielle permettant de realiser des interactions homme-machine dans le cadre d'applications de realite augmentee. L'objectif de cette demonstration est de permettre a deux utilisateurs d'interagir a distance via un systeme de capture et de realite augmentee. Le premier utilisateur A "travaille" sur une table d'acquisition (3 webcams calibrees) lui permettant de "scanner" (reconstruire en temps reel) les objets qu'il place dans le champs de vision des camera. Le deuxieme utilisateur B dispose d'un casque de realite augmentee (lunettes-ecran + des webcams filmant l'environnement que "regarde" l'utilisateur). D...
Gesture-based interfaces allow instinctive use of applications but are often limited by their arb... more Gesture-based interfaces allow instinctive use of applications but are often limited by their arbitrary conguration. To overcome this problem, we propose to design adaptive systems able to negotiate new gestures with users. To facilitate the negotiation we propose to use Trace- Based Reasoning. In this article, we present a framework to collect and reuse traces in a gesture-based environment.
Cet article presente une methode de reconnaissance des actions a partir de donnees issues de Capt... more Cet article presente une methode de reconnaissance des actions a partir de donnees issues de Capture de Mouvements (MoCap).Notre but est de realiser cette tâche en temps reel, et sans recours a une base d’apprentissage lourde. Notre approche s’efforce de reconnaitre une action au cours de son deroulement. Pour cela, nous calculons un histogramme des poses de MoCap pour chaque action. Cet histogramme est construit a partir d’une distance entre les poses, et nous comparons les histogrammes ainsi crees a l’aide de la distance de Bhattacharyya. Grâce a un algorithme de programmation dynamique, ainsi qu’a une construction incrementale de notre histogramme, nous sommes en mesure de reconnaitre des actions a partir d’un flux de capture de mouvements. Nous presentons les resultats d’experimentations sur des donnees de synthese, provenant de la base de MoCap de CMU, completees par des donnees reelles, issues du dispositif Kinect. Les resultats obtenus montrent l’efficacite de notre methode.
Le projet IIBM (Intelligent Interactions Based on Motion) [1] est une collaboration entre les equ... more Le projet IIBM (Intelligent Interactions Based on Motion) [1] est une collaboration entre les equipes SAARA et SILEX du laboratoire LIRIS. Le but de ce projet est d'exploiter des approches issues de l'intelligence artificielle pour explorer davantage les possibilites d'interpretation des mouvements dans le cadre des interactions homme- machine. Nous nous attachons a etudier les liens qui s'etablissent entre l'utilisateur et son environnement au travers des interactions ainsi qu'a la co-construction de connaissance alors rendue possible. Le support de recherche au projet IIBM est l'outil d'annotation d'images iiAnnotate [2] avec lequel l'utilisateur peut interagir au moyen de mouvements realises dans l'espace, captures par un dispositif tel que Kinect. L'application est instrumentee de sorte a collecter les traces d'interaction entre l'utilisateur et le systeme. Ces traces sont ensuite exploitees au sein d'un processus de ra...
This paper introduces a project called iibm (Intelligent Interactions Based on Motion). In this p... more This paper introduces a project called iibm (Intelligent Interactions Based on Motion). In this project, we address the question of how to design and develop intelligent software systems controllable by gestures. This work is related to the eld of natural interactions, but we are not only interested in the motion capture issues. We focus on human-computer interaction and we seek to support negotiation of meaning and co-construction of knowledge between the user and the system. The goal is to develop intelligent and adaptive systems easy to use, through gestures, by end users. For that purpose, we exploit the CBR paradigm. CBR enables us to capture users' experiences and to reuse them in order to provide relevant feedback and assistance. This position paper presents the main ideas of our approach and illustrates them with a first experiment made within our test bed environment, with the application iiAnnotate. The paper also discusses the benets and risks of applying our approach...
Proceedings of the 21st International Conference on Pattern Recognition (ICPR2012), 2012
This paper introduces a new method for streamed action recognition using Motion Capture (MoCap) d... more This paper introduces a new method for streamed action recognition using Motion Capture (MoCap) data. First, the histograms of action poses, extracted from MoCap data, are computed according to Hausdorf distance. Then, using a dynamic programming algorithm and an incremental histogram computation, our proposed solution recognizes actions in real time from streams of poses. The comparison of histograms for recognition was achieved using Bhattacharyya distance. Furthermore, the learning phase has remained very efficient with respect to both time and complexity. We have shown the effectiveness of our solution by testing it on large datasets, obtained from animation databases. In particular, we were able to achieve excellent recognition rates that have outperformed the existing methods.
Avec les progres constants de la realite virtuelle et augmentee, de plus en plus d'environnem... more Avec les progres constants de la realite virtuelle et augmentee, de plus en plus d'environnements de qualite sont crees. Pour peupler ses environnements, il est necessaire d'avoir des avatars brillants de realisme. Les methodes de Shape from Silhouette volumique permettent d'obtenir une ebauche de surface lors de l'enregistrement video d'un sujet a partir de plusieurs cameras. Partant de cette representation voxelique, on se propose de fournir la surface d'un modele, a l'aide notamment du Marching Cubes. Pour des raisons evidentes d'efficacite, la reconstruction doit etre incrementale. Une technique de skinning permettra la generation d'un modele generique dans une pose quelconque. Cela permet aussi d'affiner le modele au cours du temps lorsque des parties auparavant invisibles rentrent dans le champs des cameras. La methode se veut automatique, se contentant d'une reconstruction voxelique, et d'une estimation du mouvement d'un squ...
La reconstruction de la geometrie a partir de cameras est un domaine qui pourrait concurrencer le... more La reconstruction de la geometrie a partir de cameras est un domaine qui pourrait concurrencer les reconstructions classiques. Parmi les methodes de reconstruction 3D a partir de plusieurs vues, la methode Shape From Silhouette (SFS)[4] permet d'estimer en temps reel un volume englobant d'un objet (un humain dans notre cas) a partir de ses silhouettes observees dans chaque vue. En dehors de sa simplicite d'implementation et de sa robustesse, SFS produit des formes qui contiennent des entites fantomes : ensemble de points 3D qui n'appartiennent pas aux objets d'interets. Ces entites peuvent fortement perturber la precision et le realisme de la forme 3D reconstruite. Dans cet article nous proposons d'utiliser l'information additionnelle de posture de la personne obtenue par un procede de capture de mouvement, afin de supprimer ces entites fantomes et d'affiner la geometrie. Par construction l'approche SFS fournit une forme 3D englobante de la person...
Le developpement de l'image numerique et des outils associes ces dernieres annees a entraine ... more Le developpement de l'image numerique et des outils associes ces dernieres annees a entraine une evolution dans les attentes des utilisateurs et des changements dans leurs habitudes de travail. Cette evolution apporte de nouvelles possibilites d'utilisation ouvrant l'usage a un public tres large, allant des interactions gestuelles aux jeux video, en passant par le suivi d'activites a domicile, la surveillance, ... Pour qu'elles puissent etre performantes et attractives, ces nouvelles technologies necessitent la mise en œuvre d'outils de reconnaissance et d'interpretation des gestes humains, par des methodes efficaces, rapides et ouvertes. Actuellement, les methodes proposees en reconnaissance d'actions peuvent etre regroupees en trois categories principales : les approches de type apprentissage automatique (Machine Learning), les modelisations stochastique ou encore les methodes utilisant le paradigme des examplars. Les travaux developpes dans cette t...
ABSTRACT Ongoing human action recognition is a challenging problem that has many applications, su... more ABSTRACT Ongoing human action recognition is a challenging problem that has many applications, such as video surveillance, patient monitoring, human-computer interaction, etc. This paper presents a novel framework for recognizing streamed actions using Motion Capture (MoCap) data. Unlike the after-the-fact classification of completed activities, this work aims at achieving early recognition of ongoing activities. The proposed method is time efficient as it is based on histograms of action poses, extracted from MoCap data, that are computed according to Hausdorff distance. The histograms are then compared with the Bhattacharyya distance and warped by a dynamic time warping process to achieve their optimal alignment. This process, implemented by our dynamic programming-based solution, has the advantage of allowing some stretching flexibility to accommodate for possible action length changes. We have shown the success and effectiveness of our solution by testing it on large datasets and comparing it with several state-of-the-art methods. In particular, we were able to achieve excellent recognition rates that have outperformed many well known methods.
Geometrical reconstruction from multiple cameras can now concurrence classical reconstruction. Sh... more Geometrical reconstruction from multiple cameras can now concurrence classical reconstruction. Shape From Sil- houette (SFS)(4) is a method that estimates the Visual Hull, in real time from observed silhouette in each view. Despite the fact that SFS is really simple and robust, it produces ghost parts : a set of 3D points that does not belong to real objects. These parts can significantly disturb the precision and the realism of the 3D shape. In this paper, we suggest to use the motion estimation of people, getting from motion capture, in order to remove these ghost parts and refine geometry. By construction, SFS gives a 3D hull of the filmed person. If we transform the computed geometry from original pose to the current pose, the intersection of reconstruction and observed pose pro- duces a more precise reconstruction than the classical SFS. In this work, we introduce a real time and incremental ap- proach, which automatically refines the D reconstruction of the acquired object.
Uploads
Papers by Mathieu Barnachon