Mur d'Affichage Interactif de l'Ensimag

Projet proposé par François Bérard et Sebastien Viardot.

Le but de ce projet est de réaliser un mur d'affichage interactif destiné à être installé dans le hall de l'Ensimag. Ce mur permettrait d'afficher des informations variables en fonction de l'utilisateur. Par exemple un emploi du temps, des relevés de notes pour les étudiants, ou le plan des bâtiments et un itinéraire pour un visiteur.

Ce projet s'appuie sur l'utilisation d'une Kinect et d'un projecteur vidéo.

Le rapport des étudiants qui ont réalisé ce projet est maintenant en ligne.

Fonctionnement de la Kinect

Une "Kinect" est un dispositif équipé de 2 caméras et d'un projecteur. Une des caméra fournit une image visuelle normale. La deuxième caméra perçoit dans l'infra-rouge, elle est couplée au projecteur infrarouge pour construire une carte de profondeur telle qu'illustrée ci-dessous (à gauche : la carte de profondeur, à droite : l'image visible). Cliquer sur l'image pour la résolution maximale.

Crédit photo: Matthew Fisher

Dans l'image de profondeur, les pixels les plus proches de la caméra ont été colorés en rouge, les plus éloignés en violet.

Objectifs du projet

Le premier objectif du projet est de réaliser un système de détection de la position des doigts ou des mains en contact avec le mur. Une Kinect sera fixée au plafond et orientée vers le mur. Les étudiants devront réaliser le système qui traite l'image de profondeur de la Kinect pour déterminer la position des doigts ou des mains (en fonction de la précision atteignable) qui touchent le mur. Ce système comprend les composant suivants :

• Calibrage de l'équation du mur (plan 3D) dans l'image de profondeur.
• Calibrage de la transformation perspective de la caméra de profondeur, pour mise en correspondance des coordonnées image vers un repère orthogonal.
• Détection d'objets en contact avec le mur, avec en particulier un filtrage des formes trop éloignées.
• Localisation des doigts ou des mains.
• Suivi des doigts ou des mains d'une image sur l'autre, pour la génération d'événements utilisateur (contact, déplacement, perte de contact).

En fonction du nombre d'étudiants travaillant sur ce projet, un deuxième objectif "applicatif" sera réalisé : il s'agit d'une application qui se connecte aux systèmes d'information de l'Ensimag afin d'y puiser l'information à afficher sur le mur (emploi du temps, numéros de salles, événements, plans, cordonnées des personnes). L'application devra aussi présenter cette information sur le mur, en fonction des événements (actions utilisateur) générés par la première partie du projet.

Organisation

Ce projet implique au minimum 3 étudiants pour la partie détection. Jusqu'à 6 étudiants pourront travailler sur ce projet. Dans ce cas, le projet sera scindé en 2, avec 2 encadrants (1 pour la détection, 1 pour l'application).

Pour des raisons de performance, la partie "détection" devra être programmée en C ou C++. Une parallélisation des traitements lourds pourra être envisagée (threads ou GPU).

La réalisation sera faite à l'Ensimag sur les ordinateurs de l'école ou les machines personnelles. L'Ensimag possède 2 Kinects.

Bibliographie et Ressources

• Vogel, D., and Balakrishnan, R. Interactive public ambient displays: transitioning from implicit to explicit, public to personal, interaction with multiple users. In ACM Symposium on User Interface Software and Technology (UIST) (2004), ACM, pp. 137–146.
• Andrew D. Wilson. 2010. Using a depth camera as a touch sensor. In ACM International Conference on Interactive Tabletops and Surfaces (ITS '10). ACM, New York, NY, USA, 69-72.
• Microsoft Kinect SDK
• OpenKinect (Linux, Mac, Windows).