Projet C IG (1A)

IHM (2A)


VR/AR/Post-WIMP (3A)


Projet image (2A)


HCI (MoSIG 2)


Projects Docs

Détection du Touché sur une surface Multi-Touch 3D

Projet proposé par François Bérard.

Le Cubtile est un nouveau dispositif d'interaction mis au point par la société Immersion SA. Il s'agit d'un cube dont 5 de ses faces sont "sensibles" au touché (plusieurs contacts par face). Ce dispositif permet de réaliser de nouvelles formes d'interaction, qui peuvent être particulièrement bien adaptées à la manipulation et la navigation au sein de scènes virtuelles 3D. Cliquer sur l'image ci-contre pour accéder à une vidéo de démonstration.

Le rapport des étudiants qui ont réalisé ce projet est maintenant en ligne.

Fonctionnement du Cubtile

Une caméra est équipée d'une lentille de type "Fish-Eye" permettant d'observer les 5 faces du Cubtile depuis l'intérieur du dispositif. L'image ci-dessous illustre un exemple d'image capturée par la caméra. Sur cette image, on voit que trois doigts sont entrés en contact avec les faces supérieure, frontale et arrière du cube (halo blanc). Cliquer sur l'image pour afficher une version haute résolution.

Le logiciel du Cubtile se charge de traiter le flux vidéo en provenance de la caméra. Le traitement consiste à détecter les halos clairs correspondant aux contacts des doigts sur les surface, puis à transformer les coordonnées de ces halos afin de corriger la déformation due à la lentille.

La détection des halos consiste à appliquer un seuil sur la luminosité de l'image et à calculer le barycentre des pixels connexes qui passent le seuil. Cependant, cette approche est imprécise et source d'instabilité.

Objectif du projet

Ce projet à pour objet d'améliorer la précision et la stabilité de la détection de la position des doigts en contact avec les surfaces. Une fois la détection achevée, les étudiants réaliseront différentes interactions pour la manipulation de scènes virtuelles 3D (telles qu'illustrées dans la vidéo ci-dessus).

Approche

Les étudiants mettront en place une approche visant une précision supérieure à la résolution du capteur de la caméra (approche de "super-résolution"). Les variations d'intensité lumineuse dans le voisinage d'un point de contact seront modélisées par une surface mathématique. L'équation de la surface permettra de calculer son maximum à une précision supérieure à celle de la grille de pixels.

Étapes

Les étudiants développeront un système de détection qui réalise:

  • la correction de la déformation de la lentille (déformation de texture sur GPU)
  • la détection à gros grain des points de contact (par seuillage)
  • la modélisation du pic de luminosité par une surface (3D)
  • l'estimation de position en super-résolution par calcul du maximum de la courbe

Grâce à cette détection, les étudiants réaliseront différentes techniques de manipulation d'objets (ex: docking) et de navigation dans une scène virtuelle 3D (ex: navigation sur une carte 3D de type Google Earth).

Organisation

Ce projet est proposé à un groupe de deux à quatre étudiants. Ils travailleront sur leur machines personnelles et sur la machine qui pilote le Cubtile de l'équipe IIHM du LIG.

Edit - History - Upload - Print - Recent Changes - Search
Page last modified on June 18, 2012, at 07:30 AM