Using programming by demonstration for multimodality in mobile-human interactions

TEC - Travaux en CoursInternational audienceThe emergence of sensor-based modalites enriches the human-mobile interaction. However, mobile applications end-users are o en faced with interaction restrictions and do not yet have the possibility to modify their interaction modalities, according to their needs. In this paper, we present an approach that allows smartphone users to add and modify the interaction modalities of their already installed mobile applications, according to their preferences and needs. The approach is based on a Wrapperthat acts as an intermediary between the user and the application and on the Programming By Demonstration (PBD) that allows the user to specify the desired changes.Ces dernières années, la présence de nouveaux capteurs sur les appareils mobiles a suscité un grand intérêt. L’émergence des modalités basées sur ces capteurs enrichit l’interaction homme-mobile. Cependant, les utilisateurs finaux des applications mobiles rencontrent souvent des restrictions d’interaction (petits écrans, clavier virtuel inconfortable, l’obligation d’utiliser les yeux et les deux mains pour certaines interactions, etc) et n’ont pas encore la possibilité de modifier leurs modalités d’interaction, selon leurs besoins. Dans ce papier, nous présentons une approche qui permet aux utilisateurs des smartphones, qui ne sont pas forcément des développeurs, d’ajouter et modifier, selon leurs préférences et besoins, les modalités d’interaction des applications déjà installées sur leurs smart- phones. L’approche se base sur, d’une part, l’utilisation d’un Wrapper qui joue le rôle d’intermédiaire entre l’utilisateur et l’application et sur, d’autre part, la programmation par démonstration qui permet à l’utilisateur de préciser les modifications souhaitées