Thèse Année : 2026

Computational models of perspective taking for human-robot interaction

Modèles computationnels de prise de perspective pour l'interaction humain-robot

Résumé

As collaborative robots transition from industrial settings to human-centric environments, they will be engaged in interaction with individuals involved in the same missions. In this context, robots need to be able to take the perspective of the human partner, understand what people intend, and clearly express their own intentions in return. This thesis addresses the challenge of equipping robots with essential cognitive subcomponents required for seamless collaboration: spatial perspective taking and intention understanding and communication. The contributions of this work are fourfold. First, we investigate the human's spatial perspective taking abilities in the context of human-robot interaction through a novel behavioral study. Our results quantify the cognitive charge associated with spatial perspective taking, demonstrating that adopting a decentered, robot-centric perspective is significantly more demanding for humans than relying on their own egocentric view. In order to lighten this cognitive load, we aim to shift the computational effort onto the robot. To achieve this, we present a generative framework (Flow matching/Diffusion) that can efficiently reconstruct the human's visual perspective directly from the robot's viewpoint. With this model, the goal is to align the robot's perception with that of the human, without requiring the latter to carry out demanding mental simulations. Similarly, to facilitate mutual understanding during physical collaboration, we integrate spatial perspective taking into the generation of intent-expressive robot trajectories. We propose a fast optimal control approach rooted in Information Theory that treats intent communication as a cross-entropy minimization between the robot's intended probability distribution over goals and the estimated distribution that represents a proxy of the human's inference given the observation of the motion. This enables the robot to generate spatial perspective aware legible trajectories that naturally communicate its goals, allowing the human to intuitively understand the robot's intentions through its motion. Finally, extending perspective taking from the spatial to the cognitive side, we address the challenge of clarifying human intent. Recognizing that verbal instructions are often ambiguous, we present an architecture that leverages the internal representations of a vision-language model to detect when a user's instruction is referentially ambiguous, and generates natural language expressions to clarify the intention of the human.

Alors que les robots collaboratifs passent des environnements industriels aux espaces centrés sur l'humain, ils seront amenés à interagir avec des partenaires impliqués dans les mêmes missions. Dans ce contexte, les robots doivent être capables d'adopter la perspective de l'humain, de comprendre ses intentions et d'exprimer clairement les leurs en retour. Cette thèse aborde le défi consistant à doter les robots avec des sous-composantes cognitives essentielles à une collaboration fluide : la prise de perspective spatiale ainsi que la compréhension et la communication des intentions. Premièrement, nous étudions les capacités de prise de perspective spatiale chez l'humain dans le contexte de l'interaction humain-robot à travers une nouvelle étude comportementale. Nos résultats quantifient la charge cognitive associée à la prise de perspective spatiale, démontrant qu'adopter une perspective décentrée est significativement plus difficile pour l'humain que de s'appuyer sur sa propre vue égocentrique. Afin d'alléger cette charge cognitive, nous visons à transférer l'effort du côté du robot. Pour y parvenir, nous présentons un modèle génératif (Flow matching/Diffusion) capable de reconstruire la perspective visuelle de l'humain à partir du point de vue du robot. L'objectif de ce modèle est d'aligner la perception du robot sur celle de l'humain. De même, nous intégrons la prise de perspective spatiale dans la génération des trajectoires de robot expressives de l'intention. Nous proposons une approche basée sur la commande optimale et la théorie de l'information, qui traite l'expression de l'intention comme une minimisation de l'entropie croisée entre la distribution de probabilité des objectifs visée par le robot et la distribution estimée représentant un proxy de l'inférence humaine face à l'observation du mouvement. Cela permet au robot de générer des trajectoires dites lisibles (legible) et qui prennent en compte la perspective spatiale, permettant à l'humain de comprendre les intentions du robot à travers le mouvement. Enfin, étendant la prise de perspective du spatial au cognitif, nous abordons le défi de la clarification de l'intention de l'humain. Reconnaissant que les instructions verbales sont souvent ambiguës, nous présentons une architecture qui exploite les représentations internes d'un modèle vision-langage (Vision-Language Model) pour détecter lorsqu'une instruction est ambiguë et générer des expressions en langage naturel afin de clarifier l'intention de l'humain.

Fichier principal
Vignette du fichier
153858_ABRINI_2026_archivage.pdf (58.42 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)
licence

Dates et versions

tel-05630456 , version 1 (22-05-2026)

Licence

Identifiants

  • HAL Id : tel-05630456 , version 1

Citer

Mouad Abrini. Computational models of perspective taking for human-robot interaction. Robotics [cs.RO]. Sorbonne Université, 2026. English. ⟨NNT : 2026SORUS037⟩. ⟨tel-05630456⟩
0 Consultations
0 Téléchargements

Partager

  • More