TU Darmstadt / ULB / TUprints

Theory of mind and information relevance in human centric human robot cooperation

Bühler, Moritz (2022)
Theory of mind and information relevance in human centric human robot cooperation.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00021432
Ph.D. Thesis, Primary publication, Publisher's Version

[img] Text
thesis_buehler.pdf
Copyright Information: CC BY-SA 4.0 International - Creative Commons, Attribution ShareAlike.

Download (3MB)
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Theory of mind and information relevance in human centric human robot cooperation
Language: English
Referees: Adamy, Prof. Dr. Jürgen ; Sendhoff, Prof. Dr. Bernhard
Date: 2022
Place of Publication: Darmstadt
Collation: XIII, 141 Seiten
Date of oral examination: 10 May 2022
DOI: 10.26083/tuprints-00021432
Abstract:

In the interaction with others, besides consideration of environment and task requirements, it is crucial to account for and develop an understanding for the interaction partner and her state of mind. An understanding of other’s state of knowledge and plans is important to support efficient interaction activities including information sharing, or distribution of sub- tasks. A robot cooperating with and supporting a human partner might decide to communicate information that it has collected. However, sharing every piece of information is not feasible, as not all information is both, currently relevant and new for the human partner, but instead will annoy and dis- tract her from other important activities. An understanding for the human state of mind will enable the robot to balance communication according to the needs of the human partner and the efforts of communication for both. An artificial theory of mind is proposed as Bayesian inference of human beliefs during interaction. It relies on a general model for human information perception and decision making. To cope with the complexity of second order inference – estimating what the human inferred of her environment – an efficient linearization based filtering approach is introduced. The inferred human belief, as understanding of her mental state, is used to estimate her situation awareness. When this is missing, e.g. the human is unaware of some important piece of information, the robot provides supportive communication. It therefore evaluates relevance and novelty of information compared to communication efforts following a systematic information sharing concept. The robot decides about whether, when and what type of information it should provide in a current situation to sup- port the human efficiently without annoying. The decision is derived by planning under uncertainty while considering the inferred human belief in relation to the task requirements. Systematic properties and benefits of the derived concepts are discussed in illustrative example situations. Two human robot collaborative tasks and corresponding user studies were designed and investigated, applying artificial theory of mind as be- lief inference and assistive communication in the interaction with humans.

Equipped with the artificial theory of mind, the robot is able to infer in- terpretable information about the human’s mental state and can detect a lack of human awareness. Supported by adaptive human centric information sharing, participants could recover much earlier from unawareness. A comparison to state-of-the-art communication strategies demonstrates the efficiency, as the new concept explicitly balances benefits and costs of communication to support while avoiding unnecessary interruptions. By sharing information according to human needs and environmental urgency, the robot does not take over nor instruct the human, but enables her to make good decisions herself.

Alternative Abstract:
Alternative AbstractLanguage

Bei der Interaktion mit Kooperationspartnern ist es wichtig, nicht nur die aktuelle Situation und Aufgaben zu berücksichtigen, sondern auch ein Verständnis für den Partner zu entwickeln. Solch ein Verständnis für die Pläne und den Kenntnisstand der anderen ermöglicht erst erfolgreiche kooperative Tätigkeiten, wie z.B. das Teilen von relevanten Informationen oder eine sinnvolle Arbeitsteilung. Mit den gestiegenen technischen Möglichkeiten und interaktiven Anwendungsfeldern wird es auch für Roboter oder andere komplexe technische Systeme relevant, Interaktionsaspekte zu berücksichtigen. Ein Roboter oder Assistenzsystem kann z.B. einem Menschen gewisse Informationen mitteilen. Dabei ist es jedoch nicht sinnvoll und auch nicht möglich, jede Einzelheit zu kommunizieren, da dies zu viel Zeit sowie kognitive Resourcen erfordern würde. Gleichzeitig ist auch nicht jede Information neu und relevant und würde den Partner nur stören oder ablenken. Stattdessen ist es notwendig, die Erfordernisse des Menschen in der gegebenen Situation zu berücksichtigen um zu erkennen, ob zusätzliche Informationen oder anderweitige Unterstützung benötigt wird. In dieser Arbeit wird ein Verständnis für Interaktionspartner, eine “Theory of Mind” eingeführt als Bayssche Inferenz des menschlichen Belief bzw. Kenntnisstands. Es basiert auf dem beobachteten Verhalten während der Interaktion und einem allgemeinen Modell für Informationsaufnahme und Entscheidungsfindung des Menschen in Hinblick auf eine gegebene Aufgabe. Eine besondere Herausforderung besteht dabei in der Komplexität der hierarchischen probabilistischen Inferenz, der Inferenz der menschlichen Inferenz. Dazu werden verschiedene Approximationen ein- geführt, unter anderem ein linearisierter Filterentwurf. Mit der Schätzung des menschlichen Beliefs wird es möglich, das Situationsverständnis des Menschen zu bewerten, bzw. zu erkennen, welche wichtigen Informationen ihm fehlen. Darauf aufbauend wird ein intelligentes Kommunikationskonzept entworfen, welches relevante Informationen gemäß der geschätzten Notwendigkeit zur Verfügung stellt. Dies beinhaltet das Abwägen des kommunikativen Aufwandes gegenüber dem erwarteten Nutzen. Durch probabilistisches Planen unter Unsicherheit gelangt der Roboter zu der Entscheidung, ob, wann und welche Informationen geteilt werden sollen. Das grundsätzliche Kommunikationsverhalten und konzeptuelle Vorteile der neuen Konzepte werden an illustrativen Beispielen präsentiert und diskutiert. Um diese Konzepte und Methoden zu testen, wurden zwei kooperative Mensch-Roboter-Studien aufgesetzt und durchgeführt. Mittels Theory of Mind ist der Roboter in der Lage, das Verhalten des Menschen zu interpretieren und das Fehlen von situationsrelevanten Informationen zu erkennen. Durch das Teilen relevanter Inhalte wurden die Versuchsteilnehmer der zweiten Studie unterstützt und waren in der Lage, Fehler schneller zu erkennen und zu korrigieren. Im Gegensatz zu anderen Kommunikationskonzepten wird die Relevanz von Informationen explizit berücksichtigt, um zielgerichtet und effizient zu helfen, während unnötige Unterbrechungen vermieden werden. Durch eine solche frühzeitige, aktive Intervention ist es oft nicht nötig, direkt in die Aktionen des Menschen einzugreifen oder zu instruieren. Stattdessen ermöglicht die intelligente bedarfsgerechte Kommunikation dem Partner das Treffen von eigenen, kompetenten Entscheidungen.

German
Status: Publisher's Version
URN: urn:nbn:de:tuda-tuprints-214324
Classification DDC: 600 Technology, medicine, applied sciences > 620 Engineering and machine engineering
Divisions: 18 Department of Electrical Engineering and Information Technology > Institut für Automatisierungstechnik und Mechatronik
18 Department of Electrical Engineering and Information Technology > Institut für Automatisierungstechnik und Mechatronik > Control Methods and Robotics (from 01.08.2022 renamed Control Methods and Intelligent Systems)
Date Deposited: 29 Jun 2022 12:01
Last Modified: 11 Nov 2022 10:32
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/21432
PPN: 496579916
Export:
Actions (login required)
View Item View Item