The tutor in the loop model for formative assessment

Herding, Daniel Chu; Schroeder, Ulrik

doi:999910321207

The tutor in the loop model for formative assessment = Das Tutor-in-the-Loop-Modell für formatives Assessment

Herding, Daniel Chu (Author)

2013

Verantwortlichkeitsangabevorgelegt von Daniel Chu Herding

ImpressumAachen : Publikationsserver der RWTH Aachen University 2013

UmfangVIII, 168 S. : Ill., graph. Darst.

Aachen, Techn. Hochsch., Diss., 2013

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Schroeder, Ulrik (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2013-03-21

Online
URN: urn:nbn:de:hbz:82-opus-45880
URL: https://publications.rwth-aachen.de/record/229512/files/4588.pdf

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
E-Learning (Genormte SW) ; Computerunterstütztes Lernen (Genormte SW) ; Lernprogramm (Genormte SW) ; Rückmeldung (Genormte SW) ; Intelligentes Tutorsystem (Genormte SW) ; Informatik (frei) ; Assessment (frei) ; computer based learning (frei) ; learning software (frei) ; tutorial (frei) ; feedback (frei) ; intelligent tutoring system (frei)

Thematische Einordnung (Klassifikation)
DDC: 004
ccs: J.1

Kurzfassung
Geschlossene Aufgabentypen wie Multiple-Choice-Tests sind in der Hochschulbildung insbesondere für Zwecke des summativen Assessments verbreitet. Allerdings können sie nicht als Lerner-zentriert betrachtet werden, da sie keine individuellen Lösungen zulassen. Hingegen ist das Assessment von offenen Aufgaben deutlich komplexer. Intelligente Tutoren-Systeme (ITS) versuchen vollautonom individuelles Feedback zu geben; aufgrund hoher Entwicklungskosten sind sie jedoch nur für wenige Lehrthemen verfügbar. Diese Arbeit stellt das Tutor-in-the-Loop-Modell vor, das einen alternativen, semi-automatischen Ansatz für formatives Assessment verfolgt. Es kombiniert automatisches und tutorielles Feedback mit dem Ziel, den Computer Feedback zu Standardlösungen und typischen Fehlern geben zu lassen. Lernende, die zusätzliche Hilfe benötigen oder die zu einer außergewöhnlichen Lösung gekommen sind, können Feedback von ihrem Tutor anfordern. Die Interaktionen der Lernenden mit den elektronischen Aufgaben werden aufgezeichnet, um den Tutor beim Nachvollziehen des Lösungsprozesses zu unterstützen. Diese Logdaten können ebenso verwendet werden, um Learning Analytics durchzuführen: alle Protokolle eines Kurses können analysiert werden, um häufige Fehler festzustellen oder um Studierende aufzufinden, die Hilfe benötigen. Diverse Systeme wurden entwickelt, um das Tutor-in-the-Loop-Modell zu evaluieren. Ein allgemeines Framework wurde realisiert, um Aspekte des automatischen Feedbacks abzudecken, die Lernanwendungen gemeinsam haben. Mehrere Proofs of Concept wurden implementiert, um die Anwendbarkeit des Frameworks in verschiedenen Kontexten zu zeigen. Schließlich wurde eine Logging-Komponente realisiert, die auf einem existierenden Capture-and-Replay-Toolkit basiert. Evaluationen zeigten intrinsische Schwächen dieses Toolkits in Bezug auf Bereitstellung und Analytics-Unterstützung auf. Daraufhin wurde es durch ein neues System für Logging und Learning Analytics ersetzt. Während der Evaluationen wurde herausgefunden, dass Lernende bei Bedarf zwar tatsächlich auf automatisch generiertes Feedback zugreifen, einige aber Hemmungen haben, Feedback von ihren Tutoren anzufordern. Datenschuzbedenken sind hierfür ein Hauptgrund. Dennoch kontaktierten mehrere Studierende ihre Tutoren, und ihre Fragen konnten mit Hilfe der protokollierten Lösungsprozesse beantwortet werden.

Closed exercise types like multiple-choice tests are widespread in higher education, especially for purposes of summative assessment. However, they cannot be considered learner-centric because they do not allow individual solutions. In contrast, assessing open-ended tasks is considerably more complex. Intelligent tutoring systems (ITS) aim at giving individual feedback fully autonomously, but due to their high development cost, they are available only for few domains. This thesis presents the tutor-in-the-loop model, which follows an alternative, semi-automatic approach to formative assessment. It combines automatic and tutorial feedback with the goal of letting the computer give feedback to standard solutions and typical mistakes. Students who need additional help or who have come up with extraordinary solutions can request feedback from their tutor. The students' interactions with the electronic exercises are recorded to help the tutor comprehend their solution processes. This log data can also be used to perform learning analytics: all logs of a course can be analyzed to detect common mistakes or to detect students who may need help. Various systems were developed to evaluate the tutor-in-the-loop model. A general framework was realized to cover aspects of automatic feedback which learning applications have in common. Several proofs of concept were implemented to show the applicability of the framework in different contexts. Finally, a logging component was realized based on an existing capture and replay toolkit. Evaluations showed intrinsic drawbacks of this toolkit in terms of deployment and analytics support. Therefore, it was replaced by a new system for logging and learning analytics. During evaluations it was found out that, while learners indeed access automatically generated feedback when necessary, some are reluctant to request feedback from their tutors. Privacy concerns were a major impediment to tutorial feedback requests. Still, several students contacted their tutors, and their questions could be answered with the help of the solution process logs.

Fulltext:
PDF