A generic platform for open assessment management in higher education : a modular architecture for assessment management within a centrally hosted learning and teaching portal

Stalljohann, Patrick; Schroeder, Ulrik

doi:4308

A generic platform for open assessment management in higher education : a modular architecture for assessment management within a centrally hosted learning and teaching portal = Eine generische Plattform für Open Assessment Management in der universitären Lehre : eine modulare Architektur für Assessment Management in einem zentralen Lehr- und Lernportal

Stalljohann, Patrick (Author)

2012

Verantwortlichkeitsangabevorgelegt von Patrick Wilhelm Stalljohann

ImpressumAachen : Publikationsserver der RWTH Aachen University 2012

UmfangX, 299 S. : Ill., graph. Darst.

Aachen, Techn. Hochsch., Diss., 2012

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Schroeder, Ulrik (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2012-10-17

Online
URN: urn:nbn:de:hbz:82-opus-43088
URL: https://publications.rwth-aachen.de/record/82755/files/4308.pdf

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
E-Learning (Genormte SW) ; Portal <Internet> (Genormte SW) ; Lernprogramm (Genormte SW) ; Computerunterstütztes Lernen (Genormte SW) ; Informatik (frei) ; Assessment (frei) ; Open Assessment Management (frei) ; eLearning (frei)

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
Die Bewältigung von Aufgaben im täglichen Privat- und Arbeitsleben erfordert kontinuierliches Lernen von Fakten, Prozesse und Kompetenzen. Dies ist ein lebenslanger Prozess. Auf der einen Seite gibt es informelle Lernaktivitäten, d.h. sie sind ungeplant und geschehen während einer normalen Aktivität. Auf der anderen Seite ist das erste Viertel eines menschlichen Lebens stark von formalem Lernen beeinflusst, z.B. in Schulen oder an der Universität. Mit dem zunehmenden Einsatz von Web 2.0 Diensten erleichtert die Erstellung von persönlichen Lernumgebungen, durch neue Möglichkeiten des Wissenserwerbs, der Kommunikation und der Zusammenarbeit. Während diese Ansätze vor allem informelle Lernszenarien betreffen, ist ihre Verwendung in formalen Szenarien eine offene Forschungsfrage. Ein spezialisiertes Forschungsthema im Rahmen der Kombination von formalen und informellen Lernens befasst sich mit der Leistungsbewertung von Lernaktivitäten, die einen wichtigen Teil des formalen Lernens übernehmen. Mehrere Methoden für die elektronische Unterstützung der Beurteilung sind seit mehreren Jahren im Einsatz. Einige Software-Systeme für das Management von Assessments sind verfügbar und im Einsatz, aber die Integration von gemeinsamen Diensten aus dem Internet ist immer noch eine offene Forschungsfrage. Insbesondere ist die Kombination verschiedener Formen der Beurteilung erschwert. In diesem Zusammenhang versucht die vorliegende Arbeit die Frage abzudecken, wie das Management der Beurteilung verschiedener Szenarien im Hochschulbereich technologisch unterstützt werden kann, in Bezug auf traditionelle und neue Formen des Assessments. Das Hauptziel des Projekts war es, eine web-basierte Plattform, die modular erweiterbar Mechanismen zur Unterstützung von Assessment Management bietet, als zentralen Dienst für verschiedene Kurse zu entwickeln. Diese Plattform wird AMSeL (Assessment Management Services in eLearning-Systeme) genannt. Ein großes Problem bei Assessments dieser Art ist, dass sie entweder zu allgemein oder zu spezialisiert sind. Generische Systeme bieten grundlegende Unterstützung von Assessment-Prozessen, unabhängig von ihrer Domäne, so dass diese Art von Unterstützung methodisch begrenzt ist. Spezialisierte Assessment-Systeme bieten umfangreiche Unterstützung für eine bestimmte Art von Fragen oder in einer einzelnen Domäne. Daher sind aktuelle Systeme insbesondere nicht für neue Formen des Lernens, z. B. informelles Lernen oder das selbstgesteuerte Lernen, geeignet. Die vorliegende Arbeit versucht einen neuen Ansatz für technologiegestütztes Assessment zu entwickeln, der auch eine Anwendung aktueller und neuer Bewertungs-und Feedback-Prozesse berücksichtigt. So wird diskutiert, wie aktuelle Assessment-Systeme erweitert oder verbessert werden können, um informelles und selbstgesteuertes Lernen zu unterstützen. Insbesondere selbstgesteuertes Lernen erfordert intelligentes Feedback. Auf Grund der Gegensätzlichkeit von aktuellen generischen und spezialisierten Systemen, benötigt der neue Ansatz die Entwicklung einer Architektur, die die Integration von spezifischen Diensten in einer generischen Plattform ermöglicht. Diese Anforderungen wurden verwendet, um ein modulares Software-Design zu entwickeln, das die schrittweise wachsenden Anforderungen eines zentralen Dienstes in einer heterogenen Umgebung ermöglicht. Ein Software-as-a-Service (SaaS)-Architektur wurde auf der Grundlage von Portal-Technologien realisiert, um die modulare Erweiterung der Funktionalität und Integration neuer Dienste zu ermöglichen. Die Umsetzung von AMSeL und dessen Module wurde mit Mechanismen und Techniken von Portal-Technologien realisiert. Es wurden Module für die Übungsverwaltung, die Beurteilung von Wiki-Beiträgen, die Integration von Cloud-Services in formale Leistungsbewertungen, das Management von Ergebnissen und Bewertungskriterien sowie weitere Komponenten realisiert. Gemeinsam zeigen sie, wie verschiedene Formen der Beurteilung in einer ganzen Assessment Management-Plattform kombiniert werden können. Auf diese Weise können die Vorteile der flexiblen Service-orientierten Architektur gezeigt werden. Als Ergebnis wurde die integrierte und leistungsstarke Assessment Management Plattform AMSeL als Referenzimplementierung realisiert. Diese Plattform bietet derzeit einzigartig Verbesserungen in Bezug auf bisherige Systeme zur Leistungsbewertung. Es richtet sich insbesondere an die aufstrebende Bedeutung neuer Lernformen sowie Social-Media-Dienste im Rahmen des institutionellen Assessment in beispielloser Weise.

Solving tasks in everyday life and work requires continuous learning of facts, processes, and related skills. This is a lifelong process. On the one Hand there are informal learning activities, i.e. they are happening unplanned during a normal activity. On the other hand, the first quarter of a human live is strongly affected by formal learning, e.g. in schools or at university. With the increasing use of Web 2.0, its possibilities for knowledge acquisition, communication, and collaboration facilitates the creation of personal learning environments. While these approaches mostly affect informal learning scenarios, their usage in formal settings is an open research question. A more specialized research topic in the context of combining formal and informal learning focuses assessment, the evaluation of learning activities, which takes an important part of formal learning. Several methods for electronic support of assessment are in use for several years. Related software systems for the management of assessments are available and in use, but the integration of common services from the internet is still an open research question. Especially, the combination of different forms of assessment is difficult. In this context, the thesis at hand tries to cover the question, how the management of assessment scenarios in higher education can be supported technologically, with respect to traditional and new forms of assessment. The main objective of the related project was to build a web-based platform, which provides modular extensible support mechanisms for assessment management as a central service for different courses. This platform is called AMSeL (Assessment Management Services in eLearning systems). A major problem with present assessment systems is that they are either too generic or too specialized. Generic systems provide basic support of assessment processes regardless of their domain, so that this kind of support is methodically limited. Specialized assessment systems provide extensive support for a specific type of question or a single domain. Therefore, current systems are especially not applicable to new forms of learning, e.g. informal learning or self-directed learning. The thesis at hand tries to develop a new approach for technology enhanced assessment, which also allows applying current and new assessment and feedback processes to new forms of learning. Thus, it is discussed, how current assessment systems have to be extended or improved to support informal and self-directed learning as well. Especially, self-direction requires intelligent feedback. With the discrepancy of current generic and specialized assessment systems, the new approach demands the development of an architecture, which allows the integration of specific services into a generic platform. These requirements have been used to build a modular software design, which takes account of incrementally growing requirements for a centralized service in a heterogeneous environment. A Software-as-a-Service (SaaS) architecture has been realized based on portal technologies to allow modular extension of functionality and integration of services. The implementation of AMSeL and its modules has been realized with portal technology mechanisms and techniques. Modules for assignment management, assessment of wiki contributions, the integration of cloud services to formal assessment processes, management of results and grading criteria, and others have been realized. In conjunction, they show how different forms of assessment can be combined in a whole assessment management platform. In this way, the advantages of the flexible service-oriented architecture have been demonstrated. As a result, the integrated and powerful assessment management platform AMSeL has been realized as a reference implementation. This platform provides currently unique enhancements related to present assessment systems. It especially addresses the emergent importance of new learning forms as well as social media services in the context of institutional assessment in an unprecedented way.

Fulltext:
PDF