Hochschulschrift (Dissertation)

RWTH Aachen University, Aachen, 2014

URL: http://darwin.bth.rwth-aachen.de/opus3/volltexte/2014/5208/

Teaching is a dynamic activity. It can be very effective, if its impact is constantly monitored and adjusted to the demands of changing social contexts and needs of learners. This implies that teachers need to be aware about teaching and learning processes. Moreover, they should constantly question their didactical methods and the learning resources, which they provide to their students. They should reflect if their actions are suitable, and they should regulate their teaching, e.g., by updating learning materials based on new knowledge about learners, or by motivating learners to engage in further learning activities.

In the last years, a rising interest in ‘learning analytics’ is observable. This interest is motivated by the availability of massive amounts of educational data. Also, the continuously increasing processing power, and a strong motivation for discovering new information from these pools of educational data, is pushing further developments within the learning analytics research field. Learning analytics could be a method for reflective teaching practice that enables and guides teachers to investigate and evaluate their work in future learning scenarios. However, this potentially positive impact has not yet been sufficiently verified by learning analytics research.

Another method that pursues these goals is ‘action research’. Learning analytics promises to initiate action research processes because it facilitates awareness, reflection and regulation of teaching activities analogous to action research.

Therefore, this thesis joins both concepts, in order to improve the design of learning analytics tools. Central research question of this thesis are: What are the dimensions of learning analytics in relation to action research, which need to be considered when designing a learning analytics tool? How does a learning analytics dashboard impact the teachers of technology-enhanced university lectures regarding ‘awareness’, ‘reflection’ and ‘action’? Does it initiate action research? Which are central requirements for a learning analytics tool, which pursues such effects?

This project followed design-based research principles, in order to answer these research questions. The main contributions are: a theoretical reference model that connects action research and learning analytics, the conceptualization and implementation of a learning analytics tool, a requirements catalogue for useful and usable learning analytics design based on evaluations, a tested procedure for impact analysis, and guidelines for the introduction of learning analytics into higher education.

Lehre ist eine dynamische Tätigkeit. Sie kann sehr effektiv sein, wenn ihr Einfluss konstant gemessen sowie an die sich verändernden Anforderungen und sozialen Kontexte der Lerner angepasst wird. Dies bedeutet indirekt, dass Lehrende sich über Lehr- und Lernprozesse bewusst sein müssen. Darüber hinaus sollten sie ihre didaktischen Methoden und die den Studierenden zur Verfügung gestellten Lernmaterialien kontinuierlich hinterfragen. Sie sollten darüber reflektieren, ob ihre Aktivitäten angemessen sind und gegebenenfalls regulierend in die Lehre eingreifen, z.B. indem sie Lernmaterialien gemäß ihres neu gewonnen Wissens über Lernende aktualisieren oder die Lernenden zu weiteren Lernaktivitäten animieren.

In den letzten Jahren ist zu beobachten, dass das Interesse an ‚Learning Analytics’ zunimmt. Motiviert wird dies häufig durch die Verfügbarkeit der großen Datenmengen aus dem Bildungsbereich. Zudem wird dieser Forschungsbereich durch kontinuierlich besser werdende Verarbeitungsmöglichkeiten und die starke Motivation, neue Informationen aus den Datenmengen abzuleiten, vorangetrieben. Learning Analytics könnte eine Methode für reflektierendes Lehren sein, welche es Lehrenden ermöglicht, ihre Arbeit zu untersuchen und zu evaluieren. Jedoch wurde dieser potentiell positive Einfluss bisher noch nicht ausreichend durch Learning-Analytics-Forschung nachgewiesen.

Eine weitere Methodik, die sich diese Ziele setzt, ist die ‚Aktionsforschung’. Learning Analytics verspricht, Aktionsforschung zu initiieren, weil es Bewusstsein, Reflektion und die Regulation von Lehraktivitäten analog zu Aktionsforschung fördert.

Vor diesem Hintergrund, vereint diese Doktorarbeit beide Konzepte, um die Gestaltung von Learning-Analytics-Werkzeugen zu verbessern. Zentrale Fragestellungen dieser Dissertation sind: Welche Learning-Analytics-Dimensionen gibt es in Bezug auf Aktionsforschung, die bei der Gestaltung eines Learning-Analytics-Werkzeugs in Betracht gezogen werden sollten? Welchen Einfluss hat ein Learning-Analytics-Dashboard auf Lehrende technologie-gestützter Universitätslehrveranstaltungen in Bezug auf ‚Bewusstsein’, ‚Reflektion’ und ‚Aktion’? Initiiert es Aktionsforschung? Welche sind die wichtigsten Anforderungen an ein Learning-Analytics-Werkzeug, welches solch eine Wirkung haben soll?

Die Doktorarbeit folgte ‚Design-based Research’-Prinzipien, um diese Forschungsfragen zu beantworten. Wesentlichen Forschungsbeiträge sind: ein theoretisches, Aktionsforschung mit Learning Analytics verknüpfendes Referenzmodell, die Konzeption und Implementierung eines Learning-Analytics-Werkzeugs, ein Anforderungskatalog bezüglich nützlicher und benutzbarer Learning-Analytics-Designs basierend auf Evaluationen, eine getestete Vorgehensweise zur Evaluation des Einflusses von Learning Analytics sowie Empfehlungen für die Einführung von Learning Analytics in die Hochschullehre.