Logfile-Analysen zur Evaluation
der didaktischen Einbettung von CSCL-Systemen
am Beispiel der CommSy-Nutzung in offenen Seminaren
urn:nbn:de:0009-5-851
Zusammenfassung
In unserem Beitrag evaluieren wir die didaktische Einbettung einer CSCL-Anwendung anhand von Logfile-Analysen. Dazu betrachten wir exemplarisch die Nutzung des webbasierten Systems CommSy in einer projektorientierten Lehrveranstaltung, die wir als offenes Seminar charakterisieren. Wir erzielen zwei Ergebnisse: (1) Wir geben Hinweise zur Gestaltung des Nutzungskontexts eines CSCL-Systems sowie zur Unterstützung seiner anfänglichen und kontinuierlichen Nutzung. (2) Wir beschreiben die Analyse von Nutzungsanlässen und ‑mustern sowie von NutzerInnentypen anhand von Logfiles. Dabei können Logfile-Analysen zur Validierung weiterer Evaluationsergebnisse dienen, sind selbst jedoch nur in Kombination mit zusätzlichen Informationen zum Nutzungskontext interpretierbar.
Stichwörter: e-learning, logfile analysis, data mining, open course.
Abstract
We describe the use of log file analysis to investigate whether the use of CSCL applications corresponds to its didactical purposes. Exemplarily we examine the use of the web-based system CommSy as software support for project-oriented university courses. We present two findings: (1) We suggest measures to shape the context of CSCL applications and support their initial and continuous use. (2) We show how log files can be used to analyze how, when and by whom a CSCL system is used and thus help to validate further empirical findings. However, log file analyses can only be interpreted reasonably when additional data concerning the context of use is available.
Keywords: e-learning, logfile analysis, data mining, open course.
Die Passung zwischen Lehr- bzw. Lernkontexten und Computereinsatz, ist ein wesentlicher Erfolgsfaktor für computerunterstütztes Lernen (vgl. Kerres 1999; Janneck/Strauss 2002). Das gilt für computergestütztes kooperatives Lernen (CSCL) in besonderem Maße, weil CSCL-Systeme weniger auf die multimediale Aufbereitung und Vermittlung von Lerninhalten zielen, sondern sich als variable Kooperationsunterstützung von Lerngruppen für unterschiedliche didaktische Zwecke einsetzen lassen (vgl. Wessner/Pfister 2001; Reinmann-Rothmeier 2003). Damit die flexible Zwecksetzung von CSCL-Systemen und ihre vielfältigen Verwendungsmöglichkeiten nicht zu Mehrdeutigkeiten und Missverständnissen in ihrer Nutzung führen, sind sie sorgfältig in ihren jeweiligen Nutzungskontext einzubetten. Unsere grundlegende Annahme ist, dass der erfolgreiche Einsatz von CSCL-Anwendungen nicht von der Software selbst, sondern insbesondere auch von begleitenden didaktischen Entwicklungen abhängt (vgl. auch Friedrich et al. 2000).
In diesem Aufsatz untersuchen wir exemplarisch die Einbettung des CSCL-Systems CommSy in ein offenes Seminarkonzept anhand von Logfile-Analysen. Daraus leiten wir Implikationen sowohl für die didaktische Einbettung von CSCL-Anwendungen als auch für ihre Evaluation anhand von Logfile-Analysen ab. Dafür schildern wir als Grundlagen unserer Arbeit zunächst die offene Seminarform als didaktischen Kontext, ihre Unterstützung durch CSCL-Systeme wie CommSy, einer Software zur Unterstützung vernetzter Projektarbeit, sowie Handlungsfelder zur Einbettung von CSCL-Systemen in offene Seminare. Anschließend legen wir ausführlich die Ergebnisse einer Logfile-Analyse der CommSy-Nutzung in einem offenen Seminar am Fachbereich Informatik der Universität Hamburg dar und setzen diese mit unseren Erfahrungen und Empfehlungen zur didaktischen Einbettung von CommSy in Beziehung. Abschließend fassen wir unsere Ergebnisse zusammen.
Die folgenden Schilderungen gründen sowohl auf theoretischen Arbeiten zur Hochschul- und Mediendidaktik als auch auf unseren Erfahrungen in mehreren Lehrveranstaltungen im Hauptstudium der Informatik (Themengebiete Informatik und Gesellschaft, Softwareentwicklung und CSCL) an den Universitäten Hamburg und Tübingen, die wir von 2001 bis 2003 begleitet haben (vgl. Strauss et al. 2003; Janneck et al. 2003). An diesen Veranstaltungen nahmen insgesamt über einhundert Studierende teil. Alle wurden didaktisch als offenes Seminar (s. Abschnitt 2.1) konzipiert. Als Softwareunterstützung kam jeweils die Groupware CommSy (s. Abschnitt 2.2) zum Einsatz. Alle Veranstaltungen wurden von uns unter Einsatz verschiedener Methoden evaluiert. Die Studierenden wurden gebeten, Seminarkonzept und Mediennutzung anhand von Fragebögen zu bewerten. Zusätzlich führten wir Gruppendiskussionen mit TeilnehmerInnen der Lehrveranstaltungen durch. Zudem wurden die anonymisierten Logfiles der CommSy-Projekträume ausgewertet, worauf wir in Abschnitt 3 ausführlich eingehen.
Das didaktische Konzept einer offenen Seminarform lehnt sich an projektorientiertes Lehren und Lernen an und kann anhand der folgenden Grundsätze charakterisiert werden (vgl. Janneck et al. 2003; Janneck/Krause 2004):
- TeilnehmerInnenorientierung: Wir verzichten weitgehend auf die Vorgabe von konkreten, inhaltlich begründeten Lernzielen, da wir davon ausgehen, dass Lernprozesse Erfolg haben, wenn die Studierenden ihre eigenen Erkenntnisinteressen formulieren und bearbeiten können.
- Selbstorganisierte Kleingruppenarbeit: Die Studierenden bilden Teams von drei bis vier Personen, die gemeinsam über das gesamte Semester hinweg an einem selbst gewählten Thema arbeiten und ihre Arbeitsprozesse eigenständig organisieren.
- Dokumentation: Wir ermutigen unsere Studierenden, ihre Arbeit für sich selbst kontinuierlich zu dokumentieren und zum Abschluss öffentlichkeitswirksam zu präsentieren.
- Eigenverantwortliche Softwarenutzung: Die Softwarenutzung stellt für uns in offenen (Projekt‑)Seminaren keinen Selbstzweck dar, sondern ist ein mögliches Arbeitsmittel, dessen Nutzung gemeinschaftlicher Aushandlung und Reflexion bedarf. Dabei gehen wir davon aus, dass verschiedene Medien genutzt werden, weil nicht eines alleine alle Kommunikationszwecke erfüllen kann.
- Lehrende als LernbegleiterInnen: Als Lehrende sehen wir unsere Aufgabe nicht darin, die Studierenden zu belehren, sondern stehen ihnen auf Wunsch als “flexibles Hilfsmittel” zur Verfügung und begleiten sie so in ihrem Lernprozess.
Mit unserem Konzept offener Seminare haben wir die traditionelle Hochschullehre insbesondere um die Leitlinien der freien Themenwahl und der eigenständigen Arbeitsorganisation erweitert und Softwarenutzung als explizites methodisches Element eingeführt. Die Evaluation dieser Veranstaltungen zeigt, dass die offene Seminarform trotz anfänglicher Unsicherheiten und negativer Vorerfahrungen von den Studierenden positiv bewertet wurde und zu qualitativ sehr hochwertigen Arbeitsergebnissen führte (vgl. Strauss et al. 2003; Janneck et al. 2003).
CommSy (für Community System) ist eine Softwareplattform zur Unterstützung von Lerngemeinschaften, die am Fachbereich Informatik der Universität Hamburg entstanden ist und mittlerweile als Open Source-Software weiterentwickelt wird. Mit zwei Bestandteilen unterstützt CommSy selbstständiges und kooperatives Lernen (vgl. Jackewitz et al. 2004):
- CommSy-Projekträume bieten eine nicht-öffentliche Kommunikations- und Kooperationsunterstützung für geschlossene Lerngruppen mit etwa 10 bis 30 Mitgliedern. Zur Unterstützung von Lehrveranstaltungen bieten sie den Teilnehmenden die Möglichkeit, Termine und Neuigkeiten anzukündigen, Arbeitsmaterialien bereitzustellen und gemeinsam zu bearbeiten, miteinander Diskussionen zu führen sowie sich selbst und ihre Arbeitsgruppen vorzustellen.
- Der CommSy-Gemeinschaftsraum ermöglicht die (halb-)öffentliche, thematische Sammlung von Materialien (Artikel, studentische Arbeiten, Literaturverweise usw.) und stellt damit insbesondere auch ein Publikationsmedium für Studierende dar. Darüber hinaus bietet der Gemeinschaftsraum die Möglichkeit, die unterstützten (Lehr-)Veranstaltungen zu beschreiben, die behandelten Forschungs- und Lehrgebiete zu erläutern, die beteiligten Institute und Arbeitsbereiche darzustellen und dadurch insgesamt verschiedene Perspektiven auf die archivierten Materialien anzubieten. Durch den Gemeinschaftsraum wird eine Sicht auf das Studium eröffnet, die über einzelne Lehrveranstaltungen hinaus geht und Verbindungen zwischen ihnen aufzeigt.
Funktionalität und Designprinzipien von CommSy können mit unseren oben skizzierten didaktischen Leitlinien in Beziehung gesetzt werden (vgl. Janneck et al. 2003): So wird z.B. auf die Implementierung eines differenzierten Rechtekonzeptes verzichtet, um die oben beschriebene Veränderung der Rollenbilder auch im virtuellen Raum zuzulassen. Bis auf Entscheidungsbefugnisse der VeranstalterInnen, die v.a. Freischaltung oder Sperrung von Benutzungskennungen betreffen, können alle Teilnehmenden die gleichen Aktionen durchführen. Hierdurch werden die Studierenden in ihrer Eigenverantwortung gestärkt: Sie können jederzeit selber entscheiden, welche Beiträge oder Materialien sie im Projektraum bereitstellen und sind hierbei nicht auf die “Erlaubnis” oder Freigabe der VeranstalterInnen angewiesen. Der geschützte Projektraum dient als “Werkstatt” der Lerngemeinschaft, um Entwürfe einzustellen und zu diskutieren, bis diese produktreif sind. Dabei soll der elektronische Raum die Präsenz nicht ersetzen, sondern vielmehr helfen, realweltliche Aktivitäten zu koordinieren und über die Freiarbeitsphasen hinweg mit Lehrenden und KommilitonInnen in Kontakt zu bleiben. Aus dieser Werkstatt heraus können die Teamergebnisse, sobald sie präsentabel sind, auf dem Portal, in das der Projektraum eingebettet ist, veröffentlicht und dort auch weltweit zugänglich gemacht werden.
Damit die Flexibilität der Zwecksetzung von CSCL-Software und ihre vielfältigen Verwendungsmöglichkeiten nicht zu Mehrdeutigkeiten und Missverständnissen in der Nutzung führen, ist ihre Einbettung in den jeweiligen Kontext von den Beteiligten gemeinsam auszuhandeln. Wir gliedern die didaktische Einbettung von CSCL-Systemen wie CommSy dazu in drei Aufgabenbereiche: die Gestaltung des Nutzungskontexts, die Unterstützung der initialen und die Unterstützung der kontinuierlichen Nutzung.
Zur Gestaltung des Nutzungskontext zählen wir Maßnahmen, welche die Software für ihre BenutzerInnen im Rahmen einer Lehrveranstaltung verfügbar machen. Das sind häufig vorbereitende Maßnahmen seitens der Lehrenden. Vorbereitend ist für die Lehrenden zunächst die Installation und Konfiguration des Systems zu bewältigen. Da wir in unseren Veranstaltungen eine zentrale CommSy-Installation im Sinne des Application Service Providing benutzen, fällt dieser Aufwand gering aus. Auch zur Anpassung von CommSy sind nur wenige Entscheidungen zu treffen (vgl. Bleek et al. 2003). Zudem sollte schon vor der ersten Systemnutzung ein gewisses Maß an Inhalt bereitgestellt werden: Auch wenn für die Softwareunterstützung in offenen Seminaren nicht die Inhalte im Vordergrund stehen, weckt ein leeres System erfahrungsgemäß nicht das Bedürfnis, es zu nutzen (vgl. Bleek et al. 2000; Hinze/Blakowski 2002). Die Gestaltung des Nutzungskontexts kann aber auch einen dauerhaften Charakter annehmen, wie z.B. die Systemadministration, die Verwaltung von Benutzungskennungen oder das Aufrechterhalten technischer und räumlicher Zugriffsmöglichkeiten.
Mit der Unterstützung der Systemnutzung am Anfang einer Lehrveranstaltung verfolgen wir das Ziel, eine eigenständige Nutzung der Teilnehmenden zu initiieren. Die Unterstützung muss richtig, meist mit einer nachlassenden Intensität, dosiert werden, damit die Lernenden sich das System zu Eigen machen (vgl. Bleek et al. 2000; Bremer 2002). Damit die Lernenden die technische Handhabung schrittweise erlernen, stellen wir ihnen eine Reihe konkreter Aufgaben mit steigendem Schwierigkeitsgrad, die bekannte Elemente aus Präsenzveranstaltungen aufgreifen und auf die Systemnutzung übertragen. Die Aufgaben sollten zunächst die mediale bzw. technische Kompetenzen der Teilnehmenden fördern und später auf fachliche und soziale Kompetenzen ausgeweitet werden (vgl. Bleek et al. 2000; Feeken et al. 2002). Wichtig ist, dass ein gemeinsames Verständnis der Nutzung unter den Teilnehmenden entsteht und die Lehrenden und Lernenden die Erwartungen und Verpflichtungen abstimmen, die sich aus dem Einsatz des CSCL-Systems in einer Lehrveranstaltung ergeben (vgl. Arnold et al. 2002; Hinze/Blakowski 2002).
Kontinuierliche Unterstützung der Nutzung: Wenn die Lernenden mit der Handhabung der Software vertraut sind, sollten sie im weiteren Veranstaltungsverlauf motiviert und unterstützt werden, das System für ihre Zwecke und Fragestellungen selbstständig zu nutzen. Die VeranstalterInnen selbst können eine kontinuierliche Nutzung vorleben. Beiträge aus dem CSCL-System können in der Präsenzveranstaltung oder in anderen Kommunikationsmedien aufgegriffen werden, um das Interesse der Teilnehmenden zu wecken und die Systemnutzung insgesamt zu bestätigen. Außerdem ist es gewinnbringend, eine Reflexion der Systemnutzung durch die Teilnehmenden zu initiieren. Dabei akzeptieren wir es, wenn diese – meist aus gutem Grund – für bestimmte Anlässe eine andere als die von uns vorgeschlagene Kooperationsform finden. Wichtiger erscheint uns eine Verständigung über die gewählten Kooperationsformen (vgl. Janneck et al. 2003). Zur Ergebnisaufbereitung sollte die Software genutzt werden, um die gemeinsame Arbeit kontinuierlich zu dokumentieren und abschließend die erzielten Ergebnisse zu veröffentlichen.
Um unsere Empfehlungen zur didaktischen Einbettung von CommSy empirisch zu untermauern, haben wir mehrere nach dem oben geschilderten Konzept offener Seminare durchgeführte Veranstaltungen unter Einsatz von Fragebögen, Gruppendiskussionen und Analysen der Logfiles der eingesetzten CommSy-Projekträume evaluiert (vgl. Strauss et al. 2003). In dieser Arbeit diskutieren wir vor allem den Beitrag, den Logfile-Analysen zur Evaluation von computergestützten kooperativen Lernformen leisten können, und setzen hierfür die Logfile-Daten mit qualitativen Daten aus Gruppeninterviews in Beziehung. Eine detaillierte Beschreibung der von uns angewandten Evaluationsmethodik liefern Strauss/Pape (2004). Eine grundlegende Beschreibung der Durchführung von Evaluationsforschung bieten z.B. Bortz/Döring (2002) und Wottawa/Thierau (1998).
Die Analyse von Logfiles ist in der Online-Forschung von Interesse, um die Nutzung bestimmter Anwendungen gleichsam direkt zu “beobachten” (vgl. Döring 2003): Durch die direkte Protokollierung des NutzerInnenverhaltens im System lassen sich objektive Daten wie Häufigkeit, Zeitpunkt und Dauer der Nutzung, bevorzugte Nutzungspfade etc. gewinnen. Dabei können sowohl einzelne NutzerInnen über einen bestimmten Zeitraum hinweg beobachtet als auch Querschnittsdaten über viele NutzerInnen hinweg erhoben werden, um z.B. zu erfassen, welche Bestandteile eines Web-Angebotes besonders häufig nachgefragt werden.
In der Regel werden für Logfile-Analysen Server-seitige Logs ausgewertet und damit die Zugriffe aller Clients registriert, die den jeweiligen Dienst nutzen. Um globalere Informationen über das Nutzungsverhalten einzelner Personen zu erfassen, werden in manchen Studien aber auch Client-seitige Logdaten, wie z.B. die History-Funktion des Web-Browsers, verwendet. Döring (2003) schildert beispielhaft einige Einsatzmöglichkeiten von Logfile-Analysen in der Internet-Forschung.
Für die Evaluation von E-Learning-Anwendungen sind nach Grob, Bensberg & Kaderali (2004) die folgenden Informationen von Nutzen, die durch die Auswertung von Logfiles erfasst werden können:
- die Nutzungshäufigkeit von E-Learning-Anwendungen seitens der Studierenden,
- die Identifikation häufig gemeinsam genutzter E-Learning-Dienste, die u.U. zu einem Angebot zusammengefasst werden können,
- die Identifikation von Gruppen von Studierenden mit ähnlichem Lernverhalten, die dann zielgruppenspezifisch angesprochen werden können,
- die Identifikation dominanter Nutzungspfade bei E-Learning-Anwendungen, die z.B. zur Optimierung von Navigationsstrukturen genutzt werden können.
Während Grob et al. (2004) ganze E-Learning-Infrastrukturen in den Blick nehmen, betrachten wir in dieser Arbeit die Einbettung von E-Learning-Systemen (genauer: CSCL-Systemen) in einzelne Lehrveranstaltungen. Ergänzend zu den oben genannten Punkten gehen wir dazu bei der Logfile-Analyse den folgenden Fragestellungen nach:
- Vergleich verschiedener Nutzungstypen (z.B. Viel- und WenignutzerInnen),
- Erfassung von Mustern und Regelmäßigkeiten der Nutzung,
- Identifikation von Nutzungsschwerpunkten und -anlässen.
Der Vergleich verschiedener Nutzungstypen ist für die didaktische Einbettung von Interesse, um zu analysieren, ob die von Lehrenden häufig beklagten Unterschiede in der Nutzungshäufigkeit einzelner Studierender auch mit Unterschieden in der Art der Nutzung einhergehen, oder ob u.U. Viel- und WenignutzerInnen prinzipiell ähnliche Anlässe und Informationen wahrnehmen. Von der Erfassung von Regelmäßigkeiten und Schwerpunkten der Nutzung versprechen wir uns Informationen darüber, welche didaktischen Maßnahmen der Lehrenden die Studierenden erfolgreich zur Nutzung motivieren können.
Die von uns ausgewerteten Logfiles enthielten die anonymisierte Systemkennung, die Web-Adresse der aufgerufenen Seiten im CommSy sowie den Zeitpunkt dieser Aufrufe. Mit Hilfe dieser Informationen war es möglich, jeden “Click” eines Nutzers oder einer Nutzerin als Zugriff auf das System nachzuvollziehen und auszuwerten. Das notwendige datenschutzrechtliche Einverständnis für die Auswertung wurde eingeholt.
Um zur Analyse der Daten nicht direkt auf Ebene der Datenbank mittels der Abfragesprache SQL arbeiten zu müssen, haben wir ein Werkzeug zur bequemen Auswertung der Datensätze entwickelt, das unter Benutzung der vorhanden PHP- und MySQL-Technologie ein webbasierte Benutzungsschnittstelle bietet. Über diese Schnittstelle lassen sich diese Zugriffsdaten nach bestimmten Kennungen und Zeiträumen strukturieren, nach lesendem oder schreibenden Zugriff selektieren sowie zeitlich oder nach verwendeter Funktionalität sortieren.
In den folgenden Abschnitten stellen wir exemplarisch die Ergebnisse der Logfile-Analyse eines CommSy-Projektraums vor, der zur Unterstützung des Seminars “Computer Supported Cooperative Learning (CSCL)” im Wintersemester 2001/2002 am Fachbereich Informatik der Universität Hamburg eingerichtet wurde. Das Seminar wurde von zwei Lehrenden veranstaltet, 16 Studierende nahmen daran teil. Die Analyse weiterer Veranstaltungen erbrachte nahezu identische Ergebnisse.
Abbildung 1 verdeutlicht die Zugriffe, die die Veranstaltenden und die TeilnehmerInnen während des Semesters im entsprechenden CommSy-Projektraum verursacht haben. Die Daten sind auf Wochenbasis abgebildet.
Abbildung 1 - Wöchentliche Nutzung im Zeitverlauf
Die Nutzungskurve der Veranstaltenden zeigt bereits vor Semesterbeginn rege Aktivität an und erreicht einen Höhepunkt in der 45. und 46. Kalenderwoche (den ersten beiden Semesterwochen), der von einem Höhepunkt der Aktivität der TeilnehmerInnen in der 46. Kalenderwoche gefolgt wird. Dies ist genau die für den weiteren Verlauf des Seminars wichtige Phase der eigenständigen Themenfindung und Kleingruppenbildung seitens der Studierenden (s. Abschnitt 2.1). In dieser Zeit arbeiteten die Veranstaltenden besonders aktiv im Projektraum, um Materialien zur Themenfindung zur Verfügung zu stellen sowie einen Themenspeicher einzurichten, der den TeilnehmerInnen die Wahl des zu bearbeitenden Themas erleichtern sollte. Der nächste Höhepunkt der Nutzungsintensität befindet sich etwa in der Woche vor einer ersten Zwischenpräsentation der Arbeitsgruppen in der 49. Kalenderwoche, bei der sie Thema, Arbeitsplanung und erste Ergebnisse vorstellten. Während der Weihnachtsferien (Kalenderwochen 52/2001-1/2002) fand eine CommSy-Nutzung nur in sehr begrenztem Maße statt. Allerdings erholt sich die Nutzung der TeilnehmerInnen danach ohne eine erhöhte Veranstaltenden-Aktivität als Anlass. Vor der öffentlichen Endpräsentation der Gruppenergebnisse in Kalenderwoche 6 steigt die Nutzungshäufigkeit der TeilnehmerInnen wieder deutlich an, ohne jedoch die Kurve der Veranstaltenden mitzuziehen. Diese werden erst wieder gegen Ende des Semesters aktiv, um Dokumentationen und Ergebnisse im Projektraum bereitzustellen, was von den TeilnehmerInnen offenbar auch wahrgenommen wird: Ihre Kurve steigt in der achten Kalenderwoche noch einmal leicht an.
Die Kurvenverläufe illustrieren deutlich die Rolle der Veranstaltenden im Seminargeschehen: Sie liefern, auch im Projektraum, initialen Input, um die TeilnehmerInnen zur Nutzung zu motivieren und sie bei der Themenfindung zu unterstützen. Mit der zunehmenden Eigenständigkeit der TeilnehmerInnen halten sich die Veranstaltenden auch im Projektraum immer stärker zurück: Die Veranstaltung und die CommSy-Nutzung tragen sich alleine.
Das Diagramm in Abbildung 2 zeigt die prozentuale Verteilung auf die Wochentage für die Veranstaltenden und alle studentischen TeilnehmerInnen: Es wird deutlich, dass beide Gruppen verschiedene Nutzungsmuster im Bezug auf die Verteilung im Wochenverlauf aufweisen. Die Nutzung der Veranstaltenden fand schwerpunktmäßig mittwochs und donnerstags statt, da sie an diesen Tagen die Sitzung der jeweils nächsten Woche konzipierten und vorbereiteten. Am Wochenende nutzten sie den Projektraum fast nicht.
Die TeilnehmerInnen hingegen weisen montags einen starken Schwerpunkt ihrer Nutzung auf und arbeiteten somit offensichtlich häufig zu den Zeiten der Präsenzveranstaltung, was sich mit der didaktischen Konzeption der Veranstaltung deckt. Im Gegensatz zu den Veranstaltenden lässt sich eine relativ starke Nutzung am Wochenende, vor allem sonntags, feststellen. Dies ist ein Hinweis darauf, dass sich die TeilnehmerInnen mit einem Blick in den Projektraum auf die Präsenzveranstaltung am Montag vorbereiteten.
Abbildung 2 - Nutzungsverteilung im Laufe der Woche
Aus der Analyse der Nutzungsschwerpunkte und -anlässe ziehen wir folgende Implikationen für die didaktische Einbettung von CommSy:
- Die Analyse der Logfile-Daten untermauert unsere Empfehlung, die CommSy-Nutzung gezielt mit Ereignissen in der Lehrveranstaltung zu verbinden: Höhen und Tiefen der Nutzungskurve lassen sich klar mit dem Verlauf der Lehrveranstaltung in Beziehung setzen. Beispiele sind die Nutzung zur Themenfindung, während der Weihnachtsferien oder vor Zwischen- und Endpräsentationen.
- Umgekehrt können die hier herausgearbeiteten Nutzungsanlässe als Anregung für die Einbettung der CommSy-Nutzung auch in anderen Kontexten dienen: Wenn sich Momente mit einer hohen Nutzungsintensität antizipieren lassen, wie z.B. die Nutzung an bestimmten Wochentagen oder zu bestimmten Zeiten im Semesterverlauf, dann bieten sich diese für Maßnahmen zur Moderation besonders an, da diese von den TeilnehmerInnen mit höherer Wahrscheinlichkeit zeitnah wahrgenommen werden.
Die Logfile-Analyse bestätigt weiterhin unser Rollenbild der VeranstalterInnen als LernberaterInnnen: Sie haben anfangs zur Einrichtung des Projektraums viel Aufwand getrieben und waren stets, aber mit abnehmender Intensität im Projektraum präsent, um den Teilnehmenden sowohl Anstöße als auch Raum zur eigenständigen CommSy-Nutzung zu geben.
Wie aus der folgenden Tabelle 1 ersichtlich ist, sind für die Veranstaltenden deutlich mehr Projektraumzugriffe verzeichnet als für eine(n) durchschnittliche(n) TeilnehmerIn. Im Schnitt waren die Veranstaltenden sogar mehr als dreimal so aktiv. Dass der CommSy-Einsatz in diesem Seminar allgemein als erfolgreich angesehen wurde, deutet dies darauf hin, dass ein starkes Engagement der Veranstaltenden innerhalb des Projektraumes sehr zu einem produktiven Einsatz von CommSy beitragen kann.
|
Zugriffe |
|||
|
N |
für alle |
durchschnittlich |
|
|
TeilnehmerInnen |
16 |
13.526 |
845 |
|
Veranstaltende |
2 |
5.332 |
2.666 |
Tabelle 1 - Anzahl der Zugriffe von Veranstaltenden und TeilnehmerInnen
Hinsichtlich der Intensität der Nutzung des Projektraumes lassen sich drei Gruppen unter den 16 TeilnehmerInnen identifizieren (Abbildung 4):
- VielnutzerInnen (T1-T5): 1000 bis 2000 Zugriffe
- NormalnutzerInnen (T6-T11): 600 bis 1000 Zugriffe
- WenignutzerInnen (T12-T16): weniger als 600 Zugriffe.
Abbildung 4 - Zugriffe der 16 TeilnehmerInnen (T1-T16)
Offensichtlich existiert ein starkes Gefälle hinsichtlich der Nutzungsintensität der einzelnen TeilnehmerInnen. Während die aktivsten NutzerInnen fast 2000 Zugriffe produziert haben, hat die Person mit der geringsten Nutzung nicht einmal 100 Zugriffe verursacht. Aus der Gruppendiskussion zur Seminarevaluation ist jedoch bekannt, dass die Kleingruppen z.T. ihre Arbeit mit CommSy-Unterstützung gemeinsam am Rechner durchgeführt haben, wobei jeweils nur eine Person aus der Arbeitsgruppe eingeloggt war und Systemeinträge stellvertretend für die ganze Arbeitsgruppe vorgenommen hat. Hierbei liegt die Vermutung nahe, dass diese Aufgabe regelmäßig von Personen übernommen wurde, die ohnehin viel und gerne im Projektraum unterwegs waren und das System dementsprechend gut kannten. Das hat möglicherweise die große Diskrepanz zwischen der Nutzungshäufigkeit von Viel- und WenignutzerInnen mitbedingt.
Nach der Einteilung der TeilnehmerInnen in die verschiedenen Intensitätsgruppen haben wir das Verhalten dieser Gruppen auf mögliche Unterschiede untersucht. Die in Abbildung 5 gezeigten Verlaufskurven beziehen sich auf die Zugriffe, die ein Mitglied der entsprechenden Intensitätsgruppe durchschnittlich pro Woche verursacht hat. Deutlich zu sehen ist, dass die Nutzung innerhalb aller Gruppen fast parallel verläuft. Wir folgern daraus, dass alle Gruppen dieselben oder zumindest ähnliche Nutzungsanlässe wahrgenommen und sich entsprechend verhalten haben. Auch wenn sich z.B. die passiven NutzerInnen weniger intensiv im Projektraum bewegen, so bedeutet das offensichtlich nicht, dass ihre Anreize zur Nutzung des Systems gänzlich andere sind als jene, die von den VielnutzerInnen wahrgenommen werden. Auch unterscheiden sich die Gruppen nicht hinsichtlich ihrer Ausdauer in der Nutzung: Auch die WenignutzerInnen stellen ihre Nutzung im Laufe des Semesters nie ganz ein.
Zudem sei auf ein Phänomen hingewiesen, dass im Zeitraum um die 48. Kalenderwoche zu beobachten ist: Hier zeigt die Kurve der aktiven TeilnehmerInnen etwas früher ein lokales Maximum als die der anderen beiden Gruppen. Das könnte darin begründet sein, dass die aktiven NutzerInnen neue Beiträge früh wahrnehmen und ihre KommilitonInnen darüber informieren. Dadurch verringert sich u.U. für Letztere der Bedarf, sich Informationen aus dem Projektraum zu holen.
Abbildung 5 - Zugriffe der Intensitätsgruppen auf Wochenbasis
Als Implikation für die CommSy-Einbettung streichen wir heraus, dass stets von einem Gefälle der Nutzungshäufigkeit unter den Teilnehmenden auszugehen ist. Das wechselseitige Aushandeln von Erwartungen zur CommSy-Nutzung erscheint uns hilfreich, um mit diesem Gefälle umzugehen. Dabei empfehlen wir, insbesondere darauf zu achten, dass die Teilnehmenden ähnliche Nutzungsanlässe wahrnehmen und die Nutzung nicht vollkommen einstellen. Das ist in der ausgewerteten Veranstaltung gelungen.
Aus der Gruppendiskussion zur Seminarevaluation ist uns bekannt, dass die verschiedenen Arbeitsgruppen die Projektraum-Funktionalitäten (Rubriken) unterschiedlich nutzten. Dies überprüften wir anhand der Logfiles. In Tabelle 2 sind die vier Arbeitsgruppen und ihre Zugriffshäufigkeiten dargestellt. Anhand dieser Daten lassen sich drei sehr aktive Gruppen (AG 2, 3 und 4) und eine deutlich weniger aktive Gruppe (AG 1) unterscheiden.
|
Zugriffe |
|||
|
N |
für die Gruppe insgesamt |
durchschnittlich |
|
|
Arbeitsgruppe 1 |
4 |
1.438 |
360 |
|
Arbeitsgruppe 2 |
4 |
3.985 |
996 |
|
Arbeitsgruppe 3 |
4 |
4.420 |
1.105 |
|
Arbeitsgruppe 4 |
4 |
3.683 |
921 |
Tabelle 2 - Anzahl der Zugriffe der Arbeitsgruppen
Zur näheren Analyse wurden exemplarisch die beiden Gruppen mit der stärksten Nutzung ausgewählt (AG 2 und AG 3). Um die unterschiedlichen Nutzungsarten aufzuzeigen, ist in Abbildung 6 dargestellt, wie häufig die verschiedenen Projektraum-Rubriken von den beiden Arbeitsgruppen genutzt wurden.
Abbildung 6 - Nutzung der Rubriken
“Diskussion” bezieht sich dabei auf die Diskussionsforen, die asynchrone Kommunikation unterstützen, von einigen Arbeitsgruppen aber ebenso für die strukturierte Ablage von Inhalten zur Vergegenständlichung des Arbeits-/Lernprozesses genutzt wurden. Die Rubrik “Gruppen” stellt die verschiedenen Arbeitsgruppen und deren Mitglieder sowie die für die Gruppe relevanten Materialien dar. Aufrufe der Rubrik “Materialien” werden verursacht, wenn auf ein bestimmtes im System gespeichertes Arbeitsmaterial zugegriffen wird. In den “Neuigkeiten” werden aktuelle Ereignisse und Termine, neu eingestellte Materialien etc. angekündigt. Die Projektraummitglieder können sich mit Foto und persönlichen Daten wie Telefonnummer und e-Mail-Adresse in der Rubrik “Personen” vorstellen und über andere Mitglieder informieren. In der Rubrik “Termine” schließlich werden im Idealfall alle für die Mitglieder eines Projektraumes relevanten Termine eintragen.
Die Rubrik “Diskussionen” ist von allen Arbeitsgruppen am stärksten genutzt worden. Ursache hierfür ist zum einen, dass dieser Bereich eine zentrale Rolle in einem CommSy-Projektraum einnimmt. Über die Diskussions-Stränge wird nicht nur kommuniziert, auch gemeinsam bearbeitete Materialien und andere Einträge aus den übrigen Rubriken sind in die Diskussionen eingebettet und über ihren Diskussionskontext aufzufinden. Darüber hinaus konnten in der verwendeten CommSy-Version die Diskussionsverläufe durch Ein- und Ausblenden bestimmter Threads angepasst werden, was zwar inhaltlich nicht relevant ist, aber dennoch Zugriffe erzeugt. Weiterhin forciert die Struktur der Rubrik “Diskussion” eine höhere Nutzung als andere Rubriken, da die NutzerInnen sich beim Lesen der Beiträge durch einen Diskussionsstrang “hindurchklicken” und dadurch viele Zugriffe in der Log-Datenbank verzeichnet werden.
Unterschiede in der Nutzung ergeben sich vor allem bei den Rubriken “Diskussion” und “Personen”. Dies deckt sich mit Schilderungen aus der Gruppendiskussion zur Seminarevaluation, wonach die Mitglieder der Gruppe 3 die Diskussionsforen im Projektraum als Struktur zum Ablegen und Dokumentieren bereits geleisteter Arbeit benutzt haben, während TeilnehmerInnen der Gruppe 2 berichteten, dass gerade die Rubrik mit den Personendaten im Verlauf des Seminars immer wichtiger wurde. Dies schlägt sich in der verstärkten Nutzung des jeweiligen Bereichs nieder.
Als Implikation für die CommSy-Einbettung bleibt festzuhalten: Die Nutzung der verschiedenen Funktionalitäten ist nicht bei allen Arbeitsgruppen innerhalb des Seminars gleich. Je nachdem, wie sich eine Arbeitsgruppe intern organisiert, sind verschiedene Nutzungsmuster auszumachen. Unterschiede in der Nutzungshäufigkeit und in der Nutzungsweise von CommSy in einer Lehrveranstaltung zuzulassen und möglicherweise zu reflektieren, ist für uns ein Element zur Förderung von Medien- und auch von Sozialkompetenz.
In diesem Aufsatz sind wir der Hypothese nachgegangen, dass der erfolgreiche Einsatz von CSCL-Anwendungen nicht von der Software selbst, sondern insbesondere auch von begleitenden didaktischen Entwicklungen abhängt. Dazu haben wir zunächst mit der offenen Seminarform ein didaktisches Konzept spezifiziert, das wir mit dem web-basierten System CommSy unterstützen. Um die Softwareunterstützung gewinnbringend einzusetzen, haben wir zudem drei Handlungsfelder zur didaktischen Einbettung von CommSy vorgestellt: die Gestaltung des Nutzungskontexts, die Unterstützung der initialen Nutzung und die Unterstützung der kontinuierlichen Nutzung.
Anhand der Logfile-Analyse der Softwarenutzung konnten wir Nutzungsanlässe, ‑typen und -muster identifizieren und damit unsere Aussagen zur didaktischen Einbettung von CommSy fundieren, die sich auch auf andere CSCL-Systeme übertragen lassen. Wir fassen unsere Ergebnisse abschließend zusammen:
Die Gestaltung des Nutzungskontextes, also die Installation, Konfiguration sowie das Füllen des Systems mit initialen Inhalten, die von Nutzen für die TeilnehmerInnen sind und ihr Interesse wecken, halten wir für eine Voraussetzung, um eine erfolgreiche Systemnutzung zu initiieren. Die Analyse der Zugriffshäufigkeiten zeigt, dass der hohen Aktivität der Lehrenden zu Beginn der Veranstaltung eine intensive Nutzung der TeilnehmerInnen gegenüber steht. Zu keiner anderen Phase der Veranstaltung scheint die Aktivität der Lehrenden im System ähnlich wichtig zu sein.
Die Unterstützung der initialen Nutzung hat zum Ziel, die Lernenden mit der Handhabung des Systems vertraut zu machen und Nutzungskonventionen zu etablieren. Im Zusammenhang mit der offenen Seminarform sind dabei vor allem die Themenauswahl und Gruppenbildung zu beachten. Dabei haben sich sogenannte “Themenspeicher”, die in der Präsenzveranstaltung auf Stellwänden und virtuell im Projektraum weitergepflegt werden, als hilfreiches methodisches Element erwiesen, das von den Teilnehmenden rege genutzt wurde. Zudem zeigt unsere Analyse, dass es gelungen ist, Konventionen wie die Nutzung zur Vorbereitung oder während der Präsenztreffen zu etablieren.
Die Unterstützung der kontinuierlichen Nutzung stellt die Lehrenden vor die Aufgabe, die Lernenden zu einer selbstständigen Nutzung zu motivieren, ohne sie zu bevormunden oder die Systemnutzung zu dominieren. Allerdings sollten VeranstalterInnen nicht in die Rolle der alleinigen Informationsquelle geraten, sondern ihre Aufgabe darin sehen, die Studierenden anzuregen, eigene Informationen für eine gemeinsame Nutzung zur Verfügung zu stellen (vgl. Friedrich et al. 2000). Unsere Analyse zeigt, dass sich die Lehrenden im System selber durchaus zurückhalten können, obgleich es einer gewissen Basisnutzung ihrerseits bedarf, um die Systembenutzung zu beobachten und ggf. unterstützend einzugreifen: Werden die Lernenden erfolgreich motiviert, das System für ihre Zwecke einzusetzen, trägt sich die Softwarenutzung alleine. Das zeigen auch die unterschiedlichen Arbeitsweisen, die einzelne Kleingruppen für sich etabliert haben und die sich auch in der Systemnutzung niederschlagen.
Zudem haben wir in diesem Aufsatz verdeutlicht, wie die Protokollierung des Verhaltens der NutzerInnen im System zur Evaluation einer CSCL-Anwendung und deren Einbettung in einen Nutzungskontext herangezogen werden kann. Insgesamt halten wir Logfile-Analysen für gut geeignet, um objektive Daten zur Nutzungshäufigkeit auf breiter Basis zu erheben und differenziert zu untersuchen. Durch die Erhebung von Logfiles können Häufigkeit, Schwerpunkte, Zeitpunkte und Dauer der Nutzung gemessen und für verschiedene NutzerInnen(gruppen) verglichen werden. Dadurch kann die Geltung von Aussagen und Beobachtungen einzelner NutzerInnen, z.B. im Rahmen von Interviews, für andere NutzerInnen überprüft werden.
Neben der Zugriffshäufigkeit könnten zudem weitere Daten wie z.B. die Verbindungsdauer oder detaillierte Navigationspfade für die Analyse herangezogen werden, um das Nutzungsverhalten genauer zu protokollieren. Dies ist jedoch im Vergleich zur Erfassung und Auswertung von Zugriffshäufigkeiten mit erheblichem Mehraufwand verbunden, dem unserer Ansicht nach für die Frage der didaktischen Einbettung kein wesentlicher Informationsgewinn gegenübersteht. Für software-ergonomische Fragestellungen hingegen sind solch detailliertere Methoden der Logfile-Analyse zu empfehlen.
Generell gilt, dass Logfile-Daten u.U. durch unterschiedliche Nutzungsgewohnheiten oder auch Systemkonfigurationen “verfälscht” werden können: So ist beispielsweise vorstellbar, dass ein(e) NutzerIn bei der Suche nach Beiträgen weniger zielgerichtet vorgeht und damit viele Klicks und somit Zugriffe produziert, während ein(e) andere(r) NutzerIn genau weiß, wonach und wo er / sie suchen möchte und deshalb mit deutlich weniger Zugriffen dasselbe erreicht.
Auch gewinnen die Logfile-Daten in Kombination mit anderen Auswertungen an Aussagekraft bzw. sind ohne Informationen zum Nutzungskontext kaum interpretierbar: In unserer Analyse ließen sich beispielsweise die Nutzungsschwerpunkte nur anhand von Informationen zum Seminarverlauf inhaltlich interpretieren. Eine Triangulation von Methoden zur Evaluation von CSCL-Anwendungen scheint uns daher empfehlenswert (vgl. Strauss/Pape 2004).
Arnold, P.; Kilian, L.; Thillosen, A.: “So lonely!?” – Online-Betreuung als kritischer Erfolgsfaktor beim telematischen Studieren. In: Campus 2002 (Hrsg. Bachmann, G.; Haefeli, O.; Kindt M.) Münster u.a.: Waxmann, 2002, 334-344.
Bleek, W.-G.; Wolff, B.; Kielas, W.; Malon, K.; Otto, T.: Vorgehen zur Einführung von Community Systemen in Lerngemeinschaften. In: Virtuelle Organisation und Neue Medien 2000.( Hrsg. Engelien, M.; Neumann, D.) Lohmar/Köln: Josef Eul, 2000, 97-113.
Bleek, W-G.; Jackewitz, I.; Pape, B.: Matching Needs - Application Service Providing for Asynchronous Learning Networks. In: Proceedings of the 36th Annual Hawaii International Conference on System Sciences 2002. (Hrsg. Sprague, R. H.) Los Alamitos, CA u.a.: IEEE, 2003.
Bortz, J.; Döring, N.: Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler, 3. Auflage. Berlin u.a.: Springer, 2002.
Bremer, C.: Virtuelle Konferenzen. In: Virtuelle Organisation und Neue Medien 2002. Workshop GeNeMe2002. Gemeinschaften in Neuen Medien. (Hrsg. Engelien, M.; Homann, J.) Lohmar/Köln: Josef Eul, 2002, 553-575.
Döring, N.: Sozialpsychologie des Internet. Die Bedeutung des Internet für Kommunikationsprozesse, Identitäten, soziale Beziehungen und Gruppen. Göttingen u.a.: Hogrefe, 2003, 2. Auflage.
Feeken, H.; Kleinschmidt, A.; Zawaki, O.: Das Konzept der Online-Betreuung im Projekt “Ökonomische Bildung online”. In: Campus 2002. (Hrsg. Bachmann, G.; Haefeli, O.; Kindt M.) Münster u.a.: Waxmann, 2002, 345-355.
Friedrich, H.F.; Hesse, F.W.; Ferber, S.; Heins, J.: Evaluation einer Strategie zur Moderation virtueller Seminar. In: Virtueller Campuss ’99. (Hrsg. Krahn, H.; Wedekind, J.) Münster u.a.: Waxmann, 2000, 127-137.
Grob, H. L;, Bensberg, F.; Kaderali, F.: Controlling Open Source Intermediaries – a Web Log Mining Approach. In: Proceedings of the 26th Int. Conf. Information Technology Interfaces ITI 2004, Sagreb (Croatia), 2004, 233-242.
Hinze, U.; Blakowski, G.: Anforderungen an die Betreuung im Onlinelernen: Ergebnisse einer qualitativen Inhaltsanalyse im Rahmen der VFH. In: In: Campus 2002. (Hrsg. Bachmann, G.; Haefeli, O.; Kindt M.) Münster u.a.: Waxmann, 2002, 323-333.
Jackewitz, I.; Janneck, M.; Strauss, M.; CommSy – Softwareunterstützung für Wissensprojekte. In: Wissensprojekte – Gemeinschaftliches Lernen aus didaktischer, softwaretechnischer und organisatorischer Sicht. (Hrsg. Pape, B.; Krause, D.; Oberquelle, H.) Münster u.a.: Waxmann, 2004, 186-202.
Janneck, M.; Strauss, M.: Design-Prozesse für computerunterstütztes kooperatives Lernen. In: Informatik bewegt. Informatik 2002 – 32. Jahrestagung der Gesellschaft für Informatik e.V. (Hrsg. Schubert, S.; Reusch, B.; Jesse, N.) Bonn: Köllen, 2002, 237-238.
Janneck, M.; Krause, D.; Pape, B.; Strauss, M.: Medienunterstützung in offenen Seminaren – am Beispiel des CSCL-Systems CommSy. In: DeLFI 2003 – Tagungsband der 1. e-Learning Fachtagung Informatik. (Hrsg. Bode, A.; Desel, J.; Rathmayer, S.; Wessner M.) Bonn: Gesellschaft für Informatik e.V., 2003, 47-56.
Janneck, M.; Krause, D.: Einladung zur Nachahmung: Offene Lernveranstaltungen mit Medien-unterstützung. In: Wissensprojekte – Gemeinschaftliches Lernen aus didaktischer, softwaretechnischer und organisatorischer Sicht. (Hrsg. Pape, B.; Krause, D.; Oberquelle, H.) Münster u.a.: Waxmann, 2004, 74-89.
Kerres, M.: Didaktische Konzeption mulitmedialer und telemedialer Lernumge-bungen. HMD – Praxis der Wirtschaftsinformatik 205, 1999, 9-21.
Reinmann-Rothmeier, G.: Didaktische Innovation durch Blended Learning. Bern u.a.: Hans Huber, 2003.
Strauss, M.; Pape, B.; Adam, F.; Klein, M.; Reinecke, L.: CommSy-Evaluationsbericht 2003: Softwareunterstützung für selbstständiges und kooperatives Lernen. Universität Hamburg Fachbereich Informatik: Bericht FBI-HH-B-251/03, 2003.
Strauss, M.; Pape, B.: Eine methodische Expedition zur formativen Evaluation kooperativer Lernplattformen. In: Wissensprojekte – Gemeinschaftliches Lernen aus didaktischer, softwaretechnischer und organisatorischer Sicht. (Hrsg. Pape, B.; Krause, D.; Oberquelle, H.) Münster u.a.: Waxmann, 2004, 373-388.
Wessner, M.; Pfister, H.: Kooperatives Lehren und Lernen. In: CSCW-Kompendium - Lehr- und Handbuch zum computerunterstützten kooperativen Arbeiten. (Hrsg. Schwabe, G.; Streitz, N.; Unland, R.) Berlin, Heidelberg u.a.: Springer, 2001, 251-263.
Wottawa, H.; Thierau, H.: Lehrbuch Evaluation, 2. Auflage. Bern u.a.: Huber, 1998.