Das Bundesministerium für Bildung und Forschung (BMBF) fördert seit 2021 im Rahmen der Digitalisierungsstrategie der Bildungsregierung die Initiative “digitale Vernetzungsinfrastruktur für die Bildung” mit der übergeordneten Zielsetzung, Lernenden aller Altersstufen zu ermöglichen, „sich unterstützt durch digitale Services durchlässig und medienbruchlos durch die verschiedenen Bildungsangebote und Bildungsformen zu bewegen und diese in digital unterstützten Lernräumen zu nutzen“ (BMBF, 2021). Dafür wurden drei miteinander verknüpfte Teilziele definiert: (1) die Entwicklung digitaler Lehr-/Lernangebote für die Lernenden, (2) der Aufbau von Methodenwissen und digitalen Kompetenzen auf Seiten Lehrender und (3) die Erstellung eines initialen Prototyps für eine föderierte Serviceinfrastruktur. Eine Vielzahl von in dieser Initiative geförderten Forschungs- und Entwicklungsprojekten beschäftigt sich mit den verschiedenen Aspekten und Lösungsansätzen der digitalen Bildung, um diese Ziele in Form integrierbarer Musterbausteine einer „digitalen Vernetzungsinfrastruktur für Bildung“ zu erreichen. Dabei werden alle Bereiche von Bildung – Schule, Hochschule, Berufliche Bildung und Weiterbildung – mit ihren jeweiligen pädagogischen, organisatorischen und technischen Spezifika adressiert und miteinander in Verbindung gesetzt.

Das Vorhaben „BIldungsRaum Digital“ (BIRD) entwickelt den Referenz-Prototypen der Förderlinie und wurde bereits im Vorgriff auf die Ausschreibung gefördert. Hier werden einerseits die Anforderungen an Funktionalität, Interoperabilität, Sicherheit und Transparenz des Plattform-Prototyps durch experimentelle Konzeption, Entwicklung und Erprobung einer beispielhaften Lösung systematisch erhoben und praktisch demonstriert. Dafür wurde ein Bündel aus technischen, organisatorischen und Beratungsmaßnahmen geplant, um die ineinandergreifenden Entwicklungs-, Transfer- und Nutzungskontexte mit passenden Projektaktivitäten zu adressieren und folgende Endergebnisse zum Projektabschluss zu liefern (Knoth et al., 2022):

Andererseits dient der BIRD-Prototyp auch den anderen geförderten Projekten als Verifikationspunkt, um ihre Anschlussfähigkeit an einer digitalen Vernetzungsinfrastruktur für die Bildung nachzuweisen. Die Vision, Grundkonzepte, Ziele und Aktivitäten des BIRD-Projektes sowie Demo-Videos zur prototypischen Umsetzung sind auf der Projekt-Website zu finden.

BIRD ist ein mehrseitiges interdisziplinäres Verbundprojekt koordiniert von der Universität Potsdam und durchgeführt mit zehn Partnereinrichtungen aus unterschiedlichen Tätigkeitsbereichen der Forschung, Bildung, Digitalisierung und Dienstleistungen sowie mehreren Unterauftragnehmern aus den IT- und Beratungsbranchen. Dementsprechend ist die Komplexität der Koordinationsaufgaben mit der dynamischen Projektstruktur und den wechselwirkenden Partneraktivitäten gekoppelt. Während das für Softwareentwicklung eingesetzte agile Projektmanagement die Flexibilität und ständige Verbesserung der technischen Lösungen sicherstellt, bedarf die strategische Projektführung eines umfassenden Erfolgskontrollkonzepts, das den Beitrag einzelner Maßnahmen und Produkte zur Projektvision prüft und belegt und die angestrebte nachhaltige Wirkung internen und externen akademischen, öffentlichen, gemeinnützigen sowie privatwirtschaftlichen Stakeholdern klarstellt.

In den letzten Jahrzehnten bewährte sich Wirkungsorientierte Monitoring und Evaluation (M&E) als ein geeignetes Instrument in verschiedenen Anwendungsfeldern, um den Fortschritt in durchgeführten Entwicklungsmaßnahmen zu verfolgen und die Sichtbarkeit der erreichten Ergebnisse zu steigern (GIZ, 2013). Dabei werden nicht nur die in einem konkreten Projekt bzw. in der Förderlinie insgesamt eingesetzten Ressourcen und die daraus entstandenen Produkte betrachtet, sondern ferner der damit verbundene Nutzen für die Zielgruppen und die dadurch langfristig zu erwartenden Veränderungen (Kusak, 2004).

In der internationalen akademischen Zusammenarbeit hat der Deutsche Akademische Austauschdienst (DAAD) ein integriertes Monitoring- und Evaluationskonzept für die kontinuierliche Verfolgung des Fortschrittes und die objektive Beurteilung der Ergebnisse seiner Förderprogramme und Projekte erarbeitet und eingeführt, das die Wirkungsorientierung sowohl bei der Projektsteuerung (Monitoring) als auch bei der abschließenden Bewertung (Evaluation) sicherstellt. Dabei liegt dem Wirkungsverständnis des DAAD das Wirkungsgefüge zugrunde, das der Veranschaulichung der Wirkungslogik eines Projekts oder Programms dient und die Zusammenhänge zwischen den Beiträgen der Beteiligten, den Aktivitäten, den kurz- und mittelfristig angestrebten Ergebnissen sowie den mittel- und langfristig verfolgten Zielen und Wirkungen schematisch darstellt (DAAD, 2021).

In einem Wirkungsgefüge sind die übergeordneten, politisch relevanten Ziele (Impacts) ausformuliert, zu denen mit den direkten Projekt-/Programmzielen (Outcomes) ein Beitrag geleistet werden soll. Diese Projekt-/Programmziele werden dadurch erreicht, dass die erbrachten Ergebnisse (Outputs) durch die Zielgruppe genutzt werden. Die Ergebnisse wiederum sind Resultat von Aktivitäten und Maßnahmen eines Projektes/Programms, die durch Einsatz von Ressourcen (Inputs) ermöglicht werden. Den im Wirkungsgefüge beschriebenen Aktivitäten, Ergebnissen und Zielen werden Indikatoren zugeordnet, die sie messbar machen. Die Wirklogik der aufeinander bauenden Ebenen im Wirkungsgefüge werden in Abb. 1 grafisch dargestellt.

Abbildung 1: Wirkelemente werden bei der Planung definiert und vereinbart und bei der Implementierung überwacht und beurteilt (DAAD, 2022, S. 4)

Die Vorteile des Wirkungsorientierten Monitorings (WoM) sowie seine Systematik und die Vorgehensweise bei der Antragstellung in DAAD-Förderprogrammen sind in einer Reihe von Erklärvideos vorgestellt.

Als Flaggschiffprojekt in der Förderlinie zur digitalen Vernetzungsinfrastruktur für die Bildung erhebt BIRD den Anspruch, mit Projektabschluss einen hohen Reifegrad zu erlangen, der die Transferierbarkeit des generellen Ansatzes, der entwickelten Maßnahmen und der Entwicklungsergebnisse unterstützt. Hier setzt das Qualitätsmanagement an, das interne und externe Evaluationsmechanismen anwendet, um das Vorhandensein wiederverwendbarer Produkte und ihre Güte zu kontrollieren und dokumentieren. Darüber hinaus wird Monitoring eingesetzt, um die Qualität der Ergebnisse schon bei ihrer Entstehung sicherzustellen und geplante Aktivitäten bei Bedarf in Zielrichtung anzupassen.

Der Aufbau eines wirkungsorientierten Monitoring-Systems ist jedoch mit Anforderungen und Aufgaben verbunden, die bei der Konzeption und Umsetzung zu beachten sind. Diese umfassen, neben fundierten Fachkenntnissen und praktischer Anwendungserfahrung, zusätzliche finanzielle und personelle Ressourcen sowie transparente Kommunikation und aktive Mitwirkung von allen Projektbeteiligten. So empfiehlt die GIZ etwa fünf bis acht Prozent des Gesamtbudgets bei der Projektplanung für Monitoring und Evaluation vorzusehen (GIZ, 2013). Die Definition und Auswahl aussagekräftiger Indikatoren und die Erhebung und Auswertung relevanter Daten sind aufwändige und langwierige Aufgaben, die im Rahmen eines vertretbaren Kosten-Nutzen-Verhältnisses priorisiert und durchgeführt werden sollen (Meyer, 2004). Eine grundlegende Herausförderung ist die Erarbeitung einer Wirkungslogik, idealerweise bereits bei der Beantragung des Vorhabens, deren kausale Beziehungen zwischen Projektaktivitäten und erwünschtem Impact sich meist nur mit komplexen Methoden nachweisen lassen (Kurz & Kubek, 2013).

Bei der Entwicklung des integrierten Qualitätssicherungskonzeptes in BIRD wird auf die mehrjährige Erfahrung des Projektpartners DAAD mit Wirkungsorientierung in eigenen sowie in externen Förderprogrammen und Projekten zurückgegriffen.

Von dem WoM-Einsatz haben die Projektleitung, Partnereinrichtungen, Fördermittelgeber, und weitere Stakeholder folgende Vorteile:

Wie diese Vorteile in der konkreten Anwendung zu Tragen kommen und welche Faktoren bei dem WoM Einsatz eine Rolle spielen können, zeigt der folgende Abschnitt.

Drei Kernelemente des Wirkungsorientierten Monitoring (WoM) sollen bei der Entwicklung des Monitoringkonzeptes definiert und innerhalb des Projektes sowie mit der Programmleitung und der Fördereinrichtung Abgestimmt werden:

Als Beispiel für die Konzeption und Umsetzung des WoM in BIRD werden hier die Wirklogik des Projektbausteins „Digitale Bildungsnachwiese“ und die dafür definierten Wirkelemente exemplarisch vorgeführt. Für die anderen Teile des Projekts bestehen ähnlich aufgebaute Pfade im Gesamt-Wirkungsgefüge des Vorhabens, die hier jedoch aus Platzgründen nicht vollständig dargestellt sind. Als erstes wurde das Wirkungsgefüge wie folgt aufgebaut (s. Abb. 2):

Abbildung 2: Wirkungsstrang aus dem BIRD-Wirkungsgefüge für den Projektbaustein „Digitale Bildungsnachweise“

BIRD zielt langfristig auf „einen Beitrag zur digitalen Transformation in Begegnung dem Strukturwandel im Bildungssystem“ u.a. durch digitale Unterstützung nutzerzentrierter Entwicklung von Bildungsbiografien und sichere vertrauenswürdige Vernetzbarkeit verschiedener digitalen Services (Impact). Das benötigt sichere Dokumentation individueller Lernfortschritte und deren Verknüpfung mit der digitalen Identität der Lernenden sowie umfassende empirische Verifikation eines föderierten Bildungs-Ökosystems (Outcome). Digitale Bildungsnachweise sollen dafür als innovative standardisierte und integrierbare Lösung zur Verfügung stehen (Output). Agile Softwareentwicklung sowie deren technische Dokumentation, Kooperationsvereinbarungen, Integration, Erprobung und Inbetriebnahme werden in terminierten Aufgaben realisiert (Aktivitäten). Aus Fördermitteln finanziertes Projektpersonal sowie weitere Kapazitäten der Partnereinrichtungen werden eingesetzt und Expertisen von externen Akteuren und Dienstleistern einbezogen (Input).

Darauffolgend wurden Indikatoren für die Bemessung der einzelnen Wirkelemente definiert. Diese umfassen qualitative Indikatoren (wie z.B. Produktfunktionen, Standardisierung, Integrierbarkeit, Sicherheit, Dokumentation…) und quantitative Indikatoren (wie z.B. abgebildete Prozesse, angebundene Einrichtungen, ausgestellte Zertifikate, Fehlerquote…).

Um diese Indikatoren zu messen, wurden verschiedene Datenquellen und Erhebungsinstrumente identifiziert und verwendet wie u.a. regelmäßige Product-Owner Meetings, Dokumentation der Softwareentwicklung, Workshops mit Kooperationspartnern, Befragung der nutzenden Einrichtungen und Personen sowie Berichte an das Projektbüro und die Fördereinrichtung. Qualitative und quantitative Daten (wie z.B. Meetings-Protokolle, Produktdokumentationen, Stakeholder-Kommunikation, Testergebnisse, Statistiken…) werden im BIRD-Wissensmanagementsystem (Wiki) aggregiert und aufbereitet, um die Definition und Bemessung der Indikatoren mit den entsprechenden Teams abzusprechen und im gesamten Projekt zu kommunizieren.

Der Projektbaustein „Digitale Bildungsnachweise“ wurde im März 2023 nach erfolgreicher Pilotierung abgeschlossen (Knoth et al., 2023), der nachhaltige Beitrag seiner F&E-Maßnahmen (Aktivitäten) und der daraus entstanden Produkte und Netzwerke (Outputs) zur Schaffung unmittelbaren Mehrwert für die Nutzergruppen (Outcomes) und die Erreichung der langfristigen fördernden Wirkung in der digitalen Bildung (Impact) wurden durch den Einsatz von WoM gesichert und belegt. Dieser erforderte die bewusste Entscheidung der Projektleitung, aktive Unterstützung der Projektbeteiligten, die Bereitstellung von finanziellen und personellen Ressourcen für die WoM-Aufgaben, zusätzliche reflektierende Dokumentation und Kommunikation über technische Entwicklungen hinaus, stärkere Einbindung interner und externer Stakeholder in der Entscheidungsfindung, Transparenz und Lernbereitschaft für effektiven Erfahrungsaustausch sowie durchgehende enge Abstimmung, um das „Gesamtbild“ im Augen zu behalten. Die weiteren F&E-Pfade im Projekt, die teils ebenfalls erfolgreich abgeschlossen sind und teils noch weiter verfolgt werden, unterliegen ähnlichen Steuerungsverfahren wie es hier beispielhaft skizziert wurde.

Aus den Erfahrungen mit der Nutzung von WoM als Instrument zur Qualitätssicherung im BIRD-Projekt konnten drei grundlegende Einsatzzwecke abgeleitet werden, die von dieser Methodik profitieren.

Bereits während der Beantragung eines Förderprojekts erlaubt es die Erstellung eines Wirkungsgefüges, in systematischer und zugleich sehr platzsparender Form die in der Ausschreibung genannten Ziele auf die im Antrag vorgeschlagene Struktur von Maßnahmen und Akteuren abzubilden. Dies entspricht dem vom rechts nach links gehenden Pfeil „Planung“ in Abb. 1. Der notwendige Diskussionsprozess bei der Erstellung eines Wirkungsgefüges unterstützt die Bildung eines gemeinsamen, vertieften Verständnisses im Projektkonsortium. Zugleich erleichtert eine solche Aufstellung die Beurteilung des Beitrags des beantragten Vorhabens zur Erreichung der Ziele der Förderlinie im Begutachtungs- und Auswahlverfahren.

In BIRD wurde beispielsweise bei der Beantragung einer Verlängerung der Projektlaufzeit der Schwerpunkt in der beantragten zweiten Phase auf die Erweiterung und Vertiefung der Aktivitäten und Maßnahmen gelegt, die in der ersten Phase hochqualitative Outputs ergaben und maßgeblich zur Erreichung der angestrebten Outcomes beitrugen. Das dafür zugrunde gelegte Wirkungsgefüge erleichterte die Verständigung in dem Projektkonsortium und die Akquise und Einarbeitung weiterer Verbundmitglieder und stellte die Notwendigkeit und Angemessenheit der beantragten Verlängerung für den Fördermittelgeber nachvollziehbar dar.

Während der Projektlaufzeit profitieren Entscheidungsprozesse von einer Orientierung am erstellten Wirkungsgefüge, indem geplante Aktivitäten, Maßnahmen oder ganze Arbeitspakete priorisiert, angepasst oder komplett neu ausgerichtet werden können. Beim Reporting (sowohl in der Runde der Product-Owner als auch in einzelnen Arbeitspaketen) kann dadurch der Fokus von einzelnen Aktivitäten hin zu deren Beitrag zum Gesamtbild verschoben werden. Das erleichtert zugleich die Abstimmung zum weiteren Vorgehen. Getroffene Entscheidungen können sodann verständlich in den Teams kommuniziert werden. Eine Voraussetzung dafür ist, dass allen Projektakteuren diejenigen Pfade im Wirkungsgefüge des Projektes bewusst sind, für die sie Verantwortung tragen bzw. zu denen sie beitragen. Auf diese Weise wird eine kontinuierliche Verzahnung der inhaltlichen Projektarbeit mit den Maßnahmen zur Qualitätssicherung in Form einer beständigen Rückkopplung zwischen planenden und implementierenden Schritten erreicht.

Ein Beispiel für den WoM-Einfluss auf Entscheidungsprozesse in BIRD ist die Entscheidung zur Zusammenlegung von zwei Arbeitspakete mit pädagogischem und didaktischem Fokus, deren Output zur Erreichung eines gemeinsamen Outcomes mit einem technischen Arbeitspaket beiträgt. Dies erforderte strukturelle und personelle Veränderungen, fördert aber die Synergien und Zusammenarbeit zwischen den interdisziplinären Teams. Die Orientierung am Wirkungsgefüge erleichterte die Entscheidungsfindung und diente dem Verständnis in den verschiedenen Arbeitspaketen und bei den Konsortialmitgliedern. Ein weiteres Beispiel ist die Entscheidung zur Einschränkung der Aktivitäten und Maßnahmen in einem Arbeitspaket, das ursprünglich für umfangreiche Beratungsangebote für verschiedene Anspruchsgruppen geplant war. In Auswertung der Erkenntnisse aus Bedarfsanalysen und ersten Proben anhand der Wirkungslogik des Arbeitspakets stellte sich aber heraus, dass die technische Beratung zur Implementierung und Integration der Pilotprodukte die wesentliche Rolle bei der Erreichung des angestrebten Outcomes spielt und weitere Beratungsangebote wie etwa zu Mediendidaktik oder Medienkompetenz im Rahmen des BIRD-Projektes nicht mehr benötigt wurden, sodass die vorgesehenen Ressourcen anderweitig eingesetzt werden konnten. Auch hier hat WoM durch konkretes Handeln mit ganzheitlichem Blick zu einer schnellen und transparenten Entscheidungsfindung geführt.

Auch bei der Berichtslegung gegenüber der Mittelgeber bzw. Projektträger kommen das Wirkungsgefüge und die Indikatoren unterstützend zum Einsatz. Alle durchgeführten Aktivitäten einschließlich des dafür nötigen Ressourcen-Einsatzes werden der damit erreichten Wirkungen in systematischer und nachvollziehbarer Form gegenübergestellt. Dies entspricht dem von links nach rechts gehenden Pfeil „Implementierung“ in Abb. 1. Für die Prüfung der ordnungsgemäßen Mittelverwendung wird dank WoM eine besondere Transparenz aus inhaltlicher Sicht erreicht.