Digitale Feedback-Instrumente helfen beim Lernen
An der Fakultät Elektrotechnik und Informatik der Hochschule Coburg hat sich Prof. Volkhard Pfeiffer damit beschäftigt, wie digital kompetenzorientiert prüfen mit Moodle-Test und Coderunner funktioniert. Pfeiffer lehrt Informatik, ist Studiendekan und Studiengangsleiter und hat seine Erkenntnisse hier zusammengefasst.
Ein Studium der Informatik ist grundsätzlich kompetenzorientiert – auch im Teilgebiet Programmierung, bei dem es darum geht, Programmiersprachen-Konzepte zu beherrschen und auf Probleme anzuwenden. Gleichzeitig müssen Informatikerinnen und Informatiker persönlich-soziale Kompetenzen besitzen, um zum Beispiel Lösungen in Teams zu entwickeln. Diese Kompetenzen werden auf unterschiedlichen Taxonomiestufen verortet. Eine gute Prüfung misst daher Kompetenzen auf mehreren Taxonomiestufen. Für diese Aufgaben werden Moodle-Fragetypen verwendet und ein Moodle-Test mit Coderunner wird durchgeführt: Statt den Programmcode bei einer Klausur auf Papier zu schreiben, kann Coderunner den Programmcode, den die Prüflinge als Lösung auf eine Programmieraufgabe bearbeiten, direkt compilieren, ausführen und testen. Diese Prüfungsart prüft daher deutlich realistischer die geforderten Kompetenzen ab als eine Klausur auf Papier und spiegelt auch die Vorgehensweise wider, die Informatiker zur Lösung von Programmier-Problemstellungen methodisch anwenden. Auf der Grundlage aller Test- und Antwortergebnisse wird die Prüfung weitestgehend automatisch bewertet. Durch die hinterlegten Testfälle erhalten Studierende direktes Feedback, ob ihre Antwort und Programmierlösung korrekt sind. Außerdem bildet dieses Setting die Grundlage für eine automatisierte Bewertung der Prüfung.
Vorbereitung zur digitalen Prüfung
Um die verschiedenen Taxonomiestufen zu bedienen, wurden verschiedene Fragetypen wie Multiple Choice, Zuordnung, Coderunner festgelegt. Eine solche digitale Prüfung setzt technische und organisatorische Bedingungen voraus: Einerseits muss die IT-Infrastruktur zuverlässig, leistungsfähig und verfügbar sein (zum Beispiel stabiles WLAN); andererseits sind große Räume gerade für große Kohorten mit entsprechender Ausstattung wie ausreichend viele Steckdosen notwendig. Für Studierende, die nicht über einen funktionsfähigen Laptop verfügen, wird ein PC zur Verfügung gestellt. Außerdem ist eine digitale Prüfung in den jeweiligen Hochschul-IT-Prüfungsprozess zu integrieren: nur zur Prüfung angemeldete Teilnehmende im Prüfungskurs zulässig, Durchführung auf separatem Prüfungs-Server, Notenmeldung zum Hochschul-IT-System und digitale Archivierung der Prüfung.
Umsetzung der digitalen Prüfung
Um Täuschungsversuche zu verhindern, wird die Prüfung nur mit Safe Exam Browser durchgeführt, der den Laptop nach außen und innen absichert. Zusätzlich ermöglicht Safe Exam die gezielte Konfiguration, welche Hilfsmittel (zum Beispiel spezielle URLs) und / oder Drittapplikationen während der Prüfung erlaubt sind. Übliche Programmier-Entwicklungsumgebungen (wie Eclipse Foundation, o.D.) werden in den Übungen verwendet, sind aber während der Prüfung nicht zulässig, da diese immer einen Internetzugriff ermöglichen. Eine automatische Bewertung der Aufgabe ist beispielsweise bei Multiple-Choice- und Zuordnung-Fragetypen und unter Berücksichtigung von Ratekorrekturfaktoren kanonisch. Bei Coderunner-Aufgaben ist die zentrale Idee, Punkte für jeden erfolgreichen Testfall zu vergeben. Dabei sind nicht alle Testfälle für den Prüfling sichtbar, um zu verhindern, dass die Lösung nur die erwarteten Test-Resultate liefert, aber die eigentliche Aufgabe nicht löst. Allerdings ermöglicht Coderunner nur das Bewerten einer funktionalen Korrektheit. Das heißt, wenn das Prüfen eines Lernziels eine spezifische Lösung erfordert, kann dies nicht automatisiert bewertet werden, sondern muss manuell nachkorrigiert werden.
Erkenntnisse und Ausblick
Eine notwendige Voraussetzung für Lernziele höherer Taxonomiestufen ist das Erlernen der Syntax einer Programmiersprache. Fehler in der Syntax der Lösung führen dazu, dass keine Testfälle ausgeführt werden können und daher die Aufgabe mit null Punkten bewertet wird. Dabei wurde deutlich, dass bei komplexeren Aufgabenstellungen unter Prüfungsbedingungen und Zeitdruck die Anzahl der Syntaxfehler deutlich zunimmt und die entworfene Lösung im Falle einer Papierbewertung zumindest noch Teilpunkte erzielt hätte. Auch aus diesem Grunde lässt sich die digitale Prüfung nicht komplett automatisiert bewerten, sondern erfordert einzelne manuelle Nachkorrekturen. Außerdem müssen für eine automatisierte Prüfungsbewertung die gleichen Gütekriterien zugrunde gelegt werden wie bei einer Papierprüfung. Daher ergeben sich weitere Konsequenzen: Aufgaben in einer Papierklausur mit aufeinander aufbauenden Teilaufgaben müssen bei einer digitalen Prüfung für eine automatisierte Bewertung in Einzelaufgaben so zerlegt werden, dass Studierende zumindest für die Teillösungen auch noch Punkte erzielen können. Die Prüfung unter den angegebenen technischen und didaktischen Rahmenbedingungen haben einen deutlich höheren organisatorischen Aufwand, da die Prüflinge auf verschiedene Räume aufgeteilt werden müssen. Prüfungsergebnisse sind vergleichbar zu den früheren Papierklausuren.
Zusammenfassend hat sich der Umstieg von einer Papierklausur zu einer digitalen Prüfung unter den genannten Randbedingungen bewährt. Direkte Feedbackinstrumente helfen Studierenden beim Lernen, obwohl die erfassten Metriken (Durchschnittsnote, Durchfallquote) dies aktuell nicht messbar belegen können. Allerdings ist das Aufwand-Nutzen-Verhältnis für einen Umstieg von Papier auf digital nur bei größeren Kohorten zu rechtfertigen. Auch in Zukunft werden die Kompetenzen dieser Module durch eine digitale Prüfung abgeprüft und die Prüfungsaufgaben im Sinne des Messens von Lernzielen und einer verbesserten automatisierten Bewertung weiterentwickelt.
Der Text ist erschienen in DUZ Wissenschaft & Management, Ausgabe 02.2024, www.duz.de.