Automatisierte, randomisierte Online-Programmierprüfung mit geringem, kurzzeitigem Datenverkehr

Konkret wurde die Methode erstmals im Wintersemester 2020/2021 an der Technischen Hochschule Ostwestfalen-Lippe (TH OWL) im Fachbereich „Elektrotechnik und Technische Informatik“ im Modul „Programmiersprachen 1“ (1. Fachsemester) mit etwa 200 Studierenden angewandt. Im Kurs sollen die Studierenden (innerhalb von vorgesehenen 150 h Arbeitszeit) die Grundlagen der prozeduralen Programmierung anhand der Programmiersprache C erlernen [11, 12]. Dazu gehören beispielsweise Syntax, Semantik, Schlüsselwörter, Anweisungen, Kontrollstrukturen, Standardbibliotheken und so weiter. Durch je 2 Semesterwochenstunden (SWS) Theorie (Vorlesung) und Praxis (Praktikum) verbessern die Studierenden ihre Fach- und Methodenkompetenz [4, 13]. Die zu erreichenden Lernzielniveaustufen sind das Erinnern, Verstehen und Anwenden [14]. Überprüft wird das Wissen üblicherweise mittels einer Klausurleistung, die innerhalb von 90 durchgängigen Minuten auf Papier schriftlich erbracht werden muss. Aufgabentypen sind vielfältig und umfassen das Schreiben von Quelltexten gemäß Anforderungen, Fehlerfinden und Quelltextkorrektur, Wissens- und Verständnisfragen, Vorhersage von Variableninhalten und Programmausgaben und so weiter. Das vollständige Lernsetting des Moduls ist an anderer Stelle publiziert [15]. Im Zuge der Corona-Pandemie waren Prüfungen in Präsenz (Studierende sind währenddessen vor Ort und werden durch Aufsichtspersonal beaufsichtigt) vielerorts in Deutschland aufgrund politischer Bestimmungen und aus Gründen der Gesundheitsprävention nicht mehr möglich. In den Hochschulen wurde entsprechend reagiert und nicht nur digitale Lehrformate, sondern auch digitale Prüfungsformate wurden zur Regel, so auch an der TH OWL. In diesem Kontext entstand die im Folgenden vorgestellte Methode, die eine Alternative zu anderen bereits vorhandenen Online-Prüfungsformaten darstellt.

Der Rahmen des technischen Ablaufs wird über die o. g. Lernplattform ILIAS mit dem Modul „EAssessment“ vermittelt [9]. Studierende melden sich frühzeitig (optimal mehrere Wochen vorher) in einem extra für die Prüfung erstellten Kurs mit ihren digitalen Hochschulprofilen an und werden, sofern diese regulär über das Prüfungsamt für die Prüfung angemeldet sind, dafür manuell freigeschaltet. Zur Startzeit der Prüfung erhalten die Teilnehmer Zugriff auf die 2 Prüfungsdateien (Prüfungsskript sowie Fragenkatalog) durch Herunterladen (eine Zusammenstellung über alle für die Prüfung notwendigen Dateien vermitteln Tab. 2 und Tab. 3 ganz unten). Das Prüfungsskript ist ein zu kompilierender Quelltext in der Programmiersprache C, durch welchen das Prüfungsprogramm generiert wird. Die Bearbeitungszeit einer Prüfung beträgt üblicherweise 90 min zuzüglich einer digitalen Pufferzeit (üblich sind 30 min im Fachbereich, was für die vorgestellte Prüfungsform recht großzügig ist) für Herunterladen und Hochladen. Vor Ablauf dieser Zeiten müssen die Teilnehmer ihre 2 Abgabedateien (Antwortdatei und Klartextdatei) hochgeladen haben, ansonsten gilt die Prüfung als „nicht bestanden“ bzw. „nicht erschienen“. Der Dateiname der Letzteren beiden besteht aus der jeweiligen 8‑stelligen Matrikelnummer (MNR) des Studenten (Dateiname „<Matrikelnummer>.sav“, z. B. „12345678.sav“).

Der Prüfungsablauf gestaltet sich für die Studierenden wie folgt:

Das Prüfungsskript (Dateiname „pruefung.c“) besteht aus einem Quelltext in der Programmiersprache C, welcher von den Studierenden lokal mit Hilfe weniger Kommandos kompiliert werden muss. Die Wahl der Entwicklungsumgebung ist dabei frei, empfohlen wird die Linux-Emulationsumgebung und Konsolenanwendung Cygwin [16], inklusive des GCC-Compilers [17] mit C11-Standard [11], gegebenenfalls in Verbindung mit NetBeans [18], welches auch in den Praktika Anwendung findet. Das Kompilieren und Ausführen eines C‑Skripts ist somit auch eine notwendige Prüfungsleistung, was in den Praktika vielfach durchgeführt wurde. Die Anzeige des Eingangsbildschirms (Abb. 1) als auch des zentralen Auswahlmenüs (Abb. 2) während der Prüfung sind dargestellt.

Über den Buchstaben „Y“ kann vom Prüfungsteilnehmer eine Aufgabe zur Bearbeitung ausgewählt werden. 2 Beispielaufgaben sind in den Abb. 3 („Freitext“) und Abb. 4 („Sortierung“) gezeigt. Jede Aufgabe gehört einem bestimmten Aufgabentyp an, der in Tab. 1 dargestellt ist. Alle Aufgabentypen bieten die Möglichkeit, neben automatisierter Vergabe der vollen Punktzahl auch Teilpunkte für teilweise korrekte Antworten zu vergeben.

Da C eine plattformabhängige Sprache ist, wurden vorab Vorkehrungen getroffen, dass das Prüfungsskript möglichst von allen Prüfungsteilnehmern (mit ihren unterschiedlichen Systemplattformen) eingesetzt werden kann:

Der Fragenkatalog (Dateiname „pruefung.bib“) enthält Informationen zur Prüfung sowie alle Prüfungsfragen (hier auf maximal 200 Fragen limitiert). Dieser wurde vorab durch ein Verwaltungsskript (Dateiname „verwalter.c“) aus einer Anzahl von Prüfungsaufgaben (je 1 Datei je Aufgabe) zusammengestellt, welche mittels eines in Delphi [19] programmierten Aufgabeneditors mit grafischer Oberfläche erstellt wurden (Abb. 5). Der nur maschinenlesbare Fragenkatalog (exklusive der korrekten Antworten) wird den Prüfungsteilnehmern zu Prüfungsbeginn zur Verfügung gestellt. Über einen Algorithmus wählt das Prüfungsskript automatisiert und randomisiert, abhängig von der Matrikelnummer des Teilnehmers (als „seed“ für den Zufallszahlengenerator), eine Teilmenge der Prüfungsfragen aus und mischt diese durch. Die Anzahl der Fragen kann je Teilnehmer variieren, ist aber durch eine einheitliche, zuvor eingestellte Maximalpunktzahl limitiert. Da Schwierigkeitsgrad und Zeitaufwand für eine Aufgabe durch die dabei erreichbare Punktzahl bemessen sind, erhalten alle Prüfungsteilnehmer durch die Vorgabe einer einheitlichen Maximalpunktzahl Prüfungen mit äquivalentem Anforderungsniveau. Sobald die Prüfung beendet ist (bereits in der Folgeminute), können alle Abgabedateien der Teilnehmer gebündelt aus der ILIAS-Plattform heruntergeladen werden. Das Verwaltungsskript kann diese stapelweise automatisiert einlesen, direkt mittels eines „Vollfragenkatalogs“ korrigieren und einen Notenspiegel der Prüfung erstellen. Der Vollfragenkatalog enthält alle Prüfungsaufgaben (wie der Fragenkatalog), zuzüglich verschiedener korrekter Antwortmöglichkeiten je Aufgabe sowie Punktevergabeschlüssel (auch Teilpunktzahlen sind möglich), und wird vorab ebenso mit Hilfe des Verwaltungsskripts generiert.

Der Prüfungsablauf gestaltet sich für den Prüfer wie folgt:

Nachdem alle Abgabedateien nach der Prüfung vom Prüfer heruntergeladen worden sind, können diese stapelweise korrigiert werden, womit alle Punktzahlen sowie Noten der Teilnehmer direkt ablesbar sind (Abb. 6). Auch die Querschnittsergebnisse für alle Aufgaben sind ebenso verfügbar (Abb. 7). Damit ist je Aufgabenthema der jeweilige Stand des Wissenserwerbs bei den Studierenden durch die vorangegangene Vorlesung während des Semesters transparent sichtbar. Typischerweise sind in den vorgefertigten Aufgaben des Vollfragenkatalogs nicht alle möglichen Antworten berücksichtigt, die Punkte erzielen können. Entsprechend ist eine manuelle Nachkorrektur notwendig. Diese wird dadurch vereinfacht, dass die Antworten aller Teilnehmer aufgabenweise gelistet werden können (Abb. 8). Für einzelne Teilnehmer sind die automatisch ermittelten Noten damit noch anzupassen.

Eine zusammenfassende Darstellung der im Vorfeld programmierten Skripte/Softwares (Tab. 2) und notwendigen Dateien (Tab. 3) ist unten gelistet. Die Planung (Spezifikation) und Umsetzung (Implementierung und Qualitätssicherung) sowie Prüfungsdurchführung geschahen durch den Autor.

Studierende sind sich oftmals der Situation bewusst, dass ihr Erfolg bei Absolvierung einer Prüfung von zu Hause aus (in Einzelfällen auch aus dem Ausland) von einer stabilen und schnellen Internetverbindung abhängt, was nicht immer gegeben ist. Entweder sind Fragebögen im Internet mittels eines Webbrowsers durchzuführen oder zu Prüfungsende sind abfotografierte oder gescannte Schriftstücke mit erheblicher Datengröße (2-stellige Megabyte) hochzuladen, was bei hohen Teilnehmerzahlen bei Prüfungen zu serverseitigen Verzögerungen führt. Die Eintragung oder Abgabe von Antworten kann dadurch verzögert oder sogar verhindert werden. Diese Hürden werden durch die hier vorgestellte Prüfungsform (weitestgehend) entfernt, da lediglich zu Beginn und am Ende der Prüfung kleine Datenmengen (insgesamt weniger als ein halbes Megabyte, Tab. 3) zu übertragen sind. Dadurch wird auch Studierenden mit qualitativ schlechterer Internetverbindung eine Prüfungsteilnahme ermöglicht.

Die vorgestellte Prüfungsform wurde bereits für mehrere Prüfungen angewandt. Typischerweise bekamen die Prüfungsteilnehmer automatisiert um die 30–50 Aufgaben je Prüfung zugewiesen, was bei 90 min Prüfungszeit folglich rund 2–3 min Bearbeitungszeit je Aufgabe ermöglicht. Die Fragenkataloge bestanden aus 70 bis zu 180 Aufgaben, aus denen der Algorithmus ausgewählt hat. Je Aufgabe konnten zwischen 1 und 8 Punkte erreicht werden. Die Maximalpunktzahl betrug üblicherweise 120 oder 140 Punkte. Diese Form der Prüfung wurde nicht nur im Modul „Programmiersprachen 1“ (C-Programmierung) durchgeführt, sondern auch in höheren Semestern und weiteren Modulen („Programmiersprachen 2“ für Java-Programmierung, „Software Lifecycle Management“ sowie „Alltagsphysik“ mit Rechenaufgaben). Das selbstständige Kompilieren und Ausführen des Prüfungsskriptes ist jedes Mal integraler Bestandteil der Prüfung und auch Prüfungsleistung, was für die C‑Programmierung selbstverständlich ist – in anderen Modulen jedoch nicht – und daher frühzeitig bekanntgegeben und durch schriftliche Dokumentationen (siehe oben) unterstützt werden muss. Bei Studierenden höherer Fachsemester ist der Prüfungsdurchlauf in der Regel problemlos, wohingegen Erstsemester oder fachlich schwächere oder unvorbereitete Studierende in Einzelfällen (weniger als 5 %) selbstverschuldete Probleme mit dem Prüfungsskript haben: Entweder haben diese nicht Systemtest oder Testskript laufen lassen oder sind während der Prüfung nervös und scheitern dadurch bereits am Kompilierungsvorgang (Navigieren in den Ordner mittels Konsole schlägt fehl, Kompilierungsbefehl wird im falschen Ordner ausgeführt, Compiler und/oder Cygwin ist nicht installiert, verspätete Abgabe wegen Nutzung der Pufferzeit für das Beantworten von Aufgaben und so weiter). Hierzu wurde während der Prüfung in einem Online-Raum mittels der Software „Adobe Connect“ [20] und Bildschirmfreigabe für diesen ersten Schritt von Aufsichtspersonen rudimentäre Unterstützung gegeben. Da diese Studierenden aber ohnehin in der Regel wenig Lernvorbereitung hatten, erreichten sie die erforderliche Punktzahl zum Bestehen üblicherweise nicht.

Die Verhinderung von Täuschungsversuchen und Betrug bei Online-Prüfungen ist ein Thema für sich [21, 22] und betrifft auch die hier vorgestellte Prüfungsform. Teilnehmer können unerlaubte Hilfsmittel benutzen, wie beispielsweise das Internet, sich von anderen Menschen im selben Raum (zu Hause) beraten lassen oder sogar die gesamte Prüfung von Kontakten irgendwo auf dem Planeten absolvieren lassen. Entsprechende Forschungsaktivitäten versuchen [8, 23], die Möglichkeiten dafür einzudämmen, beispielsweise mittels Kameraüberwachung oder anderer Formen der digitalen Protokollierung. Auch Studierenden sind die Möglichkeiten zur Täuschung bewusst und diese wünschen sich gerechte Prüfungsformate [7]. Für die vorgestellte Methode bewirken die erwähnte Randomisierung sowie Mischung der Prüfungsaufgaben eine Reduktion der Täuschungsmöglichkeiten, da Antworten nicht oder nur nach vorheriger zeitaufwändiger Suche und Prüfung der korrekten Aufgabe von einem Teilnehmer zum anderen übertragen werden können. Zudem wurde den Teilnehmern eine Vielzahl an Hilfsmitteln gestattet (Fachbücher, Vorlesungsunterlagen, Quelltexte, Handnotizen, Übungszettel usw.), ähnlich einer „Open-Book“-Klausur, so dass der Vorteil durch eine unzulässige Erweiterung der Hilfsmittel (z. B. Nutzung des Internets, Kommilitonen fragen) geringer ausfällt. Weiterhin ist die Zeit pro Frage (im Vergleich zu Papierklausuren) durch Erhöhung der Fragenanzahl (jedoch mit kürzeren Antworten je Frage) etwas reduziert worden, damit weniger Zeit für mögliche betrügerische Aktivitäten bleibt. Die Fragenanzahl und damit der Schwierigkeitsgrad der Prüfung ist durch Variation der Maximalpunktzahl auf einfache Weise stufenlos einstellbar.

Der zeitliche Aufwand zur Korrektur der Prüfungen teilt sich auf in die automatisierte und manuelle Korrektur. Erstere ist hier in wenigen Minuten für beliebige Teilnehmerzahlen möglich. Letztere benötigt mehr Zeit und betrifft insbesondere Aufgaben vom Typ „Freitext“ sowie „Rechenergebnis“ (Tab. 1). Bei freier Texteingabe können beispielsweise Rechtschreibfehler auftreten, Eingabe von Sonderzeichen oder überflüssige/fehlende Leerzeichen oder die Eintragung anderer sinngemäß (teilweise) korrekter Antworten. Bei Rechenergebnissen können beispielsweise Vorfaktoren vergessen worden sein, das Ergebnis wurde in einer falschen physikalischen Einheit angegeben oder es wurde ein Ergebnis berechnet, welches die Vergabe von Teilpunkten rechtfertigt. Gemäß Erfahrungswerten dauert die Korrektur einer gesamten digitalen Prüfung für eine Person grob 2 h bei Teilnehmerzahlen um die 100 (Abb. 6). Je Teilnehmer kann man (zusätzlich basierend auf weiteren Prüfungserfahrungen) folglich etwa 1 min Zeitaufwand einrechnen, inklusive einer Sockelzeit um die 20 min. Bei klassischen Präsenzklausuren beträgt der Korrekturaufwand (bei stringent strukturierter Korrekturweise, z. B. aufgabenweise) typischerweise um die 10 min je Teilnehmer, womit dieser durch das hier vorgestellte Format um bis zu 90 % reduziert werden kann. Eine automatisierte Punktevergabe funktioniert i. d. R. nur, sofern Antwortmöglichkeiten, welche Punktevergabe erfordern, vorhersehbar sind. Dies betrifft selbstverständlich korrekte Antworten und darüber hinaus auch die verschiedenen suboptimalen Lösungsmöglichkeiten (Abb. 8). Wie angesprochen ist eine manuelle Nachkorrektur insbesondere für Aufgaben vom Typ „Freitext“ notwendig, weil die automatisierte Korrektur mit der Länge und Komplexität von optimalen Lösungen schwieriger wird. Entsprechend wurden, im Rahmen der hier vorgestellten Prüfungen, Lösungsantworten kurzgehalten sowie die Eingabe von Teilnehmerantworten auf eine Zeile limitiert. Dadurch entsteht der Nachteil, dass keine längeren Texteingaben als Antworten möglich sind, wodurch beispielsweise das Programmieren von (längeren) Quelltexten oder Quelltextbausteinen ausgeschlossen ist (Abb. 3 und Abb. 8). Aufgaben mit Bezug zu mehrzeiligem Quelltext, was in Papierklausuren üblich ist, müssen diesen entsprechend in die Aufgabenstellung mit integriert haben (Abb. 3 und Abb. 4). Trotz dieser Einschränkung sind die Notenspiegel von Papierklausuren sowie dem hier vorgestellten Format, gemäß den gemachten Erfahrungen (siehe oben), durchaus vergleichbar [8]. Für Klausureinsichten wird mittels des Verwaltungsskriptes eine Ausgabedatei je Teilnehmer erzeugt, welche dessen gegebene Antworten sowie die vergebene Punktzahl enthält (wahlweise kann auch eine korrekte Lösung mit integriert werden). Diese können den Teilnehmern entweder gedruckt, am Beamer oder durch digitale Bildschirmfreigabe präsentiert werden.

Zusammengefasst ist die hier vorgestellte digitale fragebogenbasierte Prüfungsform über ein Programmierskript gut durchführbar, wurde in der Praxis demonstriert und ermöglicht Prüfungsdurchführungen auch für Teilnehmer mit langsamen oder instabilen Internetverbindungen. Der Korrekturaufwand kann gegenüber papierbasierten Klausuren erheblich reduziert werden und die Notenspiegel fallen ähnlich zu denen bisheriger papierbasierter Klausuren aus.