Sicheres Prüfen ist möglich

Im Frühlingssemester 2023 führten Jörg Berkel, Stephan Haller und Michel Krebs in ihren Modulen „Software Engineering“ und „Datenmanagement & Datenanalyse“ die schriftliche Prüfung mit der sicheren Umgebung „Lernstick EXAM“ durch. Diese erfolgreichen Pilotdurchführungen waren eine Vorbereitung für den Aufbau eines erweiterten Supportangebots zu digitalen Prüfungen durch das „Digital Office“ am Departement Wirtschaft, welches auch BFH-weit aufgenommen wird. Künftig bietet die Virtuelle Akademie Ressourcen und Kurse zum sicheren E-Assessment für Lehrende an. Im folgenden Blogbeitrag erzählen die Dozierenden, wie aus dem Lernstick-Pilot ein Erfolg wurde.

Realitätsnäher hätte das Prüfungssetting im Modul „Datenmanagement & Datenanalyse“ bislang nicht sein können: Die Studierenden konnten auf ihrem eigenen Gerät alle Unterlagen digital mitführen und hatten die notwendige Software wie R Studio darauf installiert. Auch Internetressourcen waren frei zugänglich. Ein solches Setting ist sinnvoll, weil es der Arbeit in der Praxis entspricht und so zum Beispiel die genaue Syntax von SQL nachgeschaut werden kann. Dieses umfassende Open-Book-Konzept ermöglichte es, die Kompetenzen bezüglich Datenbanken und Datenanalyse angemessen zu überprüfen.

Was nun aber, wenn plötzlich ChatGPT die passenden Antworten liefert? Aufgrund des offenen Formates ist dies sehr gut denkbar. Weil die Prüfung aber nicht messen sollte, wie gut die Studierenden Prompts schreiben können, stehen Dozierende vor neuen Herausforderungen: Muss der Zugang zu Internetressourcen doch gekappt werden und nur das Mitbringen von Unterlagen in Papierform an die Prüfung zugelassen sein? Diese Frage stellten sich auch Jörg Berkel, Stephan Haller und Michel Krebs. Als Antwort stand für sie aber aus Gründen der Zeitmässigkeit ein klares Nein fest, abgesehen auch vom ökologischen Unsinn wieder Papierberge anwachsen zu lassen. Mit dem Einsatz des Lernstick EXAM fanden sie eine elegante Lösung, die den Zugriff auf gewisse Internetressourcen verunmöglicht, daneben aber den Studierenden weiterhin die Arbeit in der gewohnten Softwareumgebung erlaubt.

Vertrauen bilden als Schlüssel – gute Vorbereitung ist essenziell

Prüfungen sind bei den Studierenden mit Stress verbunden. Kommt ein aufwändiges technisches Setting dazu, wird die Situation noch angespannter. Neben den für die Prüfung erforderlichen fachlichen Kompetenzen benötigen sie zusätzlich die entsprechenden Skills, um mit der Prüfungsumgebung klarzukommen und gleichzeitig schwebt immer eine dunkle Wolke potenzieller Technikprobleme über ihren Köpfen. Technische Schwierigkeiten lassen sich zwar nie ausschliessen, mit guter Vorbereitung kann aber vorbeugend entgegengetreten werden. Im vorliegenden Fall sorgte zudem der zeitlich spät gefällte Entscheid für dieses neuartige Prüfungssetting verständlicherweise für Unruhe und Unsicherheiten bei den Studierenden. Um die Bedenken zu mindern, erhielten die Studierenden sowohl während des Unterrichtes als auch an einem zusätzlichen Termin die Möglichkeit, die Anwendung des Lernsticks ausgiebig zu testen. Dabei konnten sie sich einerseits an den Startvorgang und die Linux-Oberfläche gewöhnen und andererseits bestand die Möglichkeit, inkompatible Geräte, Touchpads oder WLAN-Module zu identifizieren.

Vor Prüfungsbeginn wurde eine zusätzliche Viertelstunde eingeplant, damit Studierende das vorbereitete Linux Betriebssystem inkl. abgesicherter Umgebung von den ausgeteilten USB-Sticks starten sowie sich auf Moodle authentifizieren konnten. Bei Problemen durch inkompatible Hardware wurde auf Ersatz-Laptops gewechselt.

Erste Erfahrungen überwiegend positiv   

Die Pilotdurchführungen mit dem Lernstick haben gezeigt, dass dessen Einsatz in Prüfungssituationen gut möglich ist. Es sind nur vereinzelt Probleme aufgetreten. Gleichzeitig konnten im Hinblick auf künftige Einsätze wertvolle Erfahrungen gemacht werden. So muss beispielsweise bei der Sicherstellung einer genügend starken WLAN-Abdeckung immer auch daran gedacht werden, dass nicht nur die für die Prüfung eingesetzten Notebooks ‘versorgt’ werden müssen, sondern jede studierende Person immer auch ein eigenes ressourcenzehrendes Mobilgerät dabeihat. Es gilt, vorausschauend die richtigen Regeln und Handhabung festzusetzen und zu kommunizieren.

Die drei Pioniere sind überzeugt: je mehr Erfahrung mit dem Lernstick, desto geringer werden die Probleme – und zwar bei allen Beteiligten, bei Dozierenden, der Prüfungsaufsicht und bei Studierenden. Sie werden den Lernstick auch in Zukunft in ihren Modulen einsetzen.

Wie weiter?

Neben den geschilderten zwei Modulen am Departement Wirtschaft kommt die Lernstick-Umgebung an der BFH auch andernorts zum Einsatz. So beispielsweise im Fachbereich Holz am Departement AHB. Eine spannende Erweiterung verspricht der Einsatz des Lernsticks im Zusammenhang mit der CAMPLA-Umgebung. Durch eine Cloud-Lösung wird der administrative Teil der Prüfung erleichtert und die Prüfung kann auf virtuellen Windows-Desktops stattfinden. Im laufenden PgB-8-Projekt von Swissuniversities «E-Assessment und Distance-Testing» wird diese Lösung zur Einsatzreife gebracht. Aktuell laufen Piloten an der BFH und bei der Kooperationspartnerin FHNW.

Das angesprochene PgB-8-Projekt fördert daneben auch den Einsatz des Safe Exam Browser Servers. Bei dieser Technologie handelt es sich um eine Erweiterung des mittlerweile weitverbreiteten Prüfungsbrowsers, der an der BFH vielfach im Zusammenhang mit Moodle-Prüfungen eingesetzt wird.

Die Virtuelle Akademie trägt die Erfahrungen mit dem Einsatz der verschiedenen sicheren Prüfungsumgebungen zusammen und wird Guidelines auf der Knowledge Base zur Verfügung stellen. Im Weiterbildungsprogramm des nächsten Halbjahres 2024 ist eine Weiterbildungsveranstaltung zum Thema «Sicheres Prüfen» geplant. Anschliessende Ateliers bieten Gelegenheit an den eigenen digitalen Prüfungssettings zu arbeiten.

Weiterführende Informationen

Auf der Website der Virtuellen Akademie befindet sich die Knowledge-Base unter anderem mit Unterlagen zum sicheren Prüfen sowie das aktuelle Kursprogramm.

Der Lernstick wird am Digital Sustainability Lab entwickelt und steht als OpenSource allen Interessierten zur Nutzung zur Verfügung. Weitere Informationen unter: www.lernstick.ch

Die Verwendung des Lernsticks in der CAMPLA-Umgebung wird im folgenden Blog beschrieben: https://hochschulforumdigitalisierung.de/de/blog/campla-lernstick

Zum Entwicklungsstand des Safe Exam Browser Servers fand im Februar eine Impulswerkstatt statt: https://bernerfachhochschule.sharepoint.com/sites/mybfh-BFH-News-de/SitePages/Nachrichten-Safe-Exam-Browser-Input.aspx

 

Das Titelfoto ist lizenziert unter CC BY SA 4.0 International, BFH Virtuelle Akademie 2023