Hintergrund
Podcasts sind als niedrigschwelliges Tool weit verbreitet, allerdings ist ihre Nutzung oft passiv und, je nach Kontext und Ausprägung von Selbstregulationsfähigkeiten der Rezipienten, gibt es beim Ansehen ein substanzielles Ablenkungspotenzial. Die blosse Verfügbarkeit von Podcasts hat deshalb per se oft keinen nennenswerten Effekt auf relevante Learning Outcomes.
Self-Assessments, etwa in Form von Übungsaufgaben oder «Mock Exams», wiederum werden erst wirksam, wenn sie a) nah am Lernziel der Lehrveranstaltung sowie dem verfügbaren Lernstoff (z.B., Podcasts, Vorlesungs-Slides) erstellt werden, und b) regelmäßig genutzt werden. Versuche, Podcasts mit Self-Assessments zu verbinden, gibt es an der Universität Bern bislang nicht.
Ziel
Das Ziel des Projektes besteht darin, mittels KI aus Podcasts und weiteren Vorlesungsunterlagen Self-Assessment Aufgaben zu generieren und deren Auswirkung auf die Learning Outcomes von Studierenden zu evaluieren. Die Self-Assessment Aufgaben werden dabei nicht nur den Studierenden zugänglich gemacht, sondern von Expertinnen und Experten auf Richtigkeit, Effektivität und Effizienz geprüft. Damit wird sichergestellt, dass sich die Aufgaben auf einem angemessenen Leistungsniveau bewegen. Schlussendlich sollen solche KI generierten Self-Assessments fächerübergreifend verwendet werden und allenfalls, mit kleineren Anpassungen, an der ganzen Universität Bern von Nutzen sein.
Vorgehen
Podcasts aus Veranstaltungen des gesamten Spektrums der Universität werden mittels Sprachsoftware automatisch transkribiert, um zusammen mit anderen Dokumenten (z.B. Slidesätze, Prüfungsliteratur) als Grundlage für die Lern- und Self-Assessment Materialien zu dienen.
In einem zweiten Schritt werden die vom LLM entwickelten Fragen den Dozierenden zur Begutachtung vorgelegt. Ihre Expertise ist dabei gefragt, um zu beurteilen, ob die Fragen das erwartete Wissen aus der Vorlesung adäquat abdecken und überprüfen.
In einem dritten Schritt wird die Effizienz und die Effektivität der LLM-generierten Aufgaben durch die Bearbeitung von Studierenden empirisch evaluiert.
Dabei sollen folgenden Fragen beantwortet werden: Welche Kombination an digitalen Lehr- und Lernmethoden geht mit besseren Noten, grösserer Zufriedenheit, besseren Evaluationen und höherem Wissen einher? Zeigt die Anwendung von digitale(n) Methoden langanhaltende positive Wirkung in einer normalen Lernumgebung?
Die gewonnenen Erkenntnisse und die entwickelten Werkzeuge werden auf breiter Ebene der gesamten Universität Bern zur Verfügung gestellt.
Laufzeit
Der Projektstart von PREPARE ist im Mai 2024 und die Dauer des Projekts beträgt 3 Jahre.
Partner
Dieses mehrjährige Projekt wird durch die DigiK der Universität Bern finanziert. Es wird in Zusammenarbeit mit Prof. Dr. Malte Elson und Dr. Jamie Cummins durchgeführt.
Kontakt
Prof. Dr. Malte Elson
Prof. Dr. Michael Schulte-Mecklenbeck
