Hinweis: Die Inhalte auf dieser Seite wurden teilweise von KI generiert und können Fehler enthalten.
🌍 Global Perspectives Die Session präsentiert einen skalierbaren Ansatz der Universität Toronto, der durch das internationale Netzwerk „The Horde“ weltweit auf verschiedene Fachbereiche und Bildungssysteme transferiert werden soll. Die entwickelte App bietet dabei eine konkrete technische Grundlage für globale Pilotprojekte zur Ablösung traditioneller Multiple-Choice-Tests.
„Before I retire, I wanna be the man that chisels the end date into the tombstone of multiple choice exam.“
„We've fallen into using multiple choice testing because it allows us to do objective measures at scale [...] I am going to argue it is not a very good way to assess learning.“
„If we could get the assessment right, if we could have a much more holistic way of assessing learning, that was sensitive to skills and other things, then that could have a ripple effect where innovation in education is suddenly much more embraced because it's rewarded by the assessment.“
Der Vortrag von Steve Joordens (Universität Toronto) und Brian Harrington thematisiert den Paradigmenwechsel in der Hochschullehre durch generative KI. Traditionelle Multiple-Choice-Tests werden kritisiert, da sie primär oberflächliches Auswendiglernen abfragen und kritische Denkfähigkeiten vernachlässigen. Als Alternative präsentiert Joordens den Einsatz konversationsbasierter KI für mündliche Prüfungen, die ganzheitliches Lernen messen und gleichzeitig skalierbar sind. Der Ansatz zielt darauf ab, Prüfungsangst zu reduzieren und Innovationen in der Lehre zu fördern.
Joordens plädiert für einen schrittweisen Ausstieg aus Multiple-Choice-Prüfungen zugunsten KI-gestützter mündlicher Assessments. Diese ermöglichen eine ganzheitlichere Bewertung von Lernprozessen, fördern Innovationen in der Lehre und reduzieren Prüfungsangst. Um den Ansatz zu etablieren, sind jedoch weitere Forschung und die Zusammenarbeit mit Lehrenden weltweit notwendig. Interessierte können sich dem Netzwerk "The Horde" anschließen oder die entwickelte App (parallels.talklab.ca) testen.
Handlungsempfehlung:
Die KI wird auf die Werke von Experten für faire und gerechte mündliche Lernkontrollen trainiert. Die konkrete Bewertung der Transkripte erfolgt derzeit jedoch noch durch menschliche Tutor:innen und nicht durch die KI.
Da die Interaktion in Echtzeit erfolgt, ist Betrug schwieriger als bei schriftlichen Tests; ein 'Red Team' aus Studierenden konnte bisher keine erfolgreichen Betrugsmethoden finden. Zusätzlich könnte die Aktivierung der Videokamera sicherstellen, dass die Person selbst spricht.
Die Standard-Persönlichkeit des 'hilfreichen Assistenten' wird überschrieben und durch eine spezifische Persona ersetzt, die die Studierenden herausfordert. Über eine App können Lehrende die Aufgabenstellung, die gewünschte Interaktionsweise und spezifische Leitplanken definieren.
Besonders in der Pflegeausbildung (Nursing) wird der Ansatz geschätzt, da Multiple-Choice-Tests dort die Lernziele oft nicht ausreichend erfassen. Grundsätzlich ist das System jedoch fachübergreifend einsetzbar.
Die Integration ist derzeit in Arbeit; das Tool wird LTI-kompatibel entwickelt, um eine Einbindung in verschiedene Lernmanagementsysteme zu ermöglichen.
| Begriff | Definition |
|---|---|
| Conversational AI | KI-Systeme, die in natürlicher Sprache mit Nutzern interagieren, um hier spezifisch mündliche Lernkontrollen im großen Maßstab durchzuführen. |
| Alicia | Eine spezifische KI-Agentin, die als Interviewerin fungiert, um das Verständnis und den Lernprozess von Studierenden oral zu prüfen. |
| Helpful Assistant Mode | Die Standardeinstellung vieler KI-Systeme, die darauf programmiert sind, Nutzer zu bestätigen und zufriedenzustellen, was in Prüfungssituationen deaktiviert werden muss. |
| The Horde | Ein Netzwerk aus Lehrenden, das gemeinsam die Validität, Reliabilität und Fairness von KI-gestützten Assessments erforscht. |
| Red Team | Eine Gruppe von Studierenden, die gezielt versuchen, das KI-Assessment-System zu überlisten oder zu betrügen, um Schwachstellen aufzudecken. |
| Peer Scholar | Eine Technologie zur Unterstützung des Lernprozesses, in die die Transkripte der KI-Interviews zur Bewertung integriert werden. |
| Fear of Negative Evaluation | Die Angst vor einer negativen Bewertung durch andere, welche stark mit sozialer Angst korreliert und durch KI-Übungspartner reduziert werden soll. |
| Parallels | Eine Applikation, mit der Lehrende eigene KI-Agenten mit spezifischen Personas erstellen können, um Lernprozesse zu bewerten. |
mindmap
root)KI-basierte mündliche Lernkontrollen(
["Kritik an Multiple-Choice-Prüfungen"]
["Begrenzte Validität"]
["Lehr-Lern-Problem"]
["Skalierbarkeit vs. Qualität"]
["KI-gestützte mündliche Prüfungen"]
["Technische Umsetzung"]
["Skalierung"]
["Akzeptanz"]
["Anpassung der KI-Persönlichkeit"]
["Standardmodus vs. Prüfungskontext"]
["Beispiel 'Angry Eddie'"]
["Flexible Einsatzszenarien"]
["Reduzierung von Prüfungsangst"]
["Problemdiagnose"]
["Lösungsansatz"]
["Forschungsergebnisse"]
["Forschungsnetzwerk und Validierung"]
["Gemeinschaftlicher Ansatz"]
["Aktueller Stand"]
["Offene Fragen"]