Digital Learning Campus

Wortwolke

Zusammenfassung

Kontext

Die Universität für Technologie Nürnberg (UTN) setzt auf einen innovativen Evaluationsansatz, der über die klassische Messung studentischer Zufriedenheit hinausgeht. Ziel ist es, den tatsächlichen Lernerfolg von Lehrveranstaltungen systematisch zu erfassen und mit der Zufriedenheit der Studierenden zu verknüpfen. Der Vortrag stellt das Modell der Learning Experience Efficacy Zone (LEEZ) vor, das beide Perspektiven integriert und als Grundlage für evidenzbasierte Qualitätsentwicklung dient.

Kernaussagen

1. Zufriedenheit ≠ Lernerfolg

Traditionelle Lehrevaluationen messen primär subjektive Zufriedenheit (z. B. „Die Lehrperson war begeisternd“), nicht aber den objektiven Wissenszuwachs.
Problem: Hohe Zufriedenheit kann mit geringem Lernerfolg einhergehen – und umgekehrt (Studie von Freeman et al., 2014).
Lösung: Kombination aus Zufriedenheitsmessung (Appeal), Lernerfolgsmessung (Effectiveness) und Arbeitsaufwand (Efficiency).

2. Dreidimensionaler Evaluationsansatz

Die UTN evaluiert Lehrveranstaltungen entlang von drei Dimensionen:

Zufriedenheit (Appeal): Standardisierte Befragungen (z. B. „Overall, I’m satisfied with the quality of the course“) mit Likert-Skala (1–5).
- Beispiel: In einem Masterkurs sank die Zufriedenheit von 4,4 auf 3,3 zwischen zwei Kohorten.
Lernerfolg (Effectiveness): Pre- und Post-Tests mit Wissensabfragen (keine Kompetenzmessung).
- Methode: Eliminierung von Zufallstreffern durch Zusatzfrage („Wusste ich die Antwort oder habe ich geraten?“).
- Beispiel: Durchschnittlicher Lernzuwachs von über 30 % in beiden Kohorten, trotz sinkender Zufriedenheit.
Effizienz (Efficiency): Messung des Arbeitsaufwands (z. B. „War der Zeitaufwand angemessen?“).
- Herausforderung: Skalierbarkeit – aktuell nur in ausgewählten Kursen umsetzbar.

3. Learning Experience Design als theoretische Grundlage

Das Modell analysiert Lehrveranstaltungen anhand von drei Ebenen:

Soziale Dimension: Kommunikation zwischen Lehrenden und Lernenden, Zusammenarbeit, soziale Präsenz.
Technologische Dimension: Nutzerfreundlichkeit digitaler Tools, Interaktionsmöglichkeiten.
Pädagogische/Didaktische Dimension: Verständlichkeit der Lernziele, Active-Learning-Elemente, Assessment-Methoden.
Instrument: 14-Item-Fragebogen (Social-Technical-Pedagogical Heuristics) mit Subfragen zur detaillierten Analyse.

4. Learning Experience Efficacy Zone (LEEZ)

Ziel: Lehrveranstaltungen in eine „Wirksamkeitszone“ bringen, in der hohe Zufriedenheit und hoher Lernerfolg zusammenfallen.
Matrix:
- X-Achse: Zufriedenheit (von „Stimme nicht zu“ bis „Stimme zu“).
- Y-Achse: Lernerfolg (Pre-/Post-Test-Ergebnisse).
- Idealzone: Hohe Werte in beiden Dimensionen.
Anwendung:
- Vergleich von Kursen vor/nach dem Semester (z. B. Midterm- vs. Final-Feedback).
- Beispiel: Ein Kurs zeigte steigende Zufriedenheit (4,3 → 4,2) und Lernzuwachs (→ Wirksamkeitszone erreicht).

5. Formative Evaluation und Qualitätsentwicklung

Early Feedback: Midterm-Evaluation (ca. 3.–4. Woche) ermöglicht Lehrenden, Anpassungen noch während des Kurses vorzunehmen.
Kommunikation mit Lehrenden: Daten dienen als Grundlage für gezielte Kurs-Redesigns in Zusammenarbeit mit dem Digital Leadlab (hochschuldidaktisches Zentrum).
Herausforderungen:
- Geringe Rücklaufquoten (z. B. nur 5–14 Teilnehmende in Post-Tests).
- Lösungsansatz: Gemeinsames Ausfüllen der Evaluationen in den ersten 10 Minuten der Präsenzveranstaltung.

Fazit

Die UTN demonstriert, wie Lehrevaluation über reine Zufriedenheitsmessungen hinausgehen kann, indem sie Lernerfolg systematisch erfasst und mit studentischer Erfahrung verknüpft. Die Learning Experience Efficacy Zone bietet ein praxisnahes Framework, um Lehrveranstaltungen gezielt zu verbessern – allerdings erfordert die Umsetzung hohe Rücklaufquoten und skalierbare Methoden zur Effizienzmessung. Handlungsempfehlung: Hochschulen sollten Evaluationsansätze um Pre-/Post-Tests und formatives Feedback erweitern, um evidenzbasierte Qualitätsentwicklung zu ermöglichen.

Diagramm

100%

mindmap
  root)Lehrevaluation an der UTN(
    ["Zufriedenheit ≠ Lernerfolg"]
      ["Traditionelle Evaluationen messen Zufriedenheit"]
      ["Hohe Zufriedenheit ≠ hoher Lernerfolg"]
    ["Dreidimensionaler Ansatz"]
      ["Zufriedenheit (Appeal)"]
      ["Lernerfolg (Effectiveness)"]
      ["Effizienz (Efficiency)"]
    ["Learning Experience Design"]
      ["Soziale Dimension"]
      ["Technologische Dimension"]
      ["Pädagogische Dimension"]
    ["Learning Experience Efficacy Zone (LEEZ)"]
      ["Ziel: Hohe Zufriedenheit & Lernerfolg"]
      ["Matrix: X-Achse Zufriedenheit, Y-Achse Lernerfolg"]
    ["Formative Evaluation"]
      ["Early Feedback (Midterm)"]
      ["Zusammenarbeit mit Digital Leadlab"]

“Gefällt mir” – und auch gelernt? Wie wir Lehre an der UTN evaluieren