Digital Learning Campus

Wortwolke

Zusammenfassung

Kontext

Die Hochschule München hat im Sommersemester 2025 eine KI-gestützte Prüfungsumgebung in ihr bestehendes Prüfungsframework EXaHM integriert. Ziel war es, generative KI-Tools wie ChatGPT prüfungs- und rechtssicher in digitale Prüfungen einzubinden, um anwendungsbezogene Problemlösungskompetenz unter Nutzung professioneller Werkzeuge zu testen. Die Lösung kombiniert technische Absicherung mit didaktischen Anpassungen und bezieht alle relevanten Stakeholder:innen ein. Der Vortrag diskutiert Chancen, Herausforderungen und praktische Erfahrungen aus diesem Pilotprojekt.

Kernaussagen

1. Implementierung einer KI-gestützten Prüfungsumgebung

Technische Basis: Das Prüfungsframework EXaHM (Eigenentwicklung der Hochschule München) wurde um eine Schnittstelle zu ChatGPT erweitert.
- Nutzung einer API-basierten Anonymisierungsschnittstelle (Hawkeye) zur Gewährleistung von Datenschutz und Kostenkontrolle.
- Kiosk-Modus: Verhindert Zugriff auf externe Webseiten und sichert die Prüfungsumgebung ab.
- Detailliertes Logging: Alle 5 Sekunden werden Snapshots des Browserinhalts erstellt, um Interaktionen mit der KI nachvollziehbar zu dokumentieren.
Rechtliche Absicherung: KI wurde als „Hilfsmittel“ (analog zum Taschenrechner) in der Prüfungsordnung verankert, gestützt auf politische Leitlinien (z. B. KI-Leitlinie Bayern).

2. Pragmatischer Umgang mit rechtlichen und organisatorischen Hürden

Schnelle Umsetzung statt Gremienvorlauf:
- Die Hochschule nutzte Interpretationsspielräume der Prüfungsordnung und politische Vorgaben („Hochschulen müssen KI einsetzen“) als Legitimation für das Pilotprojekt.
- Keine vorherige Abstimmung mit Gremien, sondern direkte Umsetzung mit klaren Leitplanken (DSGVO, Chancengleichheit, Kostenkontrolle).
Kostenkontrolle: Token-Limits für ChatGPT wurden für den Prüfungszeitraum deaktiviert, um faire Bedingungen zu schaffen.

3. Didaktische Anpassung der Prüfungsfragen

KI-robuste Aufgaben:
- Integration von unbekannten Sachverhalten (z. B. „wie in der Vorlesung besprochen“), die der KI nicht vorliegen, um Eigenleistung der Studierenden zu erfordern.
- Studierende mussten KI-Ergebnisse kritisch einordnen und korrigieren, um Fachwissen nachzuweisen.
Praxisnahe Integration:
- KI wurde als professionelles Tool (analog zu MATLAB) eingebunden, um berufsrelevante Kompetenzen zu prüfen.
- Industriepartner:innen bestätigten die Relevanz von KI-Kompetenzen für den Arbeitsmarkt.

4. Einbindung aller Stakeholder:innen

Zusammenarbeit:
- Enge Abstimmung zwischen Kompetenzzentrum digitales Prüfen, Lehrenden, zentraler IT und Studierenden.
- Lehrende definierten Anforderungen (z. B. Prompt-Logging), die technische Umsetzung erfolgte durch das Supportteam.
Feedback der Studierenden:
- Positive Aspekte: Hohe Akzeptanz der Prüfungsform, Wertschätzung für praxisnahe Ausrichtung, stabile Technik.
- Kritikpunkte:
  - Gefühl des Kontrollverlusts („Multitasking ohne Flow“).
  - Zufälligkeit der KI-Antworten beeinträchtigt Vergleichbarkeit und Validität.
  - Wunsch nach deterministischen Ergebnissen (identische Prompts sollten identische Antworten liefern).

5. Auswirkungen auf Chancengleichheit und Lehrkompetenzen

Chancenausgleich:
- Erste Beobachtungen deuten darauf hin, dass schwächere Studierende stärker von der KI-Nutzung profitierten und dadurch die Bestehensgrenze erreichten.
Neue Lehrinhalte:
- Prompting-Kompetenz und kritischer Umgang mit KI-Output müssen explizit in die Lehre integriert werden.
- Lehrende müssen KI-robuste Aufgaben entwickeln, die sich dynamisch an die KI-Entwicklung anpassen.

Fazit

Die Hochschule München zeigt mit ihrem Pilotprojekt, dass KI-gestützte Prüfungen technisch machbar und didaktisch sinnvoll sein können – vorausgesetzt, es gibt klare Leitplanken, pragmatische Lösungen und die Einbindung aller Beteiligten. Die Erfahrungen unterstreichen:

Mut zu Pilotprojekten lohnt sich, um Hochschulen als aktive Gestalter:innen des digitalen Wandels zu positionieren.
KI als Werkzeug erfordert neue Prüfungsformate, die Eigenleistung und kritische Reflexion fördern.
Herausforderungen wie die Zufälligkeit von KI-Antworten oder Kontrollverlust der Studierenden müssen weiter diskutiert und adressiert werden.

Handlungsempfehlung: Hochschulen sollten niedrigschwellige Pilotierungen starten, um Erfahrungen zu sammeln, ohne auf perfekte Lösungen zu warten. Dabei sind Vertrauen zwischen Lehrenden, Studierenden und Support sowie die Anpassung der Lehre an KI-Kompetenzen entscheidend.

Fragen & Antworten

Wie wurde die rechtliche Absicherung für den Einsatz von KI in der Prüfung ohne vorherige Abstimmung mit Gremien gelöst?

Die Hochschule nutzte Interpretationsspielräume der Prüfungsordnung, indem sie KI analog zu einem Taschenrechner als Hilfsmittel definierte. Zudem dienten öffentliche politische Forderungen und die KI-Leitlinie Bayern als Legitimation für das Pilotprojekt.

Wie wird sichergestellt, dass die Eigenleistung der Studierenden trotz KI-Nutzung prüfbar bleibt?

Es wurden KI-robuste Aufgaben entwickelt, die unbekannte Sachverhalte enthalten, welche der KI nicht vorliegen. Zudem wird durch ein detailliertes Prompt-Logging (Snapshots alle 5 Sekunden) die gesamte Interaktion mit der KI dokumentiert und nachvollziehbar gemacht.

Welche technischen Maßnahmen wurden ergriffen, um die Prüfungsintegrität und den Datenschutz zu gewährleisten?

Es wurde ein Kiosk-Modus verwendet, der den Zugriff auf externe Webseiten verhindert, sowie eine API-basierte Anonymisierungsschnittstelle (Hawkeye) für den Datenschutz. Zudem wurden Token-Limits und die Multifaktor-Authentifizierung für den Prüfungszeitraum deaktiviert, um faire Bedingungen zu schaffen.

Welche Auswirkungen hatte der KI-Einsatz auf die Chancengleichheit innerhalb der Studierendengruppe?

Erste Beobachtungen des Lehrenden deuten auf einen 'antidawinistischen Chancenausgleich' hin, bei dem insbesondere schwächere Studierende stärker von der KI profitierten und dadurch eher die Bestehensgrenze erreichten.

Wie geht die Hochschule mit der Zufälligkeit (Nicht-Determinismus) von KI-Antworten um?

Das sogenannte 'Reliabilitätsdilemma', dass identische Prompts unterschiedliche Ergebnisse liefern können, wurde als Problem identifiziert. Aktuell gibt es hierfür jedoch noch keine technische oder organisatorische Lösung.

Diagramm

100%

mindmap
  root)KI im digitalen Prüfungsalltag(
    ["Technische Implementierung"]
      ["EXaHM mit ChatGPT-Schnittstelle"]
      ["Hawkeye für Anonymisierung"]
      ["Kiosk-Modus & Logging"]
    ["Rechtliche & organisatorische Hürden"]
      ["KI als Hilfsmittel verankert"]
      ["Schnelle Umsetzung ohne Gremien"]
      ["Kostenkontrolle via Token-Limits"]
    ["Didaktische Anpassungen"]
      ["KI-robuste Aufgaben"]
      ["Kritische Einordnung von KI-Ergebnissen"]
      ["KI als professionelles Tool"]
    ["Stakeholder-Einbindung"]
      ["Zusammenarbeit mit IT & Lehrenden"]
      ["Studierenden-Feedback"]
    ["Chancengleichheit & Lehrkompetenzen"]
      ["Profit für schwächere Studierende"]
      ["Prompting-Kompetenz in Lehre"]

Zwischen Hype und Hochschulrealität - KI im digitalen Prüfungsalltag an der Hochschule München