Wie schneidet die KI in Kryptografie-Prüfungen ab?
In einer Zeit, in der künstliche Intelligenz (KI) immer stärker in unseren Alltag integriert wird, stellt sich die Frage: Wie gut ist KI wirklich in der Lage, spezialisierte akademische Prüfungen zu bestehen? Drei Experten der Universität Siegen haben sich dieser Frage gewidmet und ChatGPT4, einen fortschrittlichen Chatbot von OpenAI, auf die Probe gestellt. Die Ergebnisse dieses Experiments sind überraschend.
Das Experiment
Die Forscher Prof. Bernhard Esslinger, Dr. Nils Kopal und Dr. Vasily Mikhalev von der Universität Siegen, die im Bereich der Kryptoanalyse und IT-Sicherheit tätig sind, haben ChatGPT4 drei unterschiedlichen Prüfungen im Bereich der Kryptografie unterzogen. Dieses Experiment wurde im Rahmen des Projekts „DECRYPT“ durchgeführt, das vom Swedish Research Council gefördert wird. Gleichzeitig betreuen die Wissenschaftler die E-Learning-Plattform CrypTool, die kryptografische Algorithmen und Verschlüsselungen für Studierende und Interessierte zugänglich macht.
Die Prüfungen
ChatGPT4 wurde drei Prüfungen unterschiedlichen Schwierigkeitsgrades vorgelegt:
- Eine mündliche Prüfung aus dem Bachelorstudium, die die Grundlagen der Kryptologie abfragt.
- Eine schriftliche Klausur aus dem Masterstudium.
- Eine Reihe komplexer Hausaufgaben aus dem Masterstudium, die umfangreiche Programmieraufgaben enthalten.
Die Bewertung der Antworten erfolgte neutral anhand der Kriterien, die auch für Studierende gelten. Die Prüfungsunterlagen stammten von verschiedenen Lehrstühlen aus Hessen und Baden-Württemberg.
Die Ergebnisse
Prof. Esslinger erklärt: „Das neue ChatGPT trainiert mit dem gesamten Internet. Wir haben die Prüfungen so gewählt, dass sie bisher nicht online verfügbar sind, um zu sehen, was die KI wirklich durch Logik leisten kann.“
Die Ergebnisse waren erstaunlich:
- Mündliche Prüfung: ChatGPT4 erzielte 202 von 208 Punkten, was 97 Prozent entspricht.
- Masterprüfung: Die KI erreichte 80,5 von 90 Punkten, was einer Richtigkeit von 89 Prozent entspricht.
- Hausaufgaben: Bei den komplexeren Aufgaben erreichte ChatGPT4 eine Quote von 75 Prozent korrekter Antworten.
Diese Ergebnisse zeigen, dass ChatGPT4 durchaus in der Lage ist, anspruchsvolle Prüfungen zu bestehen. Allerdings offenbarten sich auch Schwächen, insbesondere bei der Lösung komplexer Rechnungen und Programmieraufgaben. Dr. Kopal bemerkt: „KI kann die Theorie sehr gut erklären, aber bei konkreten Zahlen kommen oft falsche Werte heraus.“
Die Schwächen der KI
Eine signifikante Schwäche zeigte sich bei den Programmieraufgaben. Hier machte ChatGPT4 Fehler, die auch Studierenden unterlaufen. Bei einer Aufgabe löste die KI sogar die falsche Aufgabenstellung. Dr. Kopal erläutert: „Das passiert Studierenden natürlich auch.“
Die Bedeutung für Studierende
Sollten Studierende also auf künstliche Intelligenz im Studium zurückgreifen? Die Experten raten davon ab. Prof. Esslinger betont: „Selbst wenn Studierende im Grundstudium KI nutzen, um Klausuren zu bestehen, werden sie spätestens in der mündlichen Prüfung auffallen.“
Herausforderungen und Zukunft der Prüfungen
Die Nutzung von KI stellt Dozierende vor neue Herausforderungen. Täuschungsversuche sind schwerer zu erkennen. Prof. Esslinger empfiehlt: „Wir sollten mehr mündliche Prüfungen machen und weniger Hausaufgaben vergeben, um zu prüfen, was die Studierenden selbst gemacht haben.“ Zugleich sei es wichtig, Studierende zu befähigen, KI verantwortungsbewusst zu nutzen. Prüfungen der Zukunft sollten origineller und praxisorientierter gestaltet werden.
Quelle: IDW
.jpeg)
.jpg)
