Studie: ChatGPT meistert Fragen eines US-Medizinexamens

Der Hype um künstliche Intelligenz und Chatbots hat nun auch die
Wissenschaft erreicht. Zumindest könnte der Text-Roboter ChatGPT von
kleinen Einschränkungen abgesehen Examensfragen beantworten, für die
normalerweise eine jahrelange medizinische Ausbildung nötig ist.

San Francisco (dpa) - Der Text-Roboter ChatGPT würde sich in einem
Examen für angehende Mediziner in den USA beachtlich gut schlagen.
Die KI-Software konnte bei den drei theoretischen Teilen des United
States Medical Licensing Exam (USMLE) unter bestimmten Bedingungen
mehrfach die vorgeschriebene Mindestpunktzahl erreichen. Dies
berichten US-Experten im Fachjournal «PLOS Digital Health».
Allerdings hatte das Team um Victor Tseng vom kalifornischen Startup
AnsibleHealth einige Fragen ausgeklammert.

Das USMLE ist eine standardisierte dreiteilige Prüfung, die
Medizinstudentinnen und -studenten ablegen müssen, um in den USA
ärztlich tätig werden zu dürfen. Dabei wird das Wissen aus den
meisten medizinischen Disziplinen - von Biochemie über diagnostisches
Denken bis hin zu Bioethik - bewertet.

Die Autoren der Studie mussten bei dem Test mit ChatGPT jedoch
Rücksicht darauf nehmen, dass die KI-Software von OpenAI nur
Texteingaben entgegennehmen kann. Nachdem bildbasierte Fragen
entfernt wurden, testeten die Autoren die Software an 350 öffentlich
zugänglichen Fragen, die im vergangenen Sommer Bestandteil der
USMLE-Prüfung waren.

Nachdem zudem nicht eindeutige Antworten entfernt wurden, erzielte
ChatGPT bei den drei USMLE-Prüfungsteilen jeweils 52,4 bis 75 Prozent
der dann noch erreichbaren Punkte. Die Ergebnisse fielen je nach
Prüfungsteil und Art der Aufgabenstellung - etwa Ankreuztests oder
offene Fragen - unterschiedlich aus. Die Schwelle zum Bestehen liegt
bei rund 60 Prozent und ändert sich je nach Jahr leicht. Wurden die
nicht eindeutigen Antworten in das Ergebnis einberechnet, erreichte
ChatGPT 36,1 bis 61,5 Prozent der dann möglichen Punkte.

Den Autoren zufolge übertraf ChatGPT die Leistung von PubMedGPT,
einem Gegenmodell, das ausschließlich auf biomedizinische
Fachliteratur trainiert wurde.

Das Team kam zu der Erkenntnis, dass ChatGPT das Potenzial habe, die
medizinische Ausbildung und damit auch die klinische Praxis zu
verbessern. «Das Erreichen der Mindestpunktzahl für diese notorisch
schwierige Expertenprüfung, und das ganz ohne menschliche
Unterstützung, ist ein bemerkenswerter Meilenstein in der Entwicklung
der klinischen KI», schrieben die Autoren.

Zuvor hatte sich der Text-Roboter ChatGPT bereits in anderen
Hochschulfächern behauptet, auch wenn er in den Examen keine
Bestnoten erreichte. So hat das KI-Chatbot-Tool nach Angaben von
Professoren der Universität von Minnesota in vier Kursen und an der
Wharton School of Business der Universität von Pennsylvania in einem
weiteren Kurs die Jura-Prüfungen bestanden.

In der Tech-Branche liefern sich nach dem öffentlichen Start von
ChatGPT durch das kalifornische Start-up-Unternehmen OpenAI im
November 2022 etliche Player ein regelrechtes Wettrennen um die Gunst
der Anwenderinnen und Anwender. OpenAI wird dabei von Microsoft mit
Milliarden-Summen unterstützt. Im Gegenzug darf Microsoft die Technik
in seine Suchmaschine Bing und andere Produkte integrieren. Großer
Gegenspieler von OpenAI und Microsoft ist Google. Der
Suchmaschinengigant hat am Dienstag seinen eigenen Chat-Bot Bard
gestartet. An dem Wettrennen nehmen aber auch kleinere Player wie
You.com des deutschen KI-Forschers Richard Socher teil. Socher stammt
aus Dresden, lebt und arbeitet aber seit Jahren in den USA.