Künstliche Intelligenz
Bewertung von ChatGPT als zuverlässige Quelle medizinischer Informationen zu Prostatakrebs: Globale Vergleichsstudie unter Onkologen und Urologen
Die Entwicklung von Systemen mit künstlicher Intelligenz (KI) bringt unserer Gesellschaft Vor- und Nachteile. Zu den Vorteilen im Bereich der Medizin kann beispielsweise die Wahrung des Überblicks über die überbordende Datenlage gehören. Es gibt bereits KI-Systeme, die als Informationsplattform trainiert werden und die auch medizinische Themen, wie z.B. das Prostatakarzinom, abdecken. Die Evidenz, dass die Informationen korrekt und relevant sind, ist allerdings begrenzt. Die Studie untersuchte die Zuverlässigkeit von ChatGPT als Informationsquelle für Patienten mit Prostatakrebs. Durch eine globale Umfrage unter Onkologen und Urologen, die PCa-Patienten behandeln, wurde analysiert, inwieweit Fachleute ChatGPT als vertrauenswürdig erachten und ob die bereitgestellten Informationen den aktuellen medizinischen Standards entsprechen.
In einer online-Befragung von Onkologen und Urologen in den USA, Kanada und größeren europäischen Ländern wurde die Klarheit, Genauigkeit, Relevanz und Vollständigkeit der Informationen von KI versus Medizinjournalisten erhoben. Nach der Bewertung eines randomisiert angebotenen Textes wurde die alternative, durch KI bzw. Medizinjournalisten erstellte Textversion vorgelegt und eine vergleichende Bewertung gefordert. Zur Teilnahme an der Befragung wurden 1.850 Ärzte und Ärztinnen eingeladen. 602 Onkologen oder Urologen gaben Antworten ab. Die meisten der Teilnehmer kamen aus dem akademischen Umfeld mit durchschnittlich 17 Jahren Erfahrung und 32 PCa-Patienten pro Woche. Mehr als die Hälfte hatten in den letzten 3 Jahren an einer klinischen Studie teilgenommen.
Im Vorfeld der Textbewertung wurde die Qualität der Informationsquellen bewertet: Die Befragten bezeichneten Medscape (67%) als „sehr“/„extrem“ glaubwürdige Informationsquelle, gefolgt von Cancer.org (63%) und Cancer.net (52 %). Die Informationen des KI-Systems ChatGPT wurde nur von 14% der Teilnehmer als sehr gut oder extrem gut angegeben.
Bei der Beurteilung von leichteren der vorgelegten Texte zu spezifischen Fragen wurden beide Informationsquellen als vergleichbar gut beurteilt. Die Klarheit der Texte wurde indes häufiger bei KI-generierten Antworten bevorzugt. Bei mittelschweren Fragen wurden die Informationen ähnlich oder mit Präferenz für Texte der Medizinjournalisten bewertet, allerdings war auch für diese Kategorie die Klarheit bei Texten der KI besser. Für schwierigere Themen z.B. zur Rolle von genomischen Assays schnitt insgesamt die Bewertung der KI-generierten Texte besser ab. In einem zweiten Studienteil sollten nur KI-generierte Texte bewertet werden. Die ausgewerteten Antworten haben prinzipiell die Ergebnisse des ersten Studienteils bestätigt.
Die Ergebnisse der Studie zeigen, dass ChatGPT in bestimmten Kontexten, insbesondere in Bezug auf Klarheit, gut abschneidet. Es ist jedoch auch wichtig zu beachten, dass die Befragten medizinische Websites als glaubwürdigere Informationsquellen betrachteten. Dies weist darauf hin, dass trotz der Fortschritte in der KI, menschliche Expertise und etablierte medizinische Ressourcen nach wie vor eine zentrale Rolle spielen.
Stenzl A, et al. 2025. Evaluation of ChatGPT as a reliable source of medical information of prostate cancer for patients: Global comparative survey of medical oncologists and urologists. Urol Pract 2025; 12: 229-240
Mai 2025
IS
Bewertung von ChatGPT als zuverlässige Quelle medizinischer Informationen zu Prostatakrebs: Globale Vergleichsstudie unter Onkologen und Urologen
Die Entwicklung von Systemen mit künstlicher Intelligenz (KI) bringt unserer Gesellschaft Vor- und Nachteile. Zu den Vorteilen im Bereich der Medizin kann beispielsweise die Wahrung des Überblicks über die überbordende Datenlage gehören. Es gibt bereits KI-Systeme, die als Informationsplattform trainiert werden und die auch medizinische Themen, wie z.B. das Prostatakarzinom, abdecken. Die Evidenz, dass die Informationen korrekt und relevant sind, ist allerdings begrenzt. Die Studie untersuchte die Zuverlässigkeit von ChatGPT als Informationsquelle für Patienten mit Prostatakrebs. Durch eine globale Umfrage unter Onkologen und Urologen, die PCa-Patienten behandeln, wurde analysiert, inwieweit Fachleute ChatGPT als vertrauenswürdig erachten und ob die bereitgestellten Informationen den aktuellen medizinischen Standards entsprechen.
In einer online-Befragung von Onkologen und Urologen in den USA, Kanada und größeren europäischen Ländern wurde die Klarheit, Genauigkeit, Relevanz und Vollständigkeit der Informationen von KI versus Medizinjournalisten erhoben. Nach der Bewertung eines randomisiert angebotenen Textes wurde die alternative, durch KI bzw. Medizinjournalisten erstellte Textversion vorgelegt und eine vergleichende Bewertung gefordert. Zur Teilnahme an der Befragung wurden 1.850 Ärzte und Ärztinnen eingeladen. 602 Onkologen oder Urologen gaben Antworten ab. Die meisten der Teilnehmer kamen aus dem akademischen Umfeld mit durchschnittlich 17 Jahren Erfahrung und 32 PCa-Patienten pro Woche. Mehr als die Hälfte hatten in den letzten 3 Jahren an einer klinischen Studie teilgenommen.
Im Vorfeld der Textbewertung wurde die Qualität der Informationsquellen bewertet: Die Befragten bezeichneten Medscape (67%) als „sehr“/„extrem“ glaubwürdige Informationsquelle, gefolgt von Cancer.org (63%) und Cancer.net (52 %). Die Informationen des KI-Systems ChatGPT wurde nur von 14% der Teilnehmer als sehr gut oder extrem gut angegeben.
Bei der Beurteilung von leichteren der vorgelegten Texte zu spezifischen Fragen wurden beide Informationsquellen als vergleichbar gut beurteilt. Die Klarheit der Texte wurde indes häufiger bei KI-generierten Antworten bevorzugt. Bei mittelschweren Fragen wurden die Informationen ähnlich oder mit Präferenz für Texte der Medizinjournalisten bewertet, allerdings war auch für diese Kategorie die Klarheit bei Texten der KI besser. Für schwierigere Themen z.B. zur Rolle von genomischen Assays schnitt insgesamt die Bewertung der KI-generierten Texte besser ab. In einem zweiten Studienteil sollten nur KI-generierte Texte bewertet werden. Die ausgewerteten Antworten haben prinzipiell die Ergebnisse des ersten Studienteils bestätigt.
Die Ergebnisse der Studie zeigen, dass ChatGPT in bestimmten Kontexten, insbesondere in Bezug auf Klarheit, gut abschneidet. Es ist jedoch auch wichtig zu beachten, dass die Befragten medizinische Websites als glaubwürdigere Informationsquellen betrachteten. Dies weist darauf hin, dass trotz der Fortschritte in der KI, menschliche Expertise und etablierte medizinische Ressourcen nach wie vor eine zentrale Rolle spielen.
❏ Die Qualität der Texte erstellt mit Hilfe von ChatGPT und von medizinischen Fachjournalisten
wurde von Onkologen und Urologen ähnlich bewertet.
❏ Die Akzeptanz der KI-gestützten Informationsquelle war im Vergleich zu den etablierten Internet-Informationsplattformen deutlich schlechter.
❏ Die Klarheit der dargestellten Informationen wurde fast durchgehend besser für die KI-generierten Antworten bewertet.
Stenzl A, et al. 2025. Evaluation of ChatGPT as a reliable source of medical information of prostate cancer for patients: Global comparative survey of medical oncologists and urologists. Urol Pract 2025; 12: 229-240
Mai 2025
IS
© 2003-2025 pro-anima medizin medien
–
impressum
–
mediadaten
–
konzeption
–
datenschutz