Surgisphere-Skandal: Wie gefährlich sind gefälschte Daten für die Coronavirus-Forschung?

Der Autor ist Direktor des QUEST Center (Quality, Ethics, Open Science, Translation) am Berlin Institute of Health (BIH) und Direktor der Abteilung für Experimentelle Neurologie an der Berliner Charité.

Vor einer Woche mussten zwei der renommiertesten Medizinjournale der Welt, „The Lancet“ und „New England Journal of Medicine“, zwei viel beachtete Veröffentlichungen zurückziehen, unter anderem zur Wirksamkeit des Malariamedikaments Hydroxychloroquin bei der Behandlung von Covid-19-Erkrankten.

Die zugrundeliegenden Daten, zugeliefert vom Chicagoer Unternehmen Surgisphere, waren Berichten zufolge gefälscht, vielleicht sogar frei erfunden. Im wichtigsten Kontrollverfahren für Forschungsqualität, dem „Peer-Review“, war das nicht aufgefallen.

Das wirft die Fragen auf, wie der Peer-Review-Prozess funktioniert, ob er leistet, was er verspricht, und wie er sich verbessern ließe.

Qualitätskontrolle ohne dafür ausgebildete Kontrolleure

Im Peer Review begutachten Wissenschaftler*innen mit ausgewiesener Expertise („Peers“) gegenseitig die Qualität und Relevanz eingereichter Fachartikel. Die Gutachter*innen gehen dabei mal mehr, mal weniger zimperlich mit der Arbeit ihrer Kolleg*innen ins Gericht, machen oft Verbesserungsvorschläge und empfehlen schließlich der Redaktion eine Publikation, fordern zur Nachbesserung durch die Autoren auf oder lehnen sie ab.

[Mehr zum Thema: Forschung in Corona-Zeiten - Autor Ulrich Dirnagl im Podcast des Berlin Health Instituts]

Die Redaktion der Zeitschrift fällt auf Basis von in der Regel mindestens zwei solcher Gutachten eine Entscheidung. Das Begutachten von Artikeln anderer Wissenschaftler*innen ist unbezahltes akademisches Ehrenamt, Wissenschaftler werden darin weder ausgebildet noch angeleitet.

Bei der Entscheidung für oder gegen eine Publikation fragt sich die Redaktion, wie hoch das Potential des Artikels ist, in Fachaufsätzen zitiert zu werden, oder auf den Wissenschaftsseiten der Laienpresse erwähnt zu werden. All das erhöht das Renommee der Zeitschrift.

Auch für die Forschenden ist es ausgesprochen wichtig, in einem renommierten Journal zu publizieren, denn Fachartikel sind gewissermaßen die Währung des Karrieresystems der Wissenschaft. Das Prestige der Zeitschrift bestimmt den Wechselkurs. So kann ein Artikel im „New England Journal of Medicine“ für die Autorin oder den Autor entscheidend für die Berufung auf eine Professur sein.

Falsche Studienergebnisse können letztlich Patienten schaden

Das hat Konsequenzen, insbesondere wenn es um die Qualitätskontrolle von Forschung geht. Schon Jahre vor der Coronavirus-Krise hat in der Wissenschaft eine kritische Debatte über die Vor- und Nachteile des Peer-Review-Verfahrens begonnen. Mit der öffentlichen Aufmerksamkeit für Forschungsergebnisse im Zuge der Pandemie und Qualitätsprobleme bei einer Reihe von Covid-19-Veröffentlichungen erreicht diese Diskussion nun ein breites Publikum.

[Alle aktuellen Entwicklungen in Folge der Coronavirus-Pandemie finden Sie hier in unserem Newsblog. Über die Entwicklungen speziell in Berlin halten wir Sie an dieser Stelle auf dem Laufenden]

Es gibt überraschend wenig Evidenz für die Funktionalität des Peer-Review-Verfahrens, aber umso mehr Belege für sein Versagen als Instrument der Qualitätskontrolle sowie für die immensen Ressourcen, die der Prozess bindet.

Peer Review kann Wissenschaftsbetrug nicht verhindern, das wissen wir schon lange.

Manche werden sich noch erinnern an Andrew Wakefields „Studie“ zum angeblichen Zusammenhang von Mumps-Masern-Röteln-Impfung und Autismus, Hwang Woo-suks Behauptung, einen menschlichen Embryo geklont zu haben, Hendrik Schöns falscher Transistor aus einem Molekül oder Haruko Obokatas spektakuläre aber nicht reproduzierbare Methode, mit einfachen Mitteln aus Hautzellen pluripotente Stammzellen zu erzeugen. Alles begutachtet von Expert*innen und höchstrangig publiziert – und dennoch Betrug.

© Tsp/skb

Und die Folgen sind keineswegs nur akademisch, denn Fehlinformationen können mitunter über Leben und Tod bestimmen. Nicht erst in Pandemiesituationen können auf ihrer Basis falsche Entscheidungen getroffen werden. Wakefields Betrug etwa hat das Vertrauen in sichere Impfungen nachhaltig geschädigt.

Gutachter*innen haben in der Regel weder die Zeit, noch die Möglichkeit, wissenschaftliches Fehlverhalten zu entlarven. Das ist auch gar nicht ihr Auftrag. Wissenschaftliche Studien setzen hochkomplexe Techniken ein. Eine Wissenschaftler*in mag Experte in einer davon sein, aber nicht in allen.

Mehr zum Coronavirus:

• Virus in Grafiken: Wie das Coronavirus den Körper befällt
• Mundschutz selber machen: Eine Anleitung zum Basteln einer Atemschutzmaske
• Haben Sie Fragen zum Coronavirus? Unser Chatbot „Corona-Navi“ hat die Antworten

Zudem sind die Originaldaten oder die Analysecodes für die Gutachter*innen meist nicht verfügbar. Und selbst wenn, würde es sie Tage kosten, die Analysen nachzuvollziehen. Dies bleibt dann später aufmerksamen Leser*innen nach Veröffentlichung überlassen, die sich die Mühe machen und die Zeit dafür nehmen, sowie die nötige Spezialexpertise haben.

So korrigiert sich Wissenschaft selbst – aber um welchen Preis, mit welcher zeitlichen Verzögerung und wieviel bleibt dabei unentdeckt? Und wie sensitiv ist Peer Review, um weniger spektakuläre, aber dennoch gravierende und wesentlich häufigere Qualitätsprobleme aufzudecken und zu korrigieren?

Etwa das Weglassen von Befunden, welche die untersuchte Hypothese nicht bestätigten, also die nicht offengelegte selektive Nutzung der Daten? Das Ausprobieren verschiedenster Analyseverfahren und statistischer Methoden solange bis die Ergebnisse zur Hypothese passen? Das Verschweigen der Anpassung der Ausgangshypothese an die Resultate? All dies bleibt dem Peer Review verborgen.

Sonst dauert der Peer-Review-Prozess Monate

Auch sind die Gutachter*innen selbst Wissenschaftler*innen, sie müssen forschen und lehren, in der Medizin dazu noch heilen. Meist bleiben da nur wenige Stunden für eine Begutachtung. Aber für die Autor*innen vergehen von der Einreichung ihrer Arbeit bis zur Entscheidung, ob sie publiziert wird, meist viele Monate, mitunter sogar ein Jahr oder länger.

Denn oft werden zusätzliche Experimente verlangt. Nur ein Teil der eingereichten Arbeiten wird dann auch angenommen: Journale wie das „New England Journal of Medicine“ oder „The Lancet“ haben Ablehnungsquoten von 95 Prozent oder mehr.

Dann heißt es für die Autor*innen, ihren Artikel beim nächstbesten Journal nochmals einzureichen, meist eine Stufe tiefer in der Hierarchie der Fachzeitschriften. Irgendwann wird aber doch jeder Artikel in irgendeinem Journal veröffentlicht.

Der ganze Prozess hat dann viele Wissenschaftler*innen viel Zeit gekostet, denn die Arbeit ist ja immer wieder begutachtet und auch ein bisschen modifiziert worden. Grundsätzlich geändert hat sie sich aber dabei in der Regel nicht. Wie auch, denn es wird im Peer Review vor Publikation ja eine bereits fertiggestellte Arbeit begutachtet!

Die Pandemie verschärft das Problem

Ein weiteres Problem besteht darin, dass der Peer Review mit wenigen Ausnahmen komplett intransparent ist. Weder Autor*in noch Leserschaft wissen, wer begutachtet hat. Was im Verfahren passiert ist, weiß nur die Redaktion. Interessenkonflikte bleiben so unentdeckt, allen möglichen Formen von Bias („Verzerrung“) ist Tür und Tor geöffnet, und Kolleg*innen können sich auf unlautere Weise am Wissen anderer bedienen, und diese durch Ablehnung sogar noch behindern.

Die Sars-CoV-2-Pandemie verschärft die genannten Probleme. Unter Zeitdruck setzen manchen Wissenschaftler in guter Absicht, aber mit teils schlimmen Folgen Qualitätsstandards herunter. Jetzt muss nicht nur die Forschung beschleunigt werden, sondern auch der Peer Review der Resultate.

Ich habe kürzlich einen Artikel für „The Lancet“ begutachtet, das Journal hat mir für meinen Review 24 Stunden Bearbeitungszeit gegeben, und das am Wochenende. Genauso wie die Wissenschaftler*innen konkurrieren die Journale darum, die Ersten zu sein, und möglichst spektakuläre Befunde zu veröffentlichen.

Die für eine Begutachtung geeigneten Wissenschaftler*innen haben für das Review-Verfahren jedoch noch weniger Zeit als sonst, da sie mit ihren eigenen Covid-19-Forschungsprojekten unter Hochdruck rund um die Uhr beschäftigt sind.

Ein Kontrollprozess im (digitalen) Wandel

Das Peer-Review-Verfahren hat sich in der zweiten Hälfte des vergangenen Jahrhunderts durchgesetzt. Zu einer Zeit, in der es viel weniger Publikationen und Journale gab, die Wissenschaft weniger kompetitiv war, und ihre Methoden weniger kompliziert. Durch die elektronischen Publikationsverfahren können wir heute das positive Element des Peer Review – den Diskurs von Experten – erhalten, und die negativen zurückdrängen.

Es gibt mittlerweile Journale, welche den ReviewProzess erst nach der Veröffentlichung durchführen, und die Kommentare der Gutachter und deren Identität mit dem Artikel zusammen veröffentlichen. Es gibt die Möglichkeit, die Begutachtung vor die Durchführung der Studie zu legen.

Begutachtet wird dann die Idee, sowie der methodische und analytische Ansatz. Veröffentlicht wird dann auch, wenn etwas herauskam, das nicht erwartet oder erhofft war. Und sogenannte „Preprints“ erlauben eine Diskussion von Manuskripten vor deren Einreichung in Echtzeit.

Eine Vielzahl von Experten kann so über soziale Medien Kritik üben, nicht nur zwei anonyme Gutachter. Dies sind nur einige Beispiele für neue Ansätze für die Veröffentlichung von Studien. Die Pandemie wird vielleicht ihren Siegeszug einläuten.

Der Surgisphere-Skandal ist nur die Spitze des Eisberges

Die aktuelle Affäre um die zurückgezogenen Covid-19-Publikationen ist nur die Spitze eines Eisberges von Qualitätsproblemen in der Wissenschaft, für deren Lösung sich das Peer-Review-Verfahren als ungenügend erwiesen hat. Qualitätssicherung in der Wissenschaft muss früher ansetzen als bei der Veröffentlichung ihrer Resultate.

In der Industrie werden mehrere Prozent der Aufwendungen in Qualitätssicherung investiert. Im Sozialgesetzbuch werden die Leistungserbringer des Gesundheitswesen zur Sicherung und Weiterentwicklung der Qualität der von ihnen erbrachten Leistungen verpflichtet. In der Wissenschaft gibt es nichts vergleichbares.

Doch möglich ist es: Das Berlin Institute of Health, aber auch die Berlin University Alliance etwa unterstützt ihre Wissenschaftler*innen bei der Qualitätssicherung in allen Phasen ihrer Forschung: in der Planung, Durchführung, Analyse, und Veröffentlichung. Forschende werden trainiert und ausgebildet, etwa im Begutachten von Artikeln, werden mit der Nutzung von elektronischen Laborbüchern vertraut gemacht, erhalten Hilfestellung beim Management ihrer Daten und beim Etablieren einer positiven Fehlerkultur im Labor.

Der Peer-Review-Prozess kann weiter eine Rolle in der Sicherung der Qualität von Forschung spielen. Weil der Peer Review aber zu spät kommt und nicht zuverlässig ist, muss Qualitätssicherung bereits mit der Ausbildung der Forscher*innen beginnen und über die Veröffentlichung ihrer Ergebnisse hinaus reichen.

Qualitätssicherung ist deshalb nicht nur die Aufgabe der Wissenschaftler*innen, sondern auch der Institutionen, an denen sie forschen. Das gilt im normalen Forschungsbetrieb genauso wie in einer akuten globalen Gesundheitskrise.

Ulrich Dirnagl