Systematische Überprüfung: Ablauf und Evidenzwert

Eine systematische Überprüfung sammelt nach einem vorher festgelegten Plan alle Studien, die zu einer klar umrissenen medizinischen Frage passen, bewertet ihr Verzerrungsrisiko und fasst die Befunde zusammen. Sie ist keine Erzählung ausgewählter Aufsätze, sondern eine reproduzierbare Synthese; eine Metaanalyse ist nur der statistische Teil, nicht dasselbe Verfahren.

Cochrane nennt dieses Vorgehen die verlässlichste Art zu prüfen, ob eine Behandlung oder ein Test nützt, weil mehrere, manchmal sehr viele Untersuchungen nach denselben Regeln gelesen werden. Das Merck Manual (Überarbeitung April 2026) stuft systematische Übersichten und Metaanalysen randomisierter Studien in Lehrbüchern als höchste Evidenzstufe. GRADE, das Cochrane seit Jahren verlangt, warnt zugleich. Selbst eine große Übersicht kann für einzelne Endpunkte nur geringe Sicherheit liefern, wenn die Ausgangsstudien schwach, ungenau oder unvollständig sind.

Für Patientinnen, Patienten und Fachleute heißt das praktisch, dass eine gute Übersicht die Literatur entlasten und Leitlinien speisen kann. Sie ersetzt weder das Gespräch über Werte und Risiken noch die Prüfung, ob die eingeschlossenen Personen zur eigenen Situation passen.

Was eine systematische Überprüfung von einer Erzählübersicht trennt

Eine systematische Überprüfung benutzt explizite, nachvollziehbare Schritte, um Studien zu einer klar formulierten Frage zu finden, auszuwählen und zu synthetisieren. Eine narrative oder erzählende Übersicht wählt Quellen oft nach Erfahrung und Erzählfluss; sie kann klug sein, bleibt aber schwer zu wiederholen.

PRISMA 2020, veröffentlicht am 29. März 2021 in PLOS Medicine, definiert die systematische Form genau so und warnt ausdrücklich davor, die Wörter „systematische Überprüfung“ und „Metaanalyse“ synonym zu gebrauchen. Die erste bezeichnet den gesamten Prozess. Die zweite bezeichnet nur die zahlenmäßige Zusammenfassung, wenn Effektmaße und Streuungen vorliegen. Eine Metaanalyse ohne systematische Suche kann eine handverlesene Stichprobe glätten und damit trügen.

Cochrane erklärt den Ablauf bildlich. Zuerst wird ein Kreis gezogen, der die Frage begrenzt. Nur Datensätze, die in diesen Kreis passen, kommen weiter. Aus den aufgenommenen Arbeiten werden Methode, Teilnehmende, Finanzierung und Endpunkte gezogen, die Qualität geprüft und, wo sinnvoll, statistisch gebündelt. Das Ergebnis erscheint oft als Forest-Plot, im Cochrane-Jargon auch Blobbogramm, mit einer Raute für den Gesamteffekt.

Erzählende Kapitel in Lehrbüchern bleiben nützlich, wenn sie Mechanismen oder Geschichte erklären. Für die Frage, ob ein Arzneimittel Sterblichkeit senkt oder einen Schaden erhöht, verlangen NICE und Cochrane jedoch den systematischen Weg. Wer nur „Review“ im Titel liest, sollte prüfen, ob ein Protokoll, eine Suchstrategie und eine Bias-Bewertung dokumentiert sind. Fehlt das, ist der Text eher ein Kommentar.

Wie Frage und Protokoll die Richtung festlegen

Noch vor der ersten Datenbanksuche muss die Frage so scharf sein, dass zwei unabhängige Personen dieselbe Studie gleich einordnen würden. NICE verlangt in seinem aktuellen Leitlinienhandbuch klare Review-Fragen und ein schriftliches Protokoll; beides steuert Suche, Auswertung und später die Empfehlungen des Gremiums.

Für Nutzen und Schaden einer Intervention ist das PICO-Gerüst der übliche Rahmen aus Population, Intervention, Vergleich und Endpunkt. NICE nennt zusätzlich den Versorgungskontext, wo der Ort die Wirkung verändert, und rät zu etwa fünf bis neun Endpunkten, die für Menschen mit der Erkrankung zählen, nicht nur zu Surrogaten aus Laborwerten. AMSTAR 2 fragt ebenfalls, ob Frage und Einschlusskriterien die PICO-Teile enthalten. Zeitrahmen und Studiendesign gehören dazu, wenn ein Effekt erst nach Jahren sichtbar wird oder Randomisierung ethisch unmöglich ist.

Jedes Cochrane-Review braucht laut Handbuch (Version 6.5, Stand August 2024) ein Protokoll, das Umfang und Methoden festlegt, bevor das Team urteilt. Abweichungen später sind erlaubt, müssen aber im Methodenteil stehen; wo möglich, prüft eine Sensitivitätsanalyse, ob die Änderung das Ergebnis kippt. Cochrane empfiehlt die Registrierung bei PROSPERO, dem internationalen Register für Review-Protokolle. NICE lädt Protokolle möglichst vor der Datenextraktion auf die Themenseite und hält fest, dass Änderungen nachvollziehbar bleiben müssen.

Ohne dieses Vorab-Gerüst droht, dass das Team nachträglich die Frage an ein auffälliges Einzelergebnis anpasst. Das Protokoll schützt nicht vor schlechten Primärstudien. Es schützt davor, dass die Synthese selbst die Daten zurechtbiegt.

Wie die Literatursuche Bias klein hält

Eine systematische Überprüfung sucht breiter als ein Alltagsrecherche in einer einzigen Datenbank, weil sonst positive, leicht auffindbare Arbeiten das Bild verzerren. Cochrane erwartet mehrere Quellen, darunter unveröffentlichte oder schwer zugängliche Berichte, und oft die Hilfe von Informationsspezialistinnen für die Suchsyntax.

PRISMA 2020 verlangt, die vollständigen Suchstrategien für alle durchsuchten Datenbanken, Register und Websites anzugeben, nicht nur für eine Vorzeigedatenbank. Außerdem sollen Autorinnen und Autoren schreiben, wie viele Personen jeden Datensatz und jeden Volltext unabhängig geprüft haben und ob Automatisierung half. Zwei Personen, die Titel und Volltexte getrennt sichten, bleiben der Standard, den auch AMSTAR 2 als eigene Punkte führt; Datenextraktion gilt dort ebenfalls als Doppelarbeit.

NICE unterscheidet Interventionsfragen, Diagnostik, Prognose, Erfahrungen und Versorgungsfragen; je nach Typ ändert sich, welche Studiendesigns überhaupt passen. Ein Protokoll, das nur randomisierte Studien zulässt, kann seltene Schäden unterschätzen. Cochrane rät deshalb, für seltene oder späte unerwünschte Wirkungen auch nicht randomisierte Arbeiten einzubeziehen und die damit verbundene Indirektheit offenzulegen.

Ausgeschlossen werden Studien nicht stillschweigend. PRISMA 2020 und AMSTAR 2 verlangen, Arbeiten zu nennen, die auf den ersten Blick passten, und den Ausschluss zu begründen. Sonst bleibt unsichtbar, ob unbequeme Nullresultate draußen blieben. Trial-Register, Studienberichte und Preprints gehören zur Suche, weil Zeitschriften negative Befunde seltener drucken.

Typische Suchbausteine, die ein Team im Protokoll festlegt, sind:

• Welche bibliografischen Datenbanken und Studienregister tatsächlich abgefragt werden.
• Welche Sprachen, Zeiträume und Publikationsformen ausdrücklich eingeschlossen oder weggelassen werden.
• Wie unveröffentlichte Daten, Kongressberichte und Herstellerunterlagen zusätzlich beschafft werden.
• Wer Konflikte bei der Auswahl schlichtet, wenn zwei Prüfende uneins bleiben.

Was RoB 2 an einzelnen Studien prüft

Jedes eingeschlossene Ergebnis braucht eine Bewertung, wie stark Design und Durchführung den Effekt verzerren können. Sterne, Savović und Kolleginnen haben 2019 RoB 2 veröffentlicht, das überarbeitete Cochrane-Werkzeug für randomisierte Studien. Es ersetzt die ältere Idee, eine ganze Arbeit als „gute Studie“ zu benoten.

RoB 2 beurteilt ein konkretes Ergebnis, etwa die Sterblichkeit nach zwölf Monaten, nicht den Aufsatz als Ganzes. Fünf Domänen steuern das Urteil. Geprüft werden Randomisierung und Geheimhaltung der Zuteilung, Abweichungen von der geplanten Intervention, fehlende Endpunktdaten, die Messung des Endpunkts und die Auswahl des berichteten Ergebnisses. Signalfragen führen zu den Stufen geringes Risiko, einige Bedenken oder hohes Risiko. Das Gesamturteil folgt dem schwächsten Glied, nicht einem Mittelwert.

Für nicht randomisierte Interventionsstudien nutzt Cochrane ROBINS-I. AMSTAR 2 prüft, ob das Review-Team für beide Studientypen ein angemessenes Verfahren gewählt und das Verzerrungsrisiko später bei Pooling und Interpretation berücksichtigt hat. Eine präzise Beobachtungsstudie mit Hunderttausenden Fällen kann trotzdem systematisch danebenliegen, wenn Indikation, Messung oder Bericht verzerren; große Zahlen heilen das nicht.

Ältere Texte sprachen oft von „Studienqualität“ und zählten Checklistenpunkte. RoB 2 trennt das. Eine sauber berechnete Fallzahl sagt wenig über Bias. Entscheidend ist, ob das beobachtete Ergebnis vom Effekt abweicht, den eine große, fehlerfreie randomisierte Studie gezeigt hätte. Wer nur „doppelblind“ als Gütesiegel liest, übersieht fehlende Daten oder selektiv berichtete Analysen.

Wann eine Metaanalyse hilft und wann sie täuscht

Eine Metaanalyse fasst Effektmaße mehrerer Studien zu einem gemeinsamen Schätzer zusammen, sofern die Arbeiten zur selben Frage passen und Varianzangaben vorliegen. Sie ist optional. PRISMA 2020 gilt ausdrücklich auch für Übersichten, die keine statistische Bündelung vornehmen, etwa weil nur eine Studie die Kriterien erfüllt.

Cochrane behandelt im Handbuch feste und zufällige Effekte, Netzwerk-Metaanalysen und Synthesen ohne Metaanalyse. Zahlen zu addieren, die verschiedene Patientinnen, Dosen oder Vergleichstherapien mischen, erzeugt eine Scheingenauigkeit. AMSTAR 2 fragt deshalb, ob die statistischen Verfahren zum Design passen und ob das Team prüfte, wie stark Studien mit hohem Bias das Gesamtergebnis ziehen.

Heterogenität ist kein Schönheitsfehler, den man mit einem I²-Wert wegwischt. Sie kann echte Unterschiede zwischen Populationen, Interventionen oder Endpunkten anzeigen. Dann gehören Subgruppen, Meta-Regression oder eine narrative Synthese nach SWiM ins Manuskript, nicht ein einziger Diamant, der Widersprüche zudeckt. Cochrane-Kapitel 14 erinnert außerdem daran, dass relative Maße wie das Risikoverhältnis oft über Studien hinweg stabiler sind als absolute Differenzen. Für die Praxis braucht die Leserin trotzdem die absolute Differenz in ihrer Risikogruppe.

Ein pooled Ergebnis ohne Angabe von Dosis, Präparat, Nachbeobachtung oder Ausschlüssen bleibt klinisch leer. Genau das war der klassische Fehler älterer Darstellungen, die „Antibiotika wirken“ schrieben, ohne Stoff und Dauer zu nennen. Die Zahl ist nur so gut wie die Frage, die sie beantwortet.

Wie GRADE die Sicherheit der Evidenz einstuft

GRADE bewertet nicht die Eleganz des Reviews, sondern das Vertrauen in den Körperschatz der Evidenz für jeden wichtigen Endpunkt. Cochrane hat den Ansatz verbindlich übernommen. Kapitel 14 des Handbuchs (letzte inhaltliche Aktualisierung August 2023, Handbuch 6.5 von 2024) nennt vier Stufen, nämlich hoch, mittel, niedrig und sehr niedrig.

Randomisierte Studien starten hoch und können in fünf Domänen absteigen, nämlich Verzerrungsrisiko, Inkonsistenz, Indirektheit, Ungenauigkeit und Publikationsbias. Nicht randomisierte Arbeiten starten niedrig und können selten aufsteigen, etwa bei sehr großem Effekt, Dosis-Wirkungs-Beziehung oder wenn alle plausiblen Störgrößen gegen den Befund sprächen. Das Urteil gilt je Endpunkt. Nutzen und Schaden dürfen verschiedene Stufen haben.

Die Tabelle zur Zusammenfassung der Ergebnisse (Summary of findings) übersetzt das für Leitlinien und Praxis. Cochrane begrenzt sie auf höchstens sieben Endpunkte, die für Entscheidungen zählen. Sie nennt relative und absolute Effekte, die Zahl der Teilnehmenden und Studien sowie die GRADE-Stufe. GRADEpro GDT erzeugt die üblichen Formate. Ein Beispiel im Handbuch zu Kompressionsstrümpfen bei Langstreckenflügen zeigt, wie derselbe relative Effekt bei niedrigem und hohem Ausgangsrisiko ganz andere absolute Zahlen ergibt.

Wichtig für Lesende bleibt eine Unterscheidung. „Hohe Sicherheit“ heißt nicht, dass die Therapie jedem nützt. Es heißt, dass weitere Studien den Schätzer wahrscheinlich wenig verschieben. „Sehr niedrige Sicherheit“ heißt, der wahre Effekt kann ganz anders liegen. Merck erinnert ergänzend, dass evidenzbasiertes Entscheiden die Werte der betroffenen Person einschließt, einschließlich Kosten, Glaubensregeln und Risikobereitschaft. Ein GRADE-Profil ersetzt dieses Gespräch nicht.

Warum Leitlinien solche Übersichten brauchen

Klinische Leitlinien sollen Behandlungsspielräume begründen, die Fachleute und Systeme nachvollziehen können. NICE übersetzt den Scope einer Leitlinie in Review-Fragen und Protokolle, bevor die Literatursuche startet. Das Protokoll darf später die Überwachung und Aktualisierung der Leitlinie stützen.

Bestehende hochwertige Übersichten darf das NICE-Team übernehmen oder als Startpunkt nutzen, wenn Frage, PICO und Einschlusskriterien nah genug am eigenen Protokoll liegen. Dann entscheidet das Gremium, ob nach dem Suchdatum der Übersicht noch Primärstudien nachgezogen werden. NICE-Protokolle sollen möglichst vor der Extraktion öffentlich liegen; die Review-Fragen stehen mindestens sechs Wochen vor der Konsultation der Entwurfsempfehlungen im Netz.

GRADE trennt die Sicherheit der Evidenz von der Stärke einer Empfehlung. Andere Faktoren, darunter Ressourcen, Equity und Patientenpräferenzen, fließen in die Leitlinie ein, nicht in die bloße Metaanalyse. Merck betont, Leitlinien dürften bei heterogenen Patientinnen und Patienten nicht automatisch die individuelle Versorgung diktieren. „Wenn-dann“-Regeln helfen bei klaren Situationen, etwa Fieber und Neutropenie. Komplexe Abwägungen brauchen zusätzlich quantitative Entscheidungslogik.

Gesundheitspolitik, etwa die Frage, ob ein neues Arzneimittel finanziert wird, stützt sich oft auf dieselben Übersichten plus Gesundheitsökonomie. Ein Review, das Nutzen ohne Schaden und ohne Kosten denkt, ist für diese Entscheidung unvollständig. Cochrane hat eigene Kapitel zu unerwünschten Wirkungen, ökonomischer Evidenz und qualitativer Evidenz, weil Zahlen zum Primärendpunkt allein selten reichen.

Welche Grenzen und Verzerrungen bleiben

Auch eine sorgfältige Übersicht kann täuschen, wenn die zugrunde liegende Literatur lückenhaft oder verzerrt ist. Publikationsbias entsteht, wenn positive oder statistisch auffällige Arbeiten eher erscheinen als neutrale oder negative. AMSTAR 2 verlangt bei quantitativer Synthese eine Prüfung dieses Problems und eine Diskussion der möglichen Wirkung.

Funnel-Plots und Tests auf Asymmetrie brauchen laut AMSTAR 2 mindestens zehn Studien; ein „negativer“ Test beweist nicht, dass nichts fehlt, weil die Verfahren unempfindlich sind. Kleine positive Studien, schwächere Methoden und selektives Berichten verstärken einander. Graue Literatur nur in einer Datenbank zu suchen, reicht nicht. Trial-Register und Herstellerberichte schließen Lücken, die Zeitschriften allein offenlassen.

Industriefinanzierung der Primärstudien kann Ergebnisse zugunsten des Sponsorprodukts verschieben, ohne dass das Design grob fehlerhaft wirkt. AMSTAR 2 hat deshalb die Finanzierung der eingeschlossenen Studien und die Interessenkonflikte des Review-Teams in getrennte Punkte gelegt. PRISMA 2020 verlangt Interessenkonflikte und, neu gegenüber 2009, Angaben, ob Daten, Code und Materialien öffentlich liegen.

Anwendbarkeit bleibt die zweite große Grenze. Studienpopulationen sind oft jünger, kränker oder adhärenter als die Praxis. Merck nennt das ausdrücklich. Wer freiwillig an Studien teilnimmt, gleicht selten der Allgemeinversorgung. Ein gepooltes Risikoverhältnis von 0,75 bedeutet in einer Hochrisikogruppe einen anderen absoluten Gewinn als bei geringem Ausgangsrisiko. Zahlen ohne klinischen Kontext lösen komplexe Entscheidungen nicht.

Lebende Übersichten sollen das Veralten lindern, indem sie die Literatur fortlaufend beobachten und neue Evidenz rasch einarbeiten. Akl und Kolleginnen beschrieben im November 2024 PRISMA-LSR als Zusatz zu PRISMA 2020. Seit 2019, besonders in der Covid-19-Welle, stieg die Zahl solcher Arbeiten stark. Ohne klare Angaben, ob die lebende Fassung noch aktiv ist oder stillgelegt wurde, weiß die Leserin nicht, wie frisch der Stand wirklich ist.

Wie sich die Qualität eines Reviews prüfen lässt

PRISMA 2020 prüft, ob ein Manuskript transparent berichtet, nicht ob die Durchführung methodisch stark war. Für die Durchführung ist AMSTAR 2 das knappe Instrument mit 16 Punkten, sieben davon kritisch, vier Vertrauensstufen und ohne aufaddierten Gesamtscore.

Die kritischen Domänen nach Shea und Kolleginnen (21. September 2017) umfassen ein vor Beginn registriertes Protokoll, eine angemessene Literatursuche, die Begründung ausgeschlossener Studien, das Verzerrungsrisiko der eingeschlossenen Arbeiten, eine passende Metaanalyse, die Berücksichtigung des Bias bei der Deutung und die Untersuchung von Publikationsbias. Ein kritischer Mangel senkt das Vertrauen auf niedrig oder kritisch niedrig, auch wenn der Text flüssig geschrieben ist.

NICE nennt in den aktuellen Bewertungshilfen ROBIS als bevorzugtes Werkzeug für das Bias-Risiko der Übersicht selbst, daneben AMSTAR und die CASP-Checkliste. Für die tägliche Lektüre reicht oft ein kurzer Durchgang:

• Steht die Frage im PICO-Format, und passt sie zur eigenen Patientin oder zum eigenen Patienten?
• Wurde das Protokoll vorab registriert, und sind Abweichungen erklärt?
• Haben mindestens zwei Personen unabhängig gesucht, ausgewählt und extrahiert?
• Liegt für die zentralen Endpunkte eine GRADE-Einschätzung oder eine gleichwertige Begründung vor?
• Wer hat das Review und die Primärstudien finanziert, und steht das offen im Text?

Unkritisch eine einzelne Übersicht als Wahrheit zu nehmen, war schon 2017 der Ausgangspunkt von AMSTAR 2. Mehrere Übersichten zur selben Frage können sich widersprechen, weil Einschlusskriterien, Suchdaten oder Endpunkte differieren. Dann zählt der Vergleich der Methoden, nicht die lauteste Schlussfolgerung im Abstract.

Was sich an den Standards seit 2018 geändert hat

Die Seite, die 2018 oft noch PRISMA 2009 und ein achtstufiges Cochrane-Schema zitierte, ist methodisch überholt. PRISMA 2020 ersetzt die Fassung von 2009 vollständig; die alte Checkliste soll nicht mehr verwendet werden. Neu sind unter anderem die Bewertung der Evidenzsicherheit, Interessenkonflikte, die Verfügbarkeit von Daten und Code, vollständige Suchstrategien für alle Quellen sowie die Zahl unabhängig prüfender Personen.

RoB 2 von 2019 hat die alte Cochrane-Bias-Liste abgelöst. Bewertet wird ein Ergebnis, nicht pauschal „die Studie“. Cochrane-Handbuch 6.x, aktuell 6.5 vom August 2024, macht GRADE und Tabellen zur Zusammenfassung der Ergebnisse zum Kern, nicht zum Anhang. MECIR bündelt die Mindesterwartungen für Interventionsreviews.

Lebende Übersichten waren 2018 Randerscheinungen. Nach 2019 stieg ihre Zahl stark; 2024 kam mit PRISMA-LSR die Berichtserweiterung, inklusive Status (läuft weiter oder stillgelegt) und eigener Flow-Diagramme. Netzwerk-Metaanalysen, Synthese ohne Metaanalyse und qualitative Evidenz haben eigene Kapitel, weil nicht jede Frage einen klassischen Paarvergleich trägt.

Die alte Gleichsetzung „Metaanalyse gleich systematische Überprüfung“ ist damit widerlegt. Ebenso die Vorstellung, eine Übersicht liefere automatisch die endgültige Antwort. Sie liefert die derzeit beste, aber gradierbare Zusammenfassung. Wer Therapie oder Erstattung begründet, muss die GRADE-Stufe, die Population und das Datum der Suche mitlesen, nicht nur den Satz im Abstract.

Fazit

Wer morgen eine Behandlungsfrage klärt, sucht zuerst eine aktuelle systematische Überprüfung mit registriertem Protokoll, nachvollziehbarer Suche und GRADE-Tabelle, nicht die neueste Einzelstudie mit der auffälligsten Zahl. Passt die Population, ist das Suchdatum frisch, und liegt die Sicherheit für den Endpunkt, der zählt, mindestens im mittleren Bereich, kann das Ergebnis Leitlinie und Gespräch vorbereiten.

Fehlt das Protokoll, bleibt die Suche auf eine Datenbank beschränkt oder fehlt jede Bias-Bewertung, ist Misstrauen angebracht, auch wenn der Abstract selbstbewusst klingt. Mehrere Übersichten zur selben Frage vergleicht man über Einschlusskriterien und Methoden, nicht über die Härte der Formulierung.

Lebende Reviews und PRISMA-LSR machen den Stand prüfbar, sofern der Status klar ist. Die Entscheidung selbst bleibt klinisch. Evidenz beschreibt Wahrscheinlichkeiten, keine Garantie für den einzelnen Verlauf.

Quellen

1. Cochrane: What are systematic reviews?. Cochrane, Stand: 2026.
2. Higgins JPT, Thomas J et al.: Cochrane Handbook for Systematic Reviews of Interventions. Cochrane, August 2024.
3. Page MJ, McKenzie JE et al.: The PRISMA 2020 statement: An updated guideline for reporting systematic reviews. PLOS Medicine, 29. März 2021.
4. NICE: Developing review questions and planning the evidence review. National Institute for Health and Care Excellence, Stand: 2024.
5. Mandell BF: Evidence-Based Medicine and Clinical Guidelines. Merck Manual Professional Edition, April 2026.
6. Schünemann HJ, Higgins JP et al.: Chapter 14: Completing ‘Summary of findings’ tables and grading the certainty of the evidence. Cochrane Handbook for Systematic Reviews of Interventions, August 2023.
7. Shea BJ, Reeves BC et al.: AMSTAR 2: a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both. The BMJ, 21. September 2017.
8. Sterne JAC, Savović J et al.: RoB 2: a revised tool for assessing risk of bias in randomised trials. The BMJ, 28. August 2019.
9. Akl EA, Khabsa J et al.: Extension of the PRISMA 2020 statement for living systematic reviews (PRISMA-LSR): checklist and explanation. The BMJ, 19. November 2024.
10. Cumpston M, Flemyng E: Chapter II: Planning a Cochrane Review. Cochrane Handbook for Systematic Reviews of Interventions, August 2023.