🎓 Medizinische Wissenschaft - Fehler in Design / Auswertung von Studien

[vigesimo]

Rauchen ist z. B. ein Risikofaktor für Krebs und Kreislauferkrankungen. Das heisst, nicht jeder Raucher stirbt daran, trotzdem kann man das allgemeine Risiko berechnen, wenn man genügend Daten zur Verfügung hat.

Nehmen wir die Zahlen für 2014 aus der offiziellen Statisik, die leicht gerundet und teilweise geschätzt wurden.

Es gab geschätzt 174.000 Raucher, von denen 34.800 (20%) an Lungenkrebs starben.

Es gab 696.000 Nichtraucher, von denen 10.200 (1,5%) an Lungenkrebs starben.

Das Ergebnis ist eindeutig: Rauchen ist gefährlich und ein Risikofaktor für Krebs.

Eine derartige Rechnung wird häufig praktiziert, um irgenwas zu beweisen. Viele derartige Beispiele findet man in den Büchern von Beck-Bornholdt und Dubben, die von Kate empfohlen wurden.

Wie sieht die Rechnung nun richtig aus? Dazu müsste man ein Tabelle machen, das geht aber hier nicht.

Von den 174.000 Rauchern sterben an anderem Krebs: 10.000 Zusammen also 44.800 oder 25,75%

Von den 696.000 Nichtrauchern sterben 169.000 an anderen Krebsarten, zusammen also 179.200 oder 25,75%

Ergebnis: Sowohl 25,75% der Raucher als auch 25,75% der Nichtraucher sterben an Krebs.

Natürlich kann man das wunderbar publizieren: 20% der Raucher sterben an Lungenkrebs und nur 1,5% der Nichtraucher.

Oder noch besser: An Lungenkrebs sterben 77% der Raucher und nur 23% der Nichtraucher.

 

[MaxJoy]

Es mag ja sein, dass sowohl bei den Rauchern als auch Nichtrauchern 25,75% an Krebs sterben. Den Faktor Zeit hast du aber nicht berücksichtigt: Die Raucher sterben 8 - 10 Jahre früher als die Nichtraucher. Ein starker Raucher, der auch noch trinkt und rotes Fleisch isst, verliert im Schnitt sogar 17 Lebensjahre.

Quelle: https://www.aerzteblatt.de/nachrichten/59709/Studie-Raucher-sterben-deutlich-frueher

 

[Kate]

@Kate: Macht es Sinn, falls dieses "Projekt" zustande kommt, es in einen neuen Thread auszulagern?

Ja, ich denke schon. Danke für Deine Initiative.

Zeit: In der nächsten vermutlich gar keine...
(...)
Meine Meinung bzgl. Auslagern: Wenn wir das umfassend auseinandernehmen, würde ich eher hier einen Link setzen auf einen extra Thread. In dem neuen Thread ginge es dann schwerpunktmäßig um die Methodik, in diesem hier wäre eher eine ergebnisorientierte Sammlung, was Studie xy angeblich rausgefunden hat, was man aber gar nicht stehen lassen kann (manchmal reichen ja Kleinigkeiten, dass eine Studie Unfug ist). Macht das Sinn?

Ja, auch das finde ich eine gute Idee. Danke für Deinen Input. Zeit werde auch ich bis mindestens wohl Ende des Sommers nicht viel haben.

... die von Dir zitierte Studie keine Aussagen über Ursachen erlaubt, sondern nur Korrelationen und damit verbundene erhöhte Wahrscheinlichkeiten (also Risikofaktoren) festgestellt werden können. Dies kann ein Hinweis auf Kausalität sein, aber kein Beweis. "Correlation doesn't equal causation".

Das kann man nicht oft genug wiederholen (und ich habe es ja hier auch erst 3-5 Mal gemacht ). Die Mathematik jedenfalls gibt solche Aussagen grundsätzlich nicht her. Und ich denke, diese sollte in dem Projekt mit ihren Voraussetzungen (Studiendesign) und Schlussfolgerungen angeschaut werden.

Gruß
Kate

 

[Kate]

An anderer Stelle des Forums aufgeschnappt: Korrelation und Kausalität | Crashkurs Statistik

Vielleicht könnte dies ein laien-taugliches Nachschlagewerk für statistische Begriffe sein.

Gruß
Kate

 

[ullika]

Das Ergebnis ist eindeutig: Rauchen ist gefährlich und ein Risikofaktor für Krebs.
Oder noch besser: An Lungenkrebs sterben 77% der Raucher und nur 23% der Nichtraucher.

Man kann Ergebnisse immer verschieden interpretieren:
Ich könnte sagen, Kranke rauchen eben eher als Gesunde.

Ähnlich wie bei Dicken: Machen sie keinen Sport, weil sie dick sind oder sind sie dick, weil sie keinen Sport machen?

 

[exMarkus83]

@Kate: Bezüglich des Betafehlers oder Fehlers 2. Art hätte ich eine Frage an dich. Der Fehler 2. Art gibt ja die Wahrscheinlichkeit an, dass die Nullhypothese fälschlicherweise für wahr gehalten wird (z.B. hält man ein Medikament für unwirksam, obwohl es wirksam ist).

Nun wird der Fehler 2. Art (bzw. die Güte oder "power") in Studien aber nie angegeben. Ich meine mal gelesen zu haben, dass man die power auch nicht genau angeben kann. Meine Frage wäre, ob es eine Möglichkeit gibt, diese aufgrund der Studiendaten abzuschätzen.

Wenn der Fehler 2. Art z.B. 0,5 betragen würde, dann hieße das, dass von 10 Studien, die (ein in Wirklichkeit wirksames) Medikament gegen Placebo testen, 5 negativ ausfallen. Man kann also bei einer negativen Studie auf die Unwirksamkeit des Medikaments nur dann einigermaßen rückschließen, wenn die power hoch ist. Leider wird ein nicht nachgewiesener Effekt häufig mit Nichtwirksamkeit gleichgesetzt, was irreführend ist.

 

[Kate]

Hallo Markus

@Kate: Bezüglich des Betafehlers oder Fehlers 2. Art hätte ich eine Frage an dich. Der Fehler 2. Art gibt ja die Wahrscheinlichkeit an, dass die Nullhypothese fälschlicherweise für wahr gehalten wird (z.B. hält man ein Medikament für unwirksam, obwohl es wirksam ist).

Ich denke, das ist richtig beschrieben. Der Fehler 2. Art ist allerdings komplexer als es der Begriff ahnen lässt und ich stecke in der Materie nicht mehr wirklich drin. Ich habe in Beck-Bornholdts "Der Hund der Eier legt" nachgeschlagen, dort geht es auf den Seiten 144-149 um diese Art Fehler und inwieweit Studien diesen überhaupt berücksichtigen. Ich könnte dies jetzt nicht ohne größeren Aufwand (und womöglich Fehler) zusammenfassen und würde daher vorschlagen, dass Du Dir diese Seiten einmal durchliest.

Nun wird der Fehler 2. Art (bzw. die Güte oder "power") in Studien aber nie angegeben. Ich meine mal gelesen zu haben, dass man die power auch nicht genau angeben kann. Meine Frage wäre, ob es eine Möglichkeit gibt, diese aufgrund der Studiendaten abzuschätzen.

Güte/power ist, soweit ich es jetzt auf die Schnelle bei Kurzrecherche verstanden habe, nicht genau das gleiche wie der Fehler zweiter Art, doch das würde jetzt noch weiter führen (und verwirren).

Was den Fehler 2. Art angeht, zitiere ich Beck-Bornholdt (o.g. Buch, S. 147 oben):

Mit Tabelle 24 bewaffnet, wird bei Durchsicht der aktuellen medizinischen Literatur schnell deutlich, dass die meisten medizinischen Untersuchungen mit negativem Ergebnis wertlos sind - nicht wegen des negativen Ergebnisses, sondern weil selbst die größeren und wichtigen Studien selten mehr als insgesamt 320 Patienten einbeziehen. Bei einer Vorgabe von 20 Prozent für den Fehler zweiter Art werden mit diesen Patientenzahlen in jeder fünften Studie nicht gerade unerhebliche Unterschiede von immerhin 15 Prozentpunkten übersehen.

ISBN: 3499621967

Die Wahrscheinlichkeit, einen tatsächlich vorhandenen Unterschied zu übersehen, hängt laut S. 145 Absatz 2 ab von:

1. seiner Größe
2. der Wahrscheinlichkeit für den Fehler erster Art
3. der Anzahl der Patienten in der Studie

Die benötigte Patientenzahl lässt sich berechnen, das ist allerdings relativ kompliziert. Aus dem sich ergebenden umfangreichen Tabellenwerk wird ein Teil in Tabelle 24 wiedergegeben. Die Tabelle gibt eine grobe Näherung wieder für die Anzahl der benötigten Patienten, um einen vorgegebenen Unterschied zwischen zwei Therapiemodalitäten feststellen zu können - mit den Vorgaben: Wahrscheinlichkeit für den Fehler erster Art 5%, für den Fehler zweiter Art 20%.

Also zu Deiner Frage: Es scheint, dass es eher andersrum gemacht wird. Vorgegeben werden die gewünschten Fehler erster und zweiter Art und der "Unterschied" (in z.B. Heilungsraten). Daraus wird die benötigte Anzahl von Patienten berechnet.

Hier: Fehler 1. Art, Fehler 2. Art | Fehler beim Testen von Hypothesen - MatheGuru ... steht auch direkt:

Im Gegensatz zum Fehler 1. Art, lässt sich die Wahrscheinlichkeit für den Fehler 2. Art in der Regel nicht berechnen.

Weiter wird in dem Kapitel noch eine Faustformel dafür angegeben.

Leider wird ein nicht nachgewiesener Effekt häufig mit Nichtwirksamkeit gleichgesetzt, was irreführend ist.

Das scheint mir nach dem oben gesagten richtig zu sein.

Gruß
Kate

 

[exMarkus83]

Danke für den Input. Das Büchlein habe ich - derzeit - nicht zur Hand, werde aber versuchen es zu organisieren.

Profunde Studienkritik liefert auch Prof. Goetzsche von der Cochrane Collaboration in seinem Buch "Tödliche Psychopharmaka".

 

[Kate]

Trügerische Diagnosen... Scobel-Sendung vom 22.02.2018

Die Scobel-Sendung "Trügerische Diagnosen" vom 22.02.2018 finde ich für diesen Thread auch interessant, derzeit ist sie noch in der Mediathek zu sehen.

Trendige Befunde in der Medizin
Diagnosen sind nicht immer wissenschaftlich fundiert. Ärzte und Patienten unterliegen ihren subjektiven Eindrücken und neigen manchmal zu voreiligen Schlüssen. (...)

scobel: Trügerische Diagnosen - Trendige Befunde in der Medizin

Wenn das alles wäre, aber es geht ja noch weiter... monetäre Einflüsse spielen bei Diagnosestellungen wohl eine nicht unerhebliche Rolle. Und das hat weitere Folgen.

Ein paar Stichpunkte dazu (nach meiner Erinnerung und in meinen Worten zusammengefasst):

• Diagnosestellungen erfolgen nicht immer nur mit dem Ziel, dem Patienten zu helfen, sondern es gibt u.a. monetäre Anreize, dass Patienten bestimmte (möglichst schwere) Diagnosen erhalten...
• ... für Krankenkassen, weil sie für diejenigen Patienten aus dem Gesundheitsfonds Geld bekommen, denen eine von 80 festgelegten Diagnosen gestellt wurde - die Diagnosen entsprechen dabei bestimmten "Kodierungen" (damit ist wohl der ICD-Code gemeint) -
• ... und in der Folge teils für die Diagnosesteller, also Ärzte, die "Kodierungshilfe" von Krankenkassen in Anspruch nahmen (oder immer noch nehmen, trotz Verbot seit Frühjahr 2017?) und mehr von den relevanten Diagnosen stellen; es gibt auch sogenannte "Betreuungsstrukturverträge", die dabei eine Rolle spielen (ich weiß nicht, was es damit genau auf sich hat); der Chef der Techniker Krankenkasse zum Thema: "Eine Milliarde Euro geht jährlich durch frisierte Diagnosen verloren: Krankenkassen überzeugen Ärzte, ihre Patienten auf dem Papier kränker zu machen. Und was haben sie davon? "Geld!", siehe "Es ist ein Skandal!" - 3sat.Mediathek (3sat.de/mediathek/?mode=play&obj=62076)
• Dadurch entsprechen die gestellten Diagnosen keineswegs den tatsächlichen Krankheitszuständen der Bevölkerung
• Mithilfe von Datenbanken, die u.a. diese gestellten Diagnosen enhalten, soll aber wohl eine computergestützte Diagnostik vorangetrieben werden, vermeintlich zur Entlastung von Ärzten (schnellerer Abgleich großer Datenmengen durch Computer möglich) und damit zum Wohl der Patienten, da für diese mehr "Sprechzeit" übrigbleibt

Dies kann für den Einzelnen Fehl- oder Über-Diagnostizierten gravierende Folgen haben (Über-Behandlung durch z.B. Einnahme unnötiger Medikamente, emotionale Folgen wie unnötige Angst, soziale Folgen bei z.B. Abschluss von Versicherungen).

Einen weiteren Punkt sprach Gerd Antes (Mathematiker und wissenschaftlicher Vorstand von Cochrane Deutschland) gegen Ende der Sendung an: den fragwürdigen Nutzen einer Datenbank, in die von vornherein falsche Daten eingespeist werden. Die anderen Gäste haben zu diesem grundlegenden Punkt wenig Stellung genommen (vielleicht aus Zeitgründen, es war wie gesagt gegen Ende der Sendung) und ich vermute, dass darüber im Allgemeinen eher wenig nachgedacht wird - oder könnte auch da ein Kalkül dahinterstecken?

Gruß
Kate

 

[damdam]

Hallo Kate,

lieben Dank für den Hinweis und die ausführliche "Vorschau". scobel finde ich richtig gut, auch bei anderen Themen.

Was das letzte angeht: Ich glaube, da guckt jeder nur auf seinen eigenen Vorteil und was das für andere Bereiche und die Gesamtheit der Gesellschaft bedeutet, interessiert nicht:
- Die Ärzte und Krankenkassen: Das hast Du oben schon geschrieben
- Die IT-Techniker und an der eGk Beteiligten und Politik sehen es auch als Prestige und Möglichkeit, damit Geld zu machen, entsprechend machen sie dafür einseitig Werbung. Will doch (fast) jeder hören, dass man mit wenig Geld Probleme lösen kann (also durch statistische Analyse von auf eGk's gespeicherten Diagnosen/Werten man zu neuen "bahnbrechenden" Schlüssen kommen kann), auch wenn es gar nicht so ist. Ist wie mit den 3 Affen: "nichts hören - nichts sehen - nichts sagen". Das ist zumindest mein Eindruck.

Was mich bei dem BEitrag der TK (zweiter Link) interessiert: Macht die TK das nun auch so mit dem Betrug? Ich hab das nicht wirklich verstanden.

Viele Grüße

 

[Kate]

Hallo damdam

... scobel finde ich richtig gut, auch bei anderen Themen.

Find ich auch. Wenn auch anstrengend. Kaum ist man mal 2-3 Sekunden unaufmerksam, hat er einen abgehängt mit seinem informationsdichten Redefluss

Was das letzte angeht: Ich glaube, da guckt jeder nur auf seinen eigenen Vorteil...

Ich denke in diesem Fall (und auch auf Studien allgemein bezogen, ich meine, ich schrieb das auch ganz vorn im Thread schonmal), dass hier oftmals nicht mal Manipulationsabsicht bzw. Kalkül dahintersteckt, sondern ein tatsächliches Nicht-Durchschauen bzw. Übersehen von Denkfehlern.

Nach dem von Herrn Antes eingebrachten Punkt (Folgen des Einspeisens falscher Daten) reagierte die ja auch sehr kritische Frau vom Ethikausschuss z.B. so, dass ich vermute, dass sie das womöglich nicht - jedenfalls nicht auf die Schnelle - erfasst hat.

Mathematiker werden allerdings oft mit ihren ganz grundlegenden Gedanken nicht verstanden Bei einer Diskussion zu der von Dir ja auch erwähnten egK habe ich z.B. mal erlebt, wie einer auf die Tatsache hinwies, dass Verschlüsselungen grundsätzlich unsicher sind. Ich hatte den Eindruck, dass die Mit-Diskutanden diesen Punkt nicht wirklich würdigen konnten.

- Die IT-Techniker und an der eGk Beteiligten und Politik sehen es auch als Prestige und Möglichkeit, damit Geld zu machen, entsprechend machen sie dafür einseitig Werbung. Will doch (fast) jeder hören, dass man mit wenig Geld Probleme lösen kann,...

Da ist vermutlich auch was dran...

Was mich bei dem BEitrag der TK (zweiter Link) interessiert: Macht die TK das nun auch so mit dem Betrug? Ich hab das nicht wirklich verstanden.

Das wird der Mann von der TK direkt gefragt im Interview und ich verstehe seine Antwort als "ja" (... weil die TK sonst wirtschaftlich abgehängt wäre).

Lb. Gruß
Kate

 

[damdam]

Ich denke in diesem Fall (und auch auf Studien allgemein bezogen, ich meine, ich schrieb das auch ganz vorn im Thread schonmal), dass hier oftmals nicht mal Manipulationsabsicht bzw. Kalkül dahintersteckt, sondern ein tatsächliches Nicht-Durchschauen bzw. Übersehen von Denkfehlern.

Das meinte ich auch, im Zusammenhang damit, dass die Leute sich oft nicht die Mühe machen, sich ausreichend damit auseinanderzusetzen (so ein bisschen eine Mischung aus Materie zu kompliziert, selbst zu naiv um überhaupt größere Probleme zu erahnen). Aber aufgrund des eigenen Vorteils muss da schon ein hoher Anreiz sein bzw. die Problematik einem quasi auf die Füsse fallen, damit man trotzdem genauer hinsieht. Wahrscheinlich ist es so eine Mischung aus Egoismus und Naivität, je nach Person mehr in die eine oder andere Richtung ausgeprägt ("Naivität" nicht unbedingt wertend gemeint).

Mathematiker werden allerdings oft mit ihren ganz grundlegenden Gedanken nicht verstanden

Versteh ich

Liebe Grüße

 

[MS Patientin]

Hallo Kate,
so weit weg ist das nicht deshalb will ich es dich wissen lassen:
https://www.symptome.ch/threads/oeffentliche-petition-anstehend.140850/#post-1232229

 

[Kate]

Danke für den Link, MS-Patientin. Wir können ihn gern hier stehen lassen, es sollte aber an der ursprünglichen Stelle weiter diskutiert werden, um Paralleldiskussionen zu vermeiden und weil es dort thematisch besser hinpasst.

Gruß
Kate

 

[nicht der papa]

Am Beispiel Homonersatztherapie, die jetzt wohl sicher schon 40 Jahre alt ist, sieht man doch, wie das läuft.
Erst werden Therapien entwickelt.
Dann erscheinen die ersten kleineren Studien, die über negative Folgen berichten.
Darauf folgen in der Regel eine Unzahl an Studien, darunter meist mehrere Metastudien, die die negativen Folgen als nicht existent widerlegen.
In dieser Zeit erscheinen dann auch noch ein paar vereinzelte neue Studien, die die negativen Folgen bestätigen.

Die großen Studien werden als beweiskräftig hingestellt, die kleinen als nicht wirklich aussagekräftig.
Man spricht von nicht bestätigten Risiken und diese werden Jahrzehnte! ignoriert.
Die Behandlung mit Hormonen in den Wechseljahren bleibt somit lange Zeit Stand der medizinischen Behandlung in den Wechseljahren.

Ärzte haben aber ebenso nach dem aktuellen Stand der Medizin zu behandeln wie Techniker ihre Anlagen nach dem aktuellen Stand der Technik zu errichten haben.

Deshalb ist die Freiheit in der Behandlung, wenn man ehrlich ist, nur relativ. Und nicht nur das. Ärzte werden oft auch von den Ihnen vorgesetzten Stellen getadelt und mit Konsequenzen bedroht, wenn sie nicht nach dem aktuellen Stand der Medizin handeln, sowie ganz konkret angewiesen bestimmte Maßnahmen durchzuführen und ihren Patienten eindringlich anzubieten. Dafür gibt es ja die jeweils gültigen Leitlinien.

Ärzte sind die Exekutive dieses Systems. Sie haben ihren Patientinnen diese Hormone verschrieben und nicht die Pharmaindustrie, auch wenn hier die Pharmareferenten sicher eine nicht unerhebliche Rolle spielen mögen.
Sie sind per Gesetz verpflichtet über Risiken aufzuklären. Es ist aber hinlänglich bekannt, dass viele das nur sehr unzureichend tun. Alleine, es wird ihnen eh nicht bezahlt und im Falle offiziell nicht anerkannter Studien erübrigte es sich sowieso.

Nur, das auch da rein rechtlich jede Patientin selbst entschieden hat, ob sie dieser Behandlung zustimmt.
Denn der Behandlungsvertrag mit dem Arzt wird erst durch die Zustimmung des Patienten in die vorgeschlagene Behandlung rechtswirksam. Es sei denn er ist nicht in der Lage selbst zuzustimmen, da er entmündigt, nicht im Besitz seiner geistigen Kräfte oder ohne Bewusstsein ist.

Deshalb kann niemand einem Menschen diese Zustimmungspflicht zu einer Behandlung abnehmen.

Nachdem es also vor 30 Jahren schon mehrere kleine Studien gab, die das Krebsrisiko betonten, dass von vielen anderen Studien widerlegt wurde, haben erst die britische Million Women Study und eine weitere große amerikanische so eindeutig gezeigt, dass das Krebsrisiko erhöht ist, dass die Erklärung von uns Ulla 2003 ins Internet gesetzt wurde. Senatspressestelle - Bundesgesundheitsministerin fordert mehr Aufklärung über Hormonersatztherapie

Doch bis heute haben z.B. die Frauenärzte-im-Netz die Hormonersatztherapie - Das Mittel der Wahl als Empfehlung auf ihrer HP.

Weil ich es so geil finde, hier auch die Stellungnahme von Ulla zur Hormonersatztherapie zu finden und weil dieser Thread derzeit eigentlich aktuell wie nie ist, hole ich ihn mal hoch.

 

[Kate]

Was außer dem (von mir gekürzten) Vollzitat gibt's denn neues zur Hormonersatztherapie, warum Du das hier hochholst?

Der Thread muss nicht künstlich belebt werden - wenn es etwas Substanzielles dazu gibt, wird das schon hier landen. Es geht hier vor allem darum, grundsätzliche Mechanismen an Beispielen konkret aufzuzeigen.

Gruß
Kate

 

[Kate]

Eine kleine Erinnerung aus gegebenem Anlass:

Wer gern hier posten möchte,

... schaue sich bitte zunächst die ersten Beiträge dieses Threads an, um zu sehen, wie ich ihn gemeint habe. Mir ist's hier besonders wichtig, dass wir eng am Thema bleiben Falls es nicht anders geht, würde ich sonst hier schließen und Beiträge einzeln freischalten.

Gruß
Kate