Medizin. Wissenschaft - Fehler in Design / Auswertung von Studien

Beitritt
14.09.09
Beiträge
157
Rauchen ist z. B. ein Risikofaktor für Krebs und Kreislauferkrankungen. Das heisst, nicht jeder Raucher stirbt daran, trotzdem kann man das allgemeine Risiko berechnen, wenn man genügend Daten zur Verfügung hat.

Nehmen wir die Zahlen für 2014 aus der offiziellen Statisik, die leicht gerundet und teilweise geschätzt wurden.

Es gab geschätzt 174.000 Raucher, von denen 34.800 (20%) an Lungenkrebs starben.

Es gab 696.000 Nichtraucher, von denen 10.200 (1,5%) an Lungenkrebs starben.

Das Ergebnis ist eindeutig: Rauchen ist gefährlich und ein Risikofaktor für Krebs.

Eine derartige Rechnung wird häufig praktiziert, um irgenwas zu beweisen. Viele derartige Beispiele findet man in den Büchern von Beck-Bornholdt und Dubben, die von Kate empfohlen wurden.

Wie sieht die Rechnung nun richtig aus? Dazu müsste man ein Tabelle machen, das geht aber hier nicht.

Von den 174.000 Rauchern sterben an anderem Krebs: 10.000 Zusammen also 44.800 oder 25,75%

Von den 696.000 Nichtrauchern sterben 169.000 an anderen Krebsarten, zusammen also 179.200 oder 25,75%

Ergebnis: Sowohl 25,75% der Raucher als auch 25,75% der Nichtraucher sterben an Krebs.

Natürlich kann man das wunderbar publizieren: 20% der Raucher sterben an Lungenkrebs und nur 1,5% der Nichtraucher.

Oder noch besser: An Lungenkrebs sterben 77% der Raucher und nur 23% der Nichtraucher.
 
Zuletzt bearbeitet:
Beitritt
18.03.16
Beiträge
4.674
Zuletzt bearbeitet:

Kate

Moderatorin
Teammitglied
Themenstarter
Beitritt
16.11.04
Beiträge
12.235
@Kate: Macht es Sinn, falls dieses "Projekt" zustande kommt, es in einen neuen Thread auszulagern?
Ja, ich denke schon. Danke für Deine Initiative.

Zeit: In der nächsten vermutlich gar keine...
(...)
Meine Meinung bzgl. Auslagern: Wenn wir das umfassend auseinandernehmen, würde ich eher hier einen Link setzen auf einen extra Thread. In dem neuen Thread ginge es dann schwerpunktmäßig um die Methodik, in diesem hier wäre eher eine ergebnisorientierte Sammlung, was Studie xy angeblich rausgefunden hat, was man aber gar nicht stehen lassen kann (manchmal reichen ja Kleinigkeiten, dass eine Studie Unfug ist). Macht das Sinn?
Ja, auch das finde ich eine gute Idee. Danke für Deinen Input. Zeit werde auch ich bis mindestens wohl Ende des Sommers nicht viel haben.
... die von Dir zitierte Studie keine Aussagen über Ursachen erlaubt, sondern nur Korrelationen und damit verbundene erhöhte Wahrscheinlichkeiten (also Risikofaktoren) festgestellt werden können. Dies kann ein Hinweis auf Kausalität sein, aber kein Beweis. "Correlation doesn't equal causation".
Das kann man nicht oft genug wiederholen (und ich habe es ja hier auch erst 3-5 Mal gemacht ;)). Die Mathematik jedenfalls gibt solche Aussagen grundsätzlich nicht her. Und ich denke, diese sollte in dem Projekt mit ihren Voraussetzungen (Studiendesign) und Schlussfolgerungen angeschaut werden.

Gruß
Kate
 
Zuletzt bearbeitet:
Beitritt
27.08.13
Beiträge
4.168
Das Ergebnis ist eindeutig: Rauchen ist gefährlich und ein Risikofaktor für Krebs.
Oder noch besser: An Lungenkrebs sterben 77% der Raucher und nur 23% der Nichtraucher.

Man kann Ergebnisse immer verschieden interpretieren:
Ich könnte sagen, Kranke rauchen eben eher als Gesunde. :)

Ähnlich wie bei Dicken: Machen sie keinen Sport, weil sie dick sind oder sind sie dick, weil sie keinen Sport machen?
 

exMarkus83

@Kate: Bezüglich des Betafehlers oder Fehlers 2. Art hätte ich eine Frage an dich. Der Fehler 2. Art gibt ja die Wahrscheinlichkeit an, dass die Nullhypothese fälschlicherweise für wahr gehalten wird (z.B. hält man ein Medikament für unwirksam, obwohl es wirksam ist).

Nun wird der Fehler 2. Art (bzw. die Güte oder "power") in Studien aber nie angegeben. Ich meine mal gelesen zu haben, dass man die power auch nicht genau angeben kann. Meine Frage wäre, ob es eine Möglichkeit gibt, diese aufgrund der Studiendaten abzuschätzen.

Wenn der Fehler 2. Art z.B. 0,5 betragen würde, dann hieße das, dass von 10 Studien, die (ein in Wirklichkeit wirksames) Medikament gegen Placebo testen, 5 negativ ausfallen. Man kann also bei einer negativen Studie auf die Unwirksamkeit des Medikaments nur dann einigermaßen rückschließen, wenn die power hoch ist. Leider wird ein nicht nachgewiesener Effekt häufig mit Nichtwirksamkeit gleichgesetzt, was irreführend ist.
 

Kate

Moderatorin
Teammitglied
Themenstarter
Beitritt
16.11.04
Beiträge
12.235
Hallo Markus
@Kate: Bezüglich des Betafehlers oder Fehlers 2. Art hätte ich eine Frage an dich. Der Fehler 2. Art gibt ja die Wahrscheinlichkeit an, dass die Nullhypothese fälschlicherweise für wahr gehalten wird (z.B. hält man ein Medikament für unwirksam, obwohl es wirksam ist).
Ich denke, das ist richtig beschrieben. Der Fehler 2. Art ist allerdings komplexer als es der Begriff ahnen lässt und ich stecke in der Materie nicht mehr wirklich drin. Ich habe in Beck-Bornholdts "Der Hund der Eier legt" nachgeschlagen, dort geht es auf den Seiten 144-149 um diese Art Fehler und inwieweit Studien diesen überhaupt berücksichtigen. Ich könnte dies jetzt nicht ohne größeren Aufwand (und womöglich Fehler) zusammenfassen und würde daher vorschlagen, dass Du Dir diese Seiten einmal durchliest.

Nun wird der Fehler 2. Art (bzw. die Güte oder "power") in Studien aber nie angegeben. Ich meine mal gelesen zu haben, dass man die power auch nicht genau angeben kann. Meine Frage wäre, ob es eine Möglichkeit gibt, diese aufgrund der Studiendaten abzuschätzen.
Güte/power ist, soweit ich es jetzt auf die Schnelle bei Kurzrecherche verstanden habe, nicht genau das gleiche wie der Fehler zweiter Art, doch das würde jetzt noch weiter führen (und verwirren).

Was den Fehler 2. Art angeht, zitiere ich Beck-Bornholdt (o.g. Buch, S. 147 oben):
Mit Tabelle 24 bewaffnet, wird bei Durchsicht der aktuellen medizinischen Literatur schnell deutlich, dass die meisten medizinischen Untersuchungen mit negativem Ergebnis wertlos sind - nicht wegen des negativen Ergebnisses, sondern weil selbst die größeren und wichtigen Studien selten mehr als insgesamt 320 Patienten einbeziehen. Bei einer Vorgabe von 20 Prozent für den Fehler zweiter Art werden mit diesen Patientenzahlen in jeder fünften Studie nicht gerade unerhebliche Unterschiede von immerhin 15 Prozentpunkten übersehen.
Bücher von Amazon
ISBN: 3499621967


Die Wahrscheinlichkeit, einen tatsächlich vorhandenen Unterschied zu übersehen, hängt laut S. 145 Absatz 2 ab von:

  1. seiner Größe
  2. der Wahrscheinlichkeit für den Fehler erster Art
  3. der Anzahl der Patienten in der Studie
Die benötigte Patientenzahl lässt sich berechnen, das ist allerdings relativ kompliziert. Aus dem sich ergebenden umfangreichen Tabellenwerk wird ein Teil in Tabelle 24 wiedergegeben. Die Tabelle gibt eine grobe Näherung wieder für die Anzahl der benötigten Patienten, um einen vorgegebenen Unterschied zwischen zwei Therapiemodalitäten feststellen zu können - mit den Vorgaben: Wahrscheinlichkeit für den Fehler erster Art 5%, für den Fehler zweiter Art 20%.

Also zu Deiner Frage: Es scheint, dass es eher andersrum gemacht wird. Vorgegeben werden die gewünschten Fehler erster und zweiter Art und der "Unterschied" (in z.B. Heilungsraten). Daraus wird die benötigte Anzahl von Patienten berechnet.

Hier: Fehler 1. Art, Fehler 2. Art | Fehler beim Testen von Hypothesen - MatheGuru ... steht auch direkt:
Im Gegensatz zum Fehler 1. Art, lässt sich die Wahrscheinlichkeit für den Fehler 2. Art in der Regel nicht berechnen.
Weiter wird in dem Kapitel noch eine Faustformel dafür angegeben.

Leider wird ein nicht nachgewiesener Effekt häufig mit Nichtwirksamkeit gleichgesetzt, was irreführend ist.
Das scheint mir nach dem oben gesagten richtig zu sein.

Gruß
Kate
 
Zuletzt bearbeitet:

exMarkus83

Danke für den Input. Das Büchlein habe ich - derzeit - nicht zur Hand, werde aber versuchen es zu organisieren.

Profunde Studienkritik liefert auch Prof. Goetzsche von der Cochrane Collaboration in seinem Buch "Tödliche Psychopharmaka".
 

Kate

Moderatorin
Teammitglied
Themenstarter
Beitritt
16.11.04
Beiträge
12.235
Trügerische Diagnosen... Scobel-Sendung vom 22.02.2018

Die Scobel-Sendung "Trügerische Diagnosen" vom 22.02.2018 finde ich für diesen Thread auch interessant, derzeit ist sie noch in der Mediathek zu sehen.
Trendige Befunde in der Medizin
Diagnosen sind nicht immer wissenschaftlich fundiert. Ärzte und Patienten unterliegen ihren subjektiven Eindrücken und neigen manchmal zu voreiligen Schlüssen. (...)
scobel: Trügerische Diagnosen - Trendige Befunde in der Medizin

Wenn das alles wäre, aber es geht ja noch weiter... monetäre Einflüsse spielen bei Diagnosestellungen wohl eine nicht unerhebliche Rolle. Und das hat weitere Folgen.

Ein paar Stichpunkte dazu (nach meiner Erinnerung und in meinen Worten zusammengefasst):
  • Diagnosestellungen erfolgen nicht immer nur mit dem Ziel, dem Patienten zu helfen, sondern es gibt u.a. monetäre Anreize, dass Patienten bestimmte (möglichst schwere) Diagnosen erhalten...
  • ... für Krankenkassen, weil sie für diejenigen Patienten aus dem Gesundheitsfonds Geld bekommen, denen eine von 80 festgelegten Diagnosen gestellt wurde - die Diagnosen entsprechen dabei bestimmten "Kodierungen" (damit ist wohl der ICD-Code gemeint) -
  • ... und in der Folge teils für die Diagnosesteller, also Ärzte, die "Kodierungshilfe" von Krankenkassen in Anspruch nahmen (oder immer noch nehmen, trotz Verbot seit Frühjahr 2017?) und mehr von den relevanten Diagnosen stellen; es gibt auch sogenannte "Betreuungsstrukturverträge", die dabei eine Rolle spielen (ich weiß nicht, was es damit genau auf sich hat); der Chef der Techniker Krankenkasse zum Thema: "Eine Milliarde Euro geht jährlich durch frisierte Diagnosen verloren: Krankenkassen überzeugen Ärzte, ihre Patienten auf dem Papier kränker zu machen. Und was haben sie davon? "Geld!", siehe "Es ist ein Skandal!" - 3sat.Mediathek
  • Dadurch entsprechen die gestellten Diagnosen keineswegs den tatsächlichen Krankheitszuständen der Bevölkerung
  • Mithilfe von Datenbanken, die u.a. diese gestellten Diagnosen enhalten, soll aber wohl eine computergestützte Diagnostik vorangetrieben werden, vermeintlich zur Entlastung von Ärzten (schnellerer Abgleich großer Datenmengen durch Computer möglich) und damit zum Wohl der Patienten, da für diese mehr "Sprechzeit" übrigbleibt
Dies kann für den Einzelnen Fehl- oder Über-Diagnostizierten gravierende Folgen haben (Über-Behandlung durch z.B. Einnahme unnötiger Medikamente, emotionale Folgen wie unnötige Angst, soziale Folgen bei z.B. Abschluss von Versicherungen).

Einen weiteren Punkt sprach Gerd Antes (Mathematiker und wissenschaftlicher Vorstand von Cochrane Deutschland) gegen Ende der Sendung an: den fragwürdigen Nutzen einer Datenbank, in die von vornherein falsche Daten eingespeist werden. Die anderen Gäste haben zu diesem grundlegenden Punkt wenig Stellung genommen (vielleicht aus Zeitgründen, es war wie gesagt gegen Ende der Sendung) und ich vermute, dass darüber im Allgemeinen eher wenig nachgedacht wird - oder könnte auch da ein Kalkül dahinterstecken?

Gruß
Kate
 
Zuletzt bearbeitet:
Beitritt
02.10.10
Beiträge
4.345
Hallo Kate,

lieben Dank für den Hinweis und die ausführliche "Vorschau". scobel finde ich richtig gut, auch bei anderen Themen.

Was das letzte angeht: Ich glaube, da guckt jeder nur auf seinen eigenen Vorteil und was das für andere Bereiche und die Gesamtheit der Gesellschaft bedeutet, interessiert nicht:
- Die Ärzte und Krankenkassen: Das hast Du oben schon geschrieben
- Die IT-Techniker und an der eGk Beteiligten und Politik sehen es auch als Prestige und Möglichkeit, damit Geld zu machen, entsprechend machen sie dafür einseitig Werbung. Will doch (fast) jeder hören, dass man mit wenig Geld Probleme lösen kann (also durch statistische Analyse von auf eGk's gespeicherten Diagnosen/Werten man zu neuen "bahnbrechenden" Schlüssen kommen kann), auch wenn es gar nicht so ist. Ist wie mit den 3 Affen: "nichts hören - nichts sehen - nichts sagen". Das ist zumindest mein Eindruck.

Was mich bei dem BEitrag der TK (zweiter Link) interessiert: Macht die TK das nun auch so mit dem Betrug? Ich hab das nicht wirklich verstanden.

Viele Grüße
 

Kate

Moderatorin
Teammitglied
Themenstarter
Beitritt
16.11.04
Beiträge
12.235
Hallo damdam

... scobel finde ich richtig gut, auch bei anderen Themen.
Find ich auch. Wenn auch anstrengend. Kaum ist man mal 2-3 Sekunden unaufmerksam, hat er einen abgehängt mit seinem informationsdichten Redefluss :rolleyes:

Was das letzte angeht: Ich glaube, da guckt jeder nur auf seinen eigenen Vorteil...
Ich denke in diesem Fall (und auch auf Studien allgemein bezogen, ich meine, ich schrieb das auch ganz vorn im Thread schonmal), dass hier oftmals nicht mal Manipulationsabsicht bzw. Kalkül dahintersteckt, sondern ein tatsächliches Nicht-Durchschauen bzw. Übersehen von Denkfehlern.

Nach dem von Herrn Antes eingebrachten Punkt (Folgen des Einspeisens falscher Daten) reagierte die ja auch sehr kritische Frau vom Ethikausschuss z.B. so, dass ich vermute, dass sie das womöglich nicht - jedenfalls nicht auf die Schnelle - erfasst hat.

Mathematiker werden allerdings oft mit ihren ganz grundlegenden Gedanken nicht verstanden :D Bei einer Diskussion zu der von Dir ja auch erwähnten egK habe ich z.B. mal erlebt, wie einer auf die Tatsache hinwies, dass Verschlüsselungen grundsätzlich unsicher sind. Ich hatte den Eindruck, dass die Mit-Diskutanden diesen Punkt nicht wirklich würdigen konnten.

- Die IT-Techniker und an der eGk Beteiligten und Politik sehen es auch als Prestige und Möglichkeit, damit Geld zu machen, entsprechend machen sie dafür einseitig Werbung. Will doch (fast) jeder hören, dass man mit wenig Geld Probleme lösen kann,...
Da ist vermutlich auch was dran...

Was mich bei dem BEitrag der TK (zweiter Link) interessiert: Macht die TK das nun auch so mit dem Betrug? Ich hab das nicht wirklich verstanden.
Das wird der Mann von der TK direkt gefragt im Interview und ich verstehe seine Antwort als "ja" (... weil die TK sonst wirtschaftlich abgehängt wäre).

Lb. Gruß
Kate
 
Zuletzt bearbeitet:
Beitritt
02.10.10
Beiträge
4.345
Ich denke in diesem Fall (und auch auf Studien allgemein bezogen, ich meine, ich schrieb das auch ganz vorn im Thread schonmal), dass hier oftmals nicht mal Manipulationsabsicht bzw. Kalkül dahintersteckt, sondern ein tatsächliches Nicht-Durchschauen bzw. Übersehen von Denkfehlern.

Das meinte ich auch, im Zusammenhang damit, dass die Leute sich oft nicht die Mühe machen, sich ausreichend damit auseinanderzusetzen (so ein bisschen eine Mischung aus Materie zu kompliziert, selbst zu naiv um überhaupt größere Probleme zu erahnen). Aber aufgrund des eigenen Vorteils muss da schon ein hoher Anreiz sein bzw. die Problematik einem quasi auf die Füsse fallen, damit man trotzdem genauer hinsieht. Wahrscheinlich ist es so eine Mischung aus Egoismus und Naivität, je nach Person mehr in die eine oder andere Richtung ausgeprägt ("Naivität" nicht unbedingt wertend gemeint).
Mathematiker werden allerdings oft mit ihren ganz grundlegenden Gedanken nicht verstanden :D
Versteh ich :)

Liebe Grüße
 

Kate

Moderatorin
Teammitglied
Themenstarter
Beitritt
16.11.04
Beiträge
12.235
Danke für den Link, MS-Patientin. Wir können ihn gern hier stehen lassen, es sollte aber an der ursprünglichen Stelle weiter diskutiert werden, um Paralleldiskussionen zu vermeiden und weil es dort thematisch besser hinpasst.

Gruß
Kate
 
Zuletzt bearbeitet:
Oben