Парадокс "парадокса Симпсона"
Aug. 28th, 2021 09:13 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
fact_checkersВынесу из комментов, а тот тут пропагандонам подвезли новую методичку про парадокс Симпсона, и не все понимают, в чём подвох.
В двух словах, парадокс Симпсона заключается в том, что "кажущаяся" эффективность той же вакцины в целом по популяции может получиться ниже, чем в каждой из отдельных групп, из-за их сильной разнородности.
Ну, типа, если считать на 100к населения, доверившись цифрам Минздрава Израиля, то эффективность вакцины в целом выходит 67%, однако для возрастной группы младше 50 лет получается 92%, а для возрастной группы 50+ лет 85% -- оба показателя больше, чем общий.
А если разбивать по ещё более узким возрастным группам по 10 лет, то внутри каждой группы эффективность и вовсе зашкалит за 90%, а в некоторых станет абсолютной (100%).
Проблема в том, что чем сильнее мы дробим общую выборку, тем меньше статистическая значимость получаемых результатов, тем менее репрезентативными получаются "осколки", а главное -- тем существеннее искажения, вносимые сопутствующими факторами, которые мы не учитываем, считая их идентичными для обоих сравниваемых групп, а делать это совершенно неправомерно.
Между тем, иногда оказывается, что именно разница (между группами) в частоте таких неучтённых факторов и отвечает за все найденные закономерности, а вовсе не тот параметр, который мы проверяли. И чем меньше сравниваемая выборка, тем существеннее это может искажать результат. Это называется confounding bias.
Хрестоматийный пример -- нашумевшие научные исследования "кофе вызывает рак лёгких", якобы на 14% за каждые 2 выпиваемые чашки в день.
Но оказалось, что среди пьющих много кофе большая доля курящих. И эти результаты на самом деле обусловлены именно влиянием курения, а вовсе не кофе.
Когда курильщиков учли правильно, то оказалось, что никакого риска рака лёгких от самого кофе нет (да и если подумать, какая может быть связь между кофе и лёгкими?): https://cebp.aacrjournals.org/content/25/6/951
Поэтому для оценки эффективности вакцин в клинических испытаниях обе группы, и прuвuтую, и нет, максимально рандомизируют, т.е. добиваются, чтобы по всем важным параметрам (возраст, факторы риска, особенно хронические заболевания и т.п.) были распределены максимально равномерно между обеими группами.
Понятно, что в реальной жизни такого добиться невозможно, но когда у нас по несколько миллионов человек в каждой из групп, можно считать, что с каким-то допуском это соблюдается.
В Израиле непрuвuтых 60+ лет всего около 90 000 человек, а прuвuтых (двумя и более дозами) 1,5 миллиона.
Легко догадаться, что среднее состояние здоровья в группе прuвuтых заметно лучше, т.к. в группе непрuвuтых находятся все те, кому прививка противопоказана по состоянию здоровья, терминальные больные, которые при прочих равных будут чаще умирать от каждого чиха.
И для выборки 90 000 человек такое смещение тем более критично. Тем более, что как сказал директор одного из израильских к0вuдариев, у них в статистику тяжелых ковидных пациентов попадают все, кто госпитализирован по любой причине, а в больнице сдал ПЦР+
Как это влияет -- можно показать на простом и наглядном примере. Допустим, у нас есть два лекарства, реальная эффективность первого равна 40%, реальная эффективность второго равна 60%, т.е. второе лекарство на треть эффективнее первого. Но мы об этом не знаем, и у нас есть 1 600 000 человек, на которых мы будем это проверять.
1) Разобьём их на две равные группы - по 800 000, и дадим каждой своё лекарство. Обе группы идеально рандомизированы, за исключением одного фактора - так получилось, что во второй оказалось 40 000 человек, которым это лекарство противопоказано, и они не стали его пить. Но исследователям об этом неизвестно.
Тогда в первой группе заболеет 480 000, а во второй 344 000 (40% из 760 000 принявших лекарство плюс все 40 000, кто его не стал пить).
По методика оценки эффективности вakцuн, эффективность второго лекарства по сравнению со первым из-за этого составит
Ef = 1 - 344k/800k / 480k/800k = 28% вместо реальных 33%.
Из-за достаточно большого объёма обеих выборок искажение получилось невелико, но оно всё равно есть.
2) А теперь сделаем как в Израиле. Первое лекарство дадим 1 500 000 человекам. Второе - 100 000, из них все те же 40 000 с противопоказанием не стали его пить. В первой группе заболело 900 000, во второй 64 000. Считаем эффективность:
Ef = 1 - 64k/100k / 900k/1500k = -6,7% вместо 33%!
Из-за того, что выборки несопоставимы по объёму, а малая выборка к тому же вышла максимально нерепрезентативной, у нас получился недостоверный результат, будто второе лекарство хуже первого, хотя на самом деле оно на треть более эффективно.
А как надо было сделать правильно? Надо выявить и удалить из второй выборки всех, кому лекарство противопоказано. Тогда выборка станет репрезентативной, там останется 60 000 человек, заболеет из них 24 000 и эффективность получится:
Ef = 1 - 24k/60k / 900k/1500k = 33% как и положено.
Точно так же и с непривитыми 60+летними в Израиле. Мы не знаем, скольким из них вакцина противопоказана по состоянию здоровья, и какое искажение они тем самым вносят в результат. И если не очистить от них столь малую выборку, результат не может считаться достоверным. Особенно если учесть, что противопоказания к ковидным вакцинам чаще всего это тяжелые коморбидитеты, которые и сами по себе, при прочих равных условиях, увеличивают риски тяжелого течения и смерти.
В двух словах, парадокс Симпсона заключается в том, что "кажущаяся" эффективность той же вакцины в целом по популяции может получиться ниже, чем в каждой из отдельных групп, из-за их сильной разнородности.
Ну, типа, если считать на 100к населения, доверившись цифрам Минздрава Израиля, то эффективность вакцины в целом выходит 67%, однако для возрастной группы младше 50 лет получается 92%, а для возрастной группы 50+ лет 85% -- оба показателя больше, чем общий.
А если разбивать по ещё более узким возрастным группам по 10 лет, то внутри каждой группы эффективность и вовсе зашкалит за 90%, а в некоторых станет абсолютной (100%).
Проблема в том, что чем сильнее мы дробим общую выборку, тем меньше статистическая значимость получаемых результатов, тем менее репрезентативными получаются "осколки", а главное -- тем существеннее искажения, вносимые сопутствующими факторами, которые мы не учитываем, считая их идентичными для обоих сравниваемых групп, а делать это совершенно неправомерно.
Между тем, иногда оказывается, что именно разница (между группами) в частоте таких неучтённых факторов и отвечает за все найденные закономерности, а вовсе не тот параметр, который мы проверяли. И чем меньше сравниваемая выборка, тем существеннее это может искажать результат. Это называется confounding bias.
Хрестоматийный пример -- нашумевшие научные исследования "кофе вызывает рак лёгких", якобы на 14% за каждые 2 выпиваемые чашки в день.
Но оказалось, что среди пьющих много кофе большая доля курящих. И эти результаты на самом деле обусловлены именно влиянием курения, а вовсе не кофе.
Когда курильщиков учли правильно, то оказалось, что никакого риска рака лёгких от самого кофе нет (да и если подумать, какая может быть связь между кофе и лёгкими?): https://cebp.aacrjournals.org/content/25/6/951
Поэтому для оценки эффективности вакцин в клинических испытаниях обе группы, и прuвuтую, и нет, максимально рандомизируют, т.е. добиваются, чтобы по всем важным параметрам (возраст, факторы риска, особенно хронические заболевания и т.п.) были распределены максимально равномерно между обеими группами.
Понятно, что в реальной жизни такого добиться невозможно, но когда у нас по несколько миллионов человек в каждой из групп, можно считать, что с каким-то допуском это соблюдается.
В Израиле непрuвuтых 60+ лет всего около 90 000 человек, а прuвuтых (двумя и более дозами) 1,5 миллиона.
Легко догадаться, что среднее состояние здоровья в группе прuвuтых заметно лучше, т.к. в группе непрuвuтых находятся все те, кому прививка противопоказана по состоянию здоровья, терминальные больные, которые при прочих равных будут чаще умирать от каждого чиха.
И для выборки 90 000 человек такое смещение тем более критично. Тем более, что как сказал директор одного из израильских к0вuдариев, у них в статистику тяжелых ковидных пациентов попадают все, кто госпитализирован по любой причине, а в больнице сдал ПЦР+
Как это влияет -- можно показать на простом и наглядном примере. Допустим, у нас есть два лекарства, реальная эффективность первого равна 40%, реальная эффективность второго равна 60%, т.е. второе лекарство на треть эффективнее первого. Но мы об этом не знаем, и у нас есть 1 600 000 человек, на которых мы будем это проверять.
1) Разобьём их на две равные группы - по 800 000, и дадим каждой своё лекарство. Обе группы идеально рандомизированы, за исключением одного фактора - так получилось, что во второй оказалось 40 000 человек, которым это лекарство противопоказано, и они не стали его пить. Но исследователям об этом неизвестно.
Тогда в первой группе заболеет 480 000, а во второй 344 000 (40% из 760 000 принявших лекарство плюс все 40 000, кто его не стал пить).
По методика оценки эффективности вakцuн, эффективность второго лекарства по сравнению со первым из-за этого составит
Ef = 1 - 344k/800k / 480k/800k = 28% вместо реальных 33%.
Из-за достаточно большого объёма обеих выборок искажение получилось невелико, но оно всё равно есть.
2) А теперь сделаем как в Израиле. Первое лекарство дадим 1 500 000 человекам. Второе - 100 000, из них все те же 40 000 с противопоказанием не стали его пить. В первой группе заболело 900 000, во второй 64 000. Считаем эффективность:
Ef = 1 - 64k/100k / 900k/1500k = -6,7% вместо 33%!
Из-за того, что выборки несопоставимы по объёму, а малая выборка к тому же вышла максимально нерепрезентативной, у нас получился недостоверный результат, будто второе лекарство хуже первого, хотя на самом деле оно на треть более эффективно.
А как надо было сделать правильно? Надо выявить и удалить из второй выборки всех, кому лекарство противопоказано. Тогда выборка станет репрезентативной, там останется 60 000 человек, заболеет из них 24 000 и эффективность получится:
Ef = 1 - 24k/60k / 900k/1500k = 33% как и положено.
Точно так же и с непривитыми 60+летними в Израиле. Мы не знаем, скольким из них вакцина противопоказана по состоянию здоровья, и какое искажение они тем самым вносят в результат. И если не очистить от них столь малую выборку, результат не может считаться достоверным. Особенно если учесть, что противопоказания к ковидным вакцинам чаще всего это тяжелые коморбидитеты, которые и сами по себе, при прочих равных условиях, увеличивают риски тяжелого течения и смерти.
no subject
Date: 2021-08-28 08:18 pm (UTC)Но, кстати, само нежелание выделять группу "непривитые в силу противопоказаний" - в идеале с выделением подгруппы "непривитые из-за возникновения побочных эффектов" - это просто роспись в том, что негативные эффекты чудо-процедуры видеть не желают.