Корзина (0)
В корзине пусто!
Учёные призывают уделять меньше внимания статистике

Учёные призывают уделять меньше внимания статистике

708
1
29 Марта, 2019

Исследователи призывают отказаться от категоричных выводов в результатах научной работы на основании Р уровня значимости и доверительного интервала. Под статьей о возможных изменениях трактовки статистических данных уже подписалось примерно 800 учёных. В комментарии в журнале Nature авторы предлагают наиболее вероятные пути решения этого вопроса: они не включают полный отказ от этих показателей, а призывают обратить большее внимание на размышления о материалах в целом.


В течение многих лет исследователи ориентировались на значения показателя Р, которое либо подтверждало нулевую гипотезу в значении меньше 0,05, либо опровергало её и делало результат «статистически незначимым». Эти суждения о научной работе исказили выводы множества исследований, а также привели к конфликтам между их авторами. 

Анализ сотен статей показал, что статистически значимые значения интерпретируются как «отсутствие различий» в половине случаев. В 2016 году в журнале Американской статистической ассоциации была опубликована статья о неправильном использовании статистической значимости и значений Р, а также большое количество комментариев по этой теме. В этом месяце редакция продолжила начатое и поместила в номер более 40 работ по проблеме: «Статистический вывод в XXI веке: мир за пределами P <0,05».

Авторы статьи в Natureпризвали научное сообщество перестать использовать значения Р уровня значимости и доверительного интервала дихотомическим образом, то есть «или-или». Когда учёные пригласили коллег-исследователей поделиться своим мнением по этому вопросу, в первые сутки 250 человек оставили свои подписи в знак согласия. Спустя семь дней количество подписавшихся выросло до 800. Авторы ручаются, что все подписавшиеся заняты в академической сфере или в смежных областях. В их числе клинические и медицинские исследователи, статистики, биологи и психологи из почти 50 стран мира, за исключением Антарктиды. 

По мнению авторов, категоризация результатов по значению на основании этих показателей статистики заставляет учёных и редакторов журналов выбирать научные работы с более вероятным положительным статистическим результатом и приводит к предвзятости. Исследователи часто отдают предпочтения методам, которые реже дают нежелательные для них незначимые результаты и чаще статистически низкий уровень вероятности для побочного эффекта. 

На практике любое мелкое случайное изменение может сказаться на статистическом результате. Даже если учёные проведут два точных исследования возникновения какого-либо подлинного эффекта, их абсолютно разный исход не будет удивительным. Поэтому авторы в Natureпризывают перестать зависеть от цифр и начать больше думать и анализировать. 

Практическим выходом они видят предварительную регистрацию исследования и обязательную публикацию всех материалов. Также необходимо переименовать доверительные интервалы в «интервалы совместимости» и не брать их за основу при построении выводов. В частности, они советуют авторам описывать практический результат значений внутри интервала, наблюдаемый эффект и пределы. А также не выделять одно конкретное значение среди других, так как это не имеет смысла (все значения между пределами интервала совместимы с данными из-за статистических допущений при вычислении).

В отношении интервала совместимости исследователи напоминают, что этот показатель указывает лишь на те значения, которые более совместимы с данными и не говорит об их полной противоположности, если они не входят в заданные параметры. По факту существенных отличий внутри и снаружи интервала совместимости почти нет.

Не все значения в интервале одинаково совместимы с данными, пишут авторы. Поэтому нужно внимательно изучать точечную оценку, даже при условии большого значения Р уровня и широкого интервала, чтобы не упустить важные детали. Далее не нужно слепо верить, что с вероятностью 95% истинное значение лежит именно в вычисленном интервале. Сам процент представляет собой всеобщую договоренность и не является основой для уверенного решения. Кроме этого, необходимо правильно определить статистические допущения, используемые для расчёта. Нужно сделать их как можно более четкими, протестировать наиболее возможные и только затем сообщать все результаты. 

Большое значение авторы статьи придают обсуждению данных и выводам. По их мнению, нужно уделять внимание не только предпочтительным гипотезам, но и ряду других объяснений. Учёные должны учитывать дизайн исследования, качество анализа и сбора материалов, основные механизмы решаемой проблемы. Выводы должны научно обосновываться, а это выходит за рамки простой статистки, отмечают исследователи. 

Главное возражение, которое сопровождает «протест против статистики» - необходимость однозначной оценки исследования. Однако, это, как правило, не сильно влияет на судьбу исследования по сравнению с вероятными последствиями, выгодами и затратами на дальнейшую работу, а также другими факторами. 

А пока авторы надеются, что разделы методов и обсуждения результатов станут более полными и детальными, а из оформления уйдут все способы выделения значений Р (звездочки, буквы и т.д.). Это поможет подробно описать все выявленные неопределенности, подчеркнуть значимые явления и принять решение о публикации не на основании какого-то одного показателя, а из наблюдений за всеми статистическими данными. Только так можно избежать споров, необоснованных заявлений, злоупотребления статистикой и положить начало истинно научным заключениям.

Комментарии (1)
Сергей Мыльников29 Марта, 2019
Что то мне это сильно напоминает. Из недавнего прошлого:-)

Продолжая использовать наш сайт, вы даете согласие на обработку файлов cookie, пользовательских данных (сведения о местоположении; тип и версия ОС; тип и версия Браузера; тип устройства и разрешение его экрана; источник откуда пришел на сайт пользователь; с какого сайта или по какой рекламе; язык ОС и Браузера; какие страницы открывает и на какие кнопки нажимает пользователь; ip-адрес) в целях функционирования сайта, проведения ретаргетинга и проведения статистических исследований и обзоров. Если вы не хотите, чтобы ваши данные обрабатывались, покиньте сайт.

x