Дали друг човек може да повтори чуждия резултат със същите данни и да получи същото. Ако не може, твърдението остава просто твърдение.
Всеки, който е взимал рецепта от баба си, знае проблема. Пише „брашно, колкото поеме“, а после се чуди защо козунакът не става. Рецептата е вярна. Половината от нея просто живее само в ръцете ѝ.
Науката работи по същия начин, само че залогът е по-голям. Някой публикува, че лекарство помага или че хората се държат по определен начин. Докато друг екип не повтори опита и не стигне до същото, това е резултат на един екип. Може да е вярно. Може да е и случайност.
През 2015 г. голяма група изследователи провери точно това в психологията. Взеха 100 публикувани изследвания от три научни списания и ги повториха внимателно, с оригиналните материали, където ги имаше. В оригиналите 97% от резултатите бяха статистически значими. В повторенията - 36%. А ефектите излязоха средно наполовина по-слаби. Това не значи, че две трети от учените са лъгали. Самите автори отбелязват, че повторението се е получавало по-често там, където доказателството в оригинала е било по-силно. Слабото доказателство дава крехък резултат. Крехкият резултат не оцелява при втори опит.
Какво значи в кода
При софтуера и при изкуствения интелект е още по-коварно. Резултатът зависи от точната версия на всяка библиотека, от данните, от една настройка, която някой е сменил и е забравил. „При мен работи“ е най-честото изречение в занаята. И най-малко струва. Лекарството е скучно: записваш версиите, пазиш данните и пишеш стъпките така, че непознат човек да ги повтори без теб.
Затова сериозните издания вече го искат черно на бяло. Списанията на Nature поставят условие: авторите дават на читателите материалите, данните, кода и протоколите си, бързо и без излишни условия. Ако има ограничения, те се казват на редакторите още при подаването на статията.
Когато прочетеш „учени откриха“, потърси дали някой друг го е повторил. Повторението е пробата.