1221 души от общността са проверили твърденията в една трета от конференцията. При 496 статии поне едно твърдение не се е потвърдило. Напълно възпроизведени са 266.
- Между 15 юли и 2 август Hugging Face и alphaXiv организират най-голямата открита проверка на ML конференция досега.
- Проверени са 35 908 научни твърдения от 2226 статии, тоест 34 на сто от ICML.
- 51% от статиите имат поне едно потвърдено твърдение, 23% имат поне едно опровергано.
Хиляда двеста двадесет и един души сядат и започват да проверяват чужди статии. Не да ги четат. Да ги пускат наново и да гледат излиза ли същото.
Числото, на което спирам, не е 23 процента. То е 266. Толкова статии са се възпроизвели напълно, от две хиляди двеста двадесет и шест. Останалите не са фалшиви, повечето просто не могат да бъдат повторени от външен човек с наличното.
Точно тук е разковничето. В нашия занаят ние наричаме това документация, а всеки, който е поемал чужд проект, знае колко струва липсата ѝ. В науката около AI цената е същата, само сметката идва по-късно.
Отварят и данните, и следите на агентите. Значи следващия път някой ще провери самата проверка. Така трябва.