1. Šis tyrimas atliktas žmonių, iš kurių tik nedidelė dalis buvo psichologai ir ne būtinai turi reikiamas kompetencijas taikyti socialinių mokslų metodus. Tai pripažįsta ir patys autoriai, tačiau jų teigimu – tai nedarė reikšmingos įtakos rezultatams daugiau. Visgi, pagrindo abejonėms šiek tiek yra.Sejanus wrote:O kas negerai su šiuo tyrimu, neskaitant kad tau nepatinka jo rezultatai?
2. Replikacijų neatitikimas pristatomas per daug apibendrintai. Įprastai, replikacijomis siekiama įvertinti ir kultūrinius skirtumus. Jie tokių skirtumų egzistavimą prilygino replikacijos fail'ui. To daryti negalima, jei tiriama kitos šalies imtis. Todėl ateities tyrimai, norintys suvartinėti psichologijos mokslą naudojant tokius kriterijus, turėtų atlikti replikacijas tose valstybėse ir su ta demografija, kur atliktas originalus tyrimas. Tai, jog replikacijos atitikimą ir to įvertinimo kriterijus parinko subjektyviai, pripažįsta ir patys tyrėjai. Galiausiai, replikacijos įprastai yra ne ką trumpesnės apimties straipsniai, nei originalai. Ir tai ne be reikalo - rezultatų atitikimas ar neatitikimas originaliam tyrimui turi būti prasmingai interpretuojamas. Todėl pats replikabilumo statistinis tikrinimas yra kvestionuotinas.
Nėra tobulų tyrimų. Ir šis tyrimas, kuriuo vertintas psichologijos replikabilumas, irgi nėra tobulas.
Kitas dalykas, kad tu cherrypick'ini tai, kas tau tame tyrime atrodo naudinga ir pamiršti, jog tyrimo esminė mintis yra paskatinti atlikti daugiau replikacijų, t. y. - daugiau psichologinių tyrimų. Su ta išvada sunku nesutikti, nes šitas sentimentas akademinėje bendruomenėje plaukioja jau dešimtmečius. Taip, replikacijų reikia atlikinėti daugiau. Tai mes jau seniai žinome ir be šio tyrimo. Todėl ir nėra įprasta remtis vienu tyrimu, įrodinėjant faktą; tam ir cituojame pirmiausia - meta-analizes ir sistemines apžvalgas.