Penelitian yang buruk mendapatkan lebih banyak uang

Victor Petrik menunjukkan nanofilter-nya (Sumber: rusphysics.ru)

Pada tahun 1963, Jacob Ken, seorang psikolog di New York University, menganalisis sekitar 70 artikel yang diterbitkan dalam Journal of Abnormal and Social Psychology dan menemukan fakta yang menarik. Hanya sejumlah kecil ilmuwan yang mengakui kegagalan penelitian mereka dalam penelitian ini. Untuk bahan-bahan ini, ia menghitung "kekuatan statistik" mereka. Istilah "kekuatan statistik" berarti probabilitas penolakan terhadap hipotesis nol, jika sebenarnya salah.

Menurut statistik, konfirmasi hasil yang diharapkan oleh peneliti dimanifestasikan dalam perjalanan hanya 20% dari percobaan yang dilakukan. Ternyata, di hampir semua studi yang dipelajari oleh Cohen, penulis menunjukkan hasil penelitian yang diharapkan positif. Ternyata penulis tidak melaporkan kegagalan. Selain itu, beberapa penulis mendistorsi hasil penelitian mereka, menunjukkan efek positif bahkan ketika tidak.

Jumlah kekuatan saat menguji hipotesis statistik tergantung pada faktor-faktor berikut :

• tingkat signifikansi yang ditunjukkan oleh huruf Yunani α (alpha), atas dasar keputusan dibuat untuk menolak atau menerima hipotesis alternatif;
• besarnya efek (yaitu, perbedaan antara rata-rata yang dibandingkan);
• ukuran sampel yang diperlukan untuk mengkonfirmasi hipotesis statistik.

Lebih dari setengah abad telah berlalu sejak publikasi karya Jacob Cohen, tetapi penulis penelitian ilmiah masih berbicara tentang keberhasilan mereka, menyembunyikan kekalahan. Ini dibuktikan dengan hasil karya lain yang baru-baru ini diterbitkan di Royal Society Open Science. Para penulis karya ini adalah Paul Smaldino dari University of California dan Richard Mac Elres dari Institut Masyarakat Max Planck untuk Antropologi Evolusi . Menurut peneliti, artikel modern belum menjadi lebih baik. Setidaknya, artikel yang berhubungan dengan psikologi, neurologi dan ilmu kedokteran.

Setelah mempelajari puluhan artikel yang diterbitkan antara tahun 1960 dan 2011, para ilmuwan menentukan bahwa kekuatan statistik rata-rata dalam kasus ini adalah 24%. Ini hanya sedikit lebih tinggi dari parameter yang dihitung oleh Cohen. Dan terlepas dari kenyataan bahwa dalam beberapa tahun terakhir metode penelitian ilmiah telah menjadi lebih akurat, dan semakin banyak buku dan artikel yang diterbitkan untuk para peneliti yang menjelaskan prinsip dan metode kerja ilmiah.


Kekuatan statistik rata-rata publikasi yang diterbitkan dalam jurnal ilmiah dari 1960 hingga 2011

Setelah memperoleh hasil seperti itu, para ilmuwan berpikir tentang apa yang bisa mengubah keadaan saat ini sehingga para penulis karya ilmiah akan menjadi lebih teliti. Untuk melakukan ini, Mac Elres dan Smaldino menciptakan model evolusi komputer. Dalam model ini, sekitar 100 laboratorium virtual bersaing untuk mendapatkan hak menerima remunerasi. Itu dibayar jika, dalam kerangka penelitian, tim laboratorium menerima hasil yang sangat signifikan. Untuk menentukan jumlah remunerasi, para ilmuwan menggunakan indikator seperti volume publikasi.

Seperti ternyata, beberapa laboratorium bekerja lebih efisien daripada yang lain, menunjukkan hasil lebih banyak. Pada saat yang sama, laboratorium ini sering memberikan yang diharapkan sebagai nyata. Dalam hal ini, hasilnya diverifikasi lebih buruk, dan hasilnya ditafsirkan sebagai positif. Jika hasil pekerjaan diverifikasi lebih teliti, maka lebih sedikit karya yang diterbitkan.

Dalam setiap siklus simulasi, semua laboratorium simulasi melakukan percobaan dan menerbitkan hasilnya. Setelah itu, para ilmuwan membersihkan laboratorium tertua dari sejumlah yang dipilih secara acak. Dan laboratorium dari daftar acak lain (kriteria seleksi - jumlah maksimum hadiah yang diterima) memungkinkan untuk membuat unit kami sendiri, yang secara aktif terlibat dalam publikasi bahan ilmiah. Hasil awal dari analisis model komputer menunjukkan: laboratorium yang menerbitkan sebagian besar pekerjaan hanya menghabiskan sebagian kecil waktu untuk memeriksa hasil dan menjadi yang paling otoritatif, menyebarkan metode penelitian mereka di komunitas ilmiah.

Tapi ada satu hal lagi. Ternyata, pengulangan hasil pekerjaan satu laboratorium oleh tim lain mengarah pada peningkatan reputasi laboratorium pertama. Tetapi kegagalan untuk mengulangi hasil dari setiap percobaan menyebabkan masalah dan menurunkan reputasi laboratorium, yang melakukan percobaan seperti itu terlebih dahulu. Dalam hal ini, filter dipicu yang mencegah munculnya penelitian palsu di komunitas ilmiah dengan hasil penelitian yang dimodifikasi.

Semakin kuat hukuman bagi mereka yang menerbitkan hasil yang tidak diverifikasi, semakin kuat saringan penelitian berkualitas buruk ternyata. Dengan penalti maksimum 100 poin dari laboratorium dengan data palsu, jumlah publikasi dengan hasil nyata meningkat tajam. Selain itu, jumlah percobaan berulang yang dilakukan laboratorium lain dengan maksud mengulangi hasil yang diperoleh seseorang meningkat.

Biarkan saya mengingatkan Anda bahwa semua yang dikatakan di atas adalah situasi yang disimulasikan pada PC. Para penulis penelitian membuat kesimpulan sebagai berikut: seperti sebelumnya, sekarang organisasi ilmiah yang menerbitkan lebih banyak karya daripada yang lain dianggap paling otoritatif. Sayangnya, filter publikasi berkualitas rendah yang bekerja di dunia virtual tidak berfungsi dengan baik di dunia nyata. Faktanya adalah bahwa lembaga penelitian dan peneliti individu tidak terlalu sering memeriksa hasil masing-masing. Jika pemeriksaan semacam itu dengan maksud untuk mengulangi hasil yang diperoleh oleh pasangan dilakukan lebih sering, maka "hasil yang salah" di dunia sains akan menjadi jauh lebih sedikit.

Para penulis penelitian percaya bahwa model komputer menunjukkan kemungkinan mengubah keadaan saat ini. Jika dana dan organisasi ilmiah tidak memberikan uang kepada para ilmuwan dan laboratorium yang menerbitkan hasil penelitian mereka yang tidak diverifikasi, memberikannya sebagai hasil positif, maka para penyesat akan dengan cepat menjadi kurang. Tetapi untuk menerapkan model seperti itu di dunia nyata cukup sulit. "Lebih mudah diucapkan daripada dilakukan," kata Smaldino.

Jadi untuk saat ini, organisasi yang menerbitkan banyak artikel berada di wilayah positif. Tetapi organisasi yang secara hati-hati memverifikasi hasil mereka dipublikasikan lebih jarang.

DOI: 10.1098 / rsos.160384

Source: https://habr.com/ru/post/id397897/