Geekly articles weekly

Alam bertanya-tanya apakah eksperimen ilmiah modern dapat direproduksi.



Secara kebetulan dalam arus berita dan informasi, saya menemukan sebuah artikel di Nature Scientific Reports . Ini menyajikan data dari survei 1.500 ilmuwan tentang reproduktifitas hasil penelitian. Jika sebelumnya masalah ini muncul untuk penelitian biologi dan medis , di mana hal itu dapat dijelaskan di satu sisi (korelasi yang salah, keseluruhan kompleksitas sistem yang diteliti, kadang-kadang bahkan perangkat lunak ilmiah disalahkan ), di sisi lain itu adalah fenomenologis (misalnya, tikus cenderung berperilaku berbeda dengan para ilmuwan) jenis kelamin yang berbeda ( 1 dan 2 )).

Namun, tidak semuanya lancar dan dengan lebih banyakilmu alam seperti fisika dan teknik, kimia, ekologi. Tampaknya disiplin inilah yang didasarkan pada eksperimen yang dapat direproduksi "mutlak" yang dilakukan di bawah kondisi yang paling terkontrol, sayangnya, yang menakjubkan - dalam semua arti kata - hasil survei: hingga 70% peneliti telah menemukan eksperimen yang tidak dapat diproduksi kembali dan hasil yang diperoleh tidak hanya oleh kelompok ilmuwan lain. , TETAPI dan oleh penulis / rekan penulis makalah ilmiah yang diterbitkan!

Apakah setiap sandpiper memuji rawa?


Meskipun 52% responden menunjukkan krisis reproduktifitas dalam sains, kurang dari 31% menganggap data yang dipublikasikan secara fundamental salah dan mayoritas mengindikasikan bahwa mereka masih mempercayai karya yang diterbitkan.


Pertanyaan: Apakah ada krisis reproduktifitas hasil?

Tentu saja, tidak ada gunanya meretas dan menghukum semua ilmu pengetahuan hanya berdasarkan survei ini: setengah dari responden masih ilmuwan yang terhubung, dengan satu atau lain cara, dengan disiplin ilmu biologi. Seperti yang penulis catat, dalam fisika dan kimia tingkat reproduktifitas dan kepercayaan diri pada hasil yang diperoleh jauh lebih tinggi (lihat grafik di bawah), tetapi masih belum 100%. Tetapi dalam kedokteran, keadaannya sangat buruk dibandingkan dengan yang lain.

Sebuah lelucon muncul di benak:
- ?
-50:50. , .

Marcus Munafo, seorang psikolog biologis dari University of Bristol (Inggris), memiliki minat lama dalam masalah reproduktifitas data ilmiah. Mengingat kembali masa-masa muridnya, ia berkata:
Suatu kali saya mencoba mereproduksi eksperimen dari sumber-sumber sastra, yang tampak sederhana bagi saya, tetapi saya tidak bisa melakukannya. Saya memiliki krisis kepercayaan diri, tetapi kemudian saya menyadari bahwa pengalaman saya tidak begitu langka.



Pertanyaan: Berapa banyak karya yang sudah diterbitkan di industri Anda yang dapat direproduksi?

Permukaan lintang dan bujur masalah


Bayangkan Anda adalah seorang ilmuwan. Anda menemukan artikel yang menarik, tetapi hasil / percobaan tidak dapat direproduksi di laboratorium. Adalah logis untuk menulis tentang hal ini kepada penulis artikel asli, meminta saran dan mengajukan pertanyaan klarifikasi. Menurut sebuah survei, kurang dari 20% pernah melakukan ini dalam karir akademik mereka!

Para penulis studi mencatat bahwa mungkin kontak dan percakapan semacam itu terlalu rumit bagi para ilmuwan sendiri, karena mereka mengungkapkan ketidakmampuan dan ketidakkonsistenan mereka dalam masalah tertentu atau mengungkapkan terlalu banyak detail dari proyek saat ini.

Selain itu, minoritas absolut dari para ilmuwan mencoba untuk mempublikasikan penolakan atas hasil-hasil yang tidak dapat diproduksi kembali, sambil menghadapi tentangan dari editor dan pengulas yang menuntutmengecilkan perbandingan dengan studi asli. Apakah mengherankan bahwa kesempatan untuk melaporkan hasil ilmiah yang tidak dapat direproduksi sekitar 50%.


Pertanyaan pertama: Sudahkah Anda mencoba mereproduksi hasil percobaan?
Pertanyaan kedua: Sudahkah Anda mencoba mempublikasikan upaya Anda untuk mereproduksi hasilnya?

Mungkin kemudian setidaknya bermanfaat untuk melakukan tes reproduktifitas di dalam laboratorium? Yang paling menyedihkan adalah sepertiga dari responden TIDAK PERNAH berpikir untuk menciptakan metode untuk memeriksa data untuk reproduktifitas. Hanya 40% yang menunjukkan bahwa mereka secara teratur menggunakan teknik tersebut.


Pertanyaan:Pernahkah Anda mengembangkan teknik / proses teknis khusus untuk meningkatkan reproduktifitas hasil?

Contoh lain, seorang ahli biokimia dari Inggris, yang tidak mau mengungkapkan namanya, mengatakan bahwa upaya untuk mengulangi, mereproduksi pekerjaan untuk proyek laboratoriumnya hanya dua kali lipat waktu dan biaya material, tidak memberikan apa-apa dan tidak membawa sesuatu yang baru ke dalam pekerjaan. Pemeriksaan tambahan dilakukan hanya untuk proyek-proyek inovatif dan hasil yang tidak biasa.

Dan tentu saja, pertanyaan abadi Rusia yang mulai menyiksa rekan asing: siapa yang harus disalahkan dan apa yang harus dilakukan?

Siapa yang harus disalahkan?


Para penulis karya mengidentifikasi tiga masalah utama reproduksibilitas hasil:
  • Tekanan dari atasan untuk menerbitkan karya tepat waktu
  • ( , , «» )
  • ( )



: ?
( ): – – – / – – – – – – – / – – – –« Β»

?


Dari 1.500 responden, lebih dari 1.000 pakar mendukung peningkatan statistik saat mengumpulkan dan memproses data, meningkatkan kualitas pengawasan oleh bos, serta perencanaan eksperimen yang lebih ketat.


Pertanyaan: Faktor apa yang akan membantu meningkatkan reproduktifitas?
Jawaban (atas ke bawah): -Best pemahaman statistik -lebih pengawasan desain -Peningkatan ketat dari percobaan -Training -Vnutrilaboratornaya -meningkatkan verifikasi keterampilan praktis -stimulation untuk formal lintas pengecekan data -Mezhlaboratornaya memeriksa -Vydelenie digunakan untuk ng jumlah yang lebih besar dari waktu untuk manajemen proyek -Meningkatkan standar ilmiah log -Vydelenie digunakan untuk ng jumlah yang lebih besar dari waktu bekerja dengan catatan laboratorium

Kesimpulan dan beberapa pengalaman pribadi


Pertama , bahkan bagi saya, sebagai seorang ilmuwan, hasilnya menakjubkan, meskipun saya sudah terbiasa dengan beberapa tingkat hasil yang tidak dapat direproduksi. Ini terutama diucapkan dalam karya-karya yang dilakukan oleh Cina dan India tanpa "audit" pihak ketiga dalam bentuk profesor Amerika / Eropa. Adalah baik bahwa masalah disadari dan dipikirkan solusinya. Saya dengan bijaksana akan tetap diam tentang sains Rusia sehubungan dengan skandal baru-baru ini , meskipun banyak yang jujur ​​melakukan pekerjaan mereka.

Kedua, artikel menyembunyikan (atau lebih tepatnya, tidak mempertimbangkan) peran metrik ilmiah dan jurnal ilmiah peer-review dalam munculnya dan pengembangan masalah irreprodusibilitas hasil penelitian. Dalam mengejar kecepatan dan frekuensi publikasi (baca, meningkatkan indeks kutipan), kualitas turun tajam dan tidak ada waktu tersisa untuk verifikasi hasil tambahan.

Seperti yang mereka katakan, semua karakter adalah fiksi, tetapi berdasarkan peristiwa nyata. Entah bagaimana satu siswa memiliki kesempatan untuk meninjau artikel, karena tidak setiap profesor memiliki waktu dan energi untuk membaca artikel, sehingga pendapat 2-3-4 siswa dan dokter dikumpulkan, dari mana tinjauan disusun. Review ditulis, itu menunjukkan irreprodusibilitas hasil sesuai dengan metode yang dijelaskan dalam artikel. Ini jelas ditunjukkan kepada profesor. Tetapi agar tidak merusak hubungan dengan "kolega" - setelah semua, mereka berhasil - review itu "disesuaikan". Dan artikel semacam itu menerbitkan 2 atau 3 buah.

Ternyata lingkaran setan. Ilmuwan mengirim artikel ke editor jurnal, di mana ia menunjukkan "yang diinginkan " dan, yang paling penting , ""Peninjau, yaitu, pada kenyataannya, hanya menyisakan sikap positif terhadap tim penulis. Mereka meninjau pekerjaan, tetapi mereka tidak bisa "mengomentari komentar" dan mencoba untuk memilih yang kurang dari dua kejahatan - di sini adalah daftar pertanyaan yang perlu dijawab, dan kami akan menerbitkan artikel.

Contoh lain yang editor alam bicarakan sebulan yang lalu adalah panel surya Grazel . Karena minat yang besar pada topik ini di komunitas ilmiah (karena mereka masih menginginkan artikel di Nature!), Para editor harus membuat kuesioner khusus di mana mereka perlu menentukan banyak parameter, menyediakan kalibrasi peralatan, sertifikat, dll. Untuk mengkonfirmasi bahwa teknik pengukuran efisiensi Panel mematuhi beberapa prinsip dan standar umum.

Dan ketiga, ketika sekali lagi Anda mendengar tentang vaksin mukjizat yang mengalahkan segalanya dan semua orang, sebuah cerita baru tentang Jobs dalam rok , baterai baru atau bahaya / manfaat GMO atau emisi ponsel pintar , terutama jika itu dipublikasikan oleh penulis kuning dari jurnalisme, maka pahami dan jangan membuat kesimpulan tergesa-gesa. Tunggu konfirmasi hasil oleh kelompok ilmuwan lain, akumulasi array dan sampel data.

Dan apa yang Anda pikirkan, para pengguna Habr / GT tersayang, tentang reproduksibilitas data ilmiah? Bagikan pendapat Anda di komentar!

PS: Artikel diterjemahkan dan ditulis dengan tergesa-gesa, tentang semua kesalahan dan ketidaktepatan yang diketahui, silakan tulis di PM.

Kadang-kadang mungkin untuk membaca secara singkat, dan kadang-kadang tidak begitu banyak tentang berita sains dan teknologi di saluran Telegram saya - kami dipersilakan;)

Source: https://habr.com/ru/post/id394685/

More articles:


All Articles