Sains Tidak Pernah Dikutip

"Harga diperlukan"

Ahli genetika dan peraih Nobel Oliver Smitis , yang meninggal pada Januari 2017 pada usia 91, adalah penemu yang sederhana dan disukai. Itu khas baginya untuk menceritakan kisah kegagalan terbesarnya: pekerjaan mengukur tekanan osmotik, yang diterbitkan pada tahun 1953 [Smithies, O. Biochem. J. 55, 57-67 (1953)], yang, seperti yang ia katakan, "memiliki prestasi yang meragukan dalam bentuk kurangnya referensi untuk itu."

"Tidak ada yang pernah merujuknya dan tidak ada yang pernah menggunakan metode ini," katanya kepada siswa pada pertemuan di Lindau di Jerman pada 2014.

Faktanya, karya Smithies menarik lebih banyak perhatian daripada yang dia pikirkan: dalam sepuluh tahun sejak publikasi, sembilan karya menyinggung tentang itu. Tetapi kesalahan itu dapat dimengerti - banyak ilmuwan secara keliru memandang non-rujukan karya, baik dari sudut pandang skala fenomena ini dan pengaruhnya terhadap dunia sains.

Satu penilaian yang sering diulang, disebutkan dalam artikel kontroversial yang diterbitkan dalam jurnal Science pada tahun 1990, mengklaim bahwa lebih dari setengah dari semua artikel ilmiah tetap tanpa referensi kepada mereka selama lima tahun setelah publikasi mereka. Dan para ilmuwan sangat khawatir tentang ini, kata Jevin West, seorang spesialis teori informasi di University of Washington di Seattle, yang mempelajari pola skala besar dari literatur penelitian. Memang, kutipan adalah ukuran pengaruh akademik yang diakui secara universal: penanda fakta bahwa karya itu tidak hanya dibaca, tetapi juga dianggap berguna untuk studi selanjutnya. Para peneliti khawatir bahwa sejumlah besar karya yang tidak dikutip mengindikasikan munculnya gunung penelitian yang tidak berguna atau tidak penting. "Dan tidak menghitung berapa kali orang bertanya kepada saya saat makan malam:" Bagian literatur mana yang dibiarkan sepenuhnya tanpa tautan? "- kata Barat.

Faktanya, penelitian tanpa referensi tidak selalu sia-sia. Selain itu, ada beberapa studi seperti itu, kata Vincent Larivière, seorang spesialis teori informasi di University of Montreal di Kanada.

Untuk lebih memahami sudut gelap dari karya-karya yang diterbitkan ini, majalah Nature terjun ke angka - angka dengan maksud mencari tahu berapa banyak karya yang benar-benar ditinggalkan tanpa disebutkan. Mungkin mustahil untuk mengetahuinya, karena basis data kutipan tidak lengkap. Tetapi jelas bahwa setidaknya tulang punggung 12.000 jurnal di Web of Science, basis data besar dari Clarivate Analytics, bekerja tanpa menyebutkan jauh lebih umum daripada yang diyakini umumnya.

Catatan Web of Science menunjukkan bahwa kurang dari 10% karya ilmiah dibiarkan tanpa referensi. Angka ini harus lebih rendah lagi karena sejumlah besar karya yang ditandai dalam database karena tidak memiliki referensi sebenarnya disebutkan di suatu tempat oleh seseorang.

Ini tidak berarti bahwa ada lebih sedikit makalah berkualitas rendah: ribuan jurnal tidak diindeks oleh database Web of Science, dan kekhawatiran bahwa para ilmuwan mengisi resume mereka dengan makalah yang tidak berarti tetap nyata.

Tetapi angka-angka baru dapat meyakinkan orang, ketakutan dengan kisah lautan tentang pekerjaan yang ditinggalkan. Selain itu, setelah memeriksa lebih dekat dari beberapa karya yang tidak ada yang disebutkan, ternyata mereka memiliki yang baik - dan mereka dibaca - meskipun tampak mengabaikan. "Kurangnya kutipan tidak dapat diartikan sebagai artikel yang tidak berguna atau tidak berharga," kata David Pendlebury, kepala analis kutipan di Clarivate.

Tidak disebutkan mitos

Gagasan bahwa literatur ilmiah diisi dengan penelitian biasa-biasa saja kembali ke beberapa artikel dalam jurnal Science, dari tahun 1990 dan 1991 [Pendlebury, DA Science 251.1410-1411 (1991)]. Sebuah laporan dari tahun 1990 melaporkan bahwa 55% dari artikel yang diterbitkan dari 1981 hingga 1985 tidak disebutkan di mana pun dalam waktu lima tahun setelah publikasi mereka. Tetapi analisis ini menyesatkan, terutama karena mereka mempertimbangkan jenis publikasi seperti surat, koreksi, risalah rapat dan bahan editorial lainnya, yang biasanya tidak dikutip. Jika Anda menghapus semuanya, hanya menyisakan makalah penelitian dan meninjau artikel, persentase artikel yang tidak disebutkan akan runtuh. Dan jika Anda memperpanjang masa tunggu selama lima tahun, persentase ini akan turun lebih banyak lagi.

Pada tahun 2008, Lariviere dan rekan-rekannya mengambil pandangan baru di Web of Science dan melaporkan tidak hanya bahwa jumlah karya yang tidak dikutip sama sekali kurang dari yang diperkirakan, tetapi juga bahwa persentase karya tanpa referensi telah menurun selama beberapa dekade. Majalah Nature meminta Larivier, bersama dengan Cassidy Sugimoto [Cassidy Sugimoto] dari Indiana University di Bloomington, untuk memperbarui analisisnya dan mengomentarinya untuk artikel ini.

Angka-angka baru, yang menghitung artikel penelitian dan ulasan, menunjukkan bahwa di sebagian besar wilayah, jumlah karya yang tidak menarik tautan sama sekali untuk jangka waktu lima hingga sepuluh tahun setelah publikasi, meskipun masing-masing daerah memiliki proporsinya sendiri. Dari semua karya biomedis yang diterbitkan pada tahun 2006, saat ini hanya 4% yang tidak dikutip; dalam kimia angka ini adalah 8%, dan dalam fisika lebih dekat ke 11%. Jika Anda menghapus kasus kutipan diri, jumlah ini meningkat - dan dalam beberapa disiplin ilmu satu setengah kali. Di bidang teknik dan teknologi, persentase pekerjaan 2006 tanpa referensi adalah 24%, jauh lebih tinggi dari ilmu alam. Ini mungkin karena sifat teknis dari artikel-artikel ini, yang memecahkan masalah-masalah khusus, alih-alih memberikan dasar lain kepada ilmuwan untuk melanjutkan pekerjaan mereka, kata Lariviere.


Grafik atas adalah distribusi jumlah karya tanpa tautan menurut tahun.
Lebih rendah - perbedaan dalam berbagai bidang ilmu; garis putus-putus menunjukkan grafik umum untuk semua area.

Jika kita mengambil semua artikel secara keseluruhan - 39 juta makalah penelitian di semua bidang yang tercatat di Web of Science dari tahun 1900 hingga akhir 2015 - maka 21% di antaranya dibiarkan tanpa disebutkan. Tidak mengherankan, sebagian besar karya tanpa referensi tentang mereka muncul di majalah yang kurang dikenal. Hampir semua karya di jurnal terkenal kemudian dikutip.

Pengukuran yang Tidak Mungkin

Data ini hanya memberikan sebagian dari gambar. Tetapi untuk mengisi semua informasi yang hilang pada literatur ilmiah adalah tugas yang hampir mustahil.

Memeriksa sejumlah kecil pekerjaan sudah merupakan tugas yang agak sulit. Sebagai contoh, pada tahun 2012, Peter Heneberg, ahli biologi dari Charles University di Praha, memutuskan untuk memeriksa catatan Web of Science untuk 13 peraih Nobel untuk memeriksa pernyataan yang terdengar liar dari artikel lain yang mengklaim bahwa tidak ada yang merujuk pada sekitar 10% dari studi peraih Nobel. . Penelitian pertamanya, Web of Science, menemukan angka mendekati 1,6%. Tetapi kemudian, dengan menggunakan layanan Google Cendekia , Heneberg menemukan bahwa banyak karya yang tersisa masih dirujuk, tetapi mereka tidak diperhitungkan karena kesalahan dalam memasukkan data dan kesalahan ketik dalam karya. Selain itu, majalah dan buku yang tidak diindeks oleh Web of Science memiliki kutipan tambahan. Pada saat Heneberg menghentikan pencariannya, setelah menghabiskan sekitar 20 jam, dia telah mengurangi jumlah pekerjaan tanpa menyebutkan lima kali lagi, menjadi 0,3%.

Kekurangan seperti itu juga mengarah pada fakta bahwa tidak mungkin untuk menemukan jumlah sebenarnya dari karya yang belum pernah dikutip: akan terlalu banyak waktu untuk mengulangi pemeriksaan manual setelah Heneberg dalam skala besar. Web of Science menunjukkan, misalnya, bahwa 65% pekerjaan kemanusiaan yang diterbitkan pada 2006 tidak pernah disebutkan oleh siapa pun. Dan ini sebenarnya begitu - cukup banyak pekerjaan kemanusiaan dibiarkan tanpa disebutkan, khususnya, karena penelitian baru di bidang ini tidak begitu banyak bergantung pada akumulasi pengetahuan sebelumnya. Tetapi Web of Science tidak mencerminkan situasi di area ini dengan benar, karena mengabaikan banyak majalah dan buku.

Alasan yang sama melemahkan keandalan perbandingan dari berbagai negara. Web of Science menunjukkan bahwa karya-karya yang ditulis oleh para sarjana dari Cina, India dan Rusia akan lebih cenderung diabaikan daripada yang ditulis di Amerika Serikat atau Eropa. Tetapi basis data umumnya tidak melacak banyak majalah lokal yang akan mempersempit celah ini, kata Lariviere.

Meskipun ada masalah dengan angka absolut, pengurangan pekerjaan tanpa menyebutkan dalam Web of Science sangat ketat diamati, kata Larivier. Internet telah sangat memudahkan tugas mencari dan mengutip karya yang tepat, katanya. Ada kemungkinan bahwa ini juga berkontribusi pada keinginan untuk membuka akses ke artikel. Tetapi Lariviere memperingatkan bahwa tren ini tidak boleh ditaksir terlalu tinggi. Dalam studinya tahun 2009 [Wallace, ML, Larivière. V. & Gingras, YJ Informetrics 3, 296–303 (2009)] berpendapat bahwa jumlah karya tanpa tanda kutip turun karena para ilmuwan menerbitkan lebih banyak karya dan mendorong lebih banyak referensi ke karya lain. Spesialis di bidang bibliometri [analisis statistik literatur ilmiah / kira-kira. trans.] Ludo Waltman dari Leiden University di Belanda setuju. "Saya tidak akan menafsirkan angka-angka ini sebagai jaminan bahwa semakin banyak karya ilmiah menjadi berguna."


Jumlah tautan ke pekerjaan secara bertahap meningkat

Waltman mengatakan bahwa banyak karya yang nyaris menghindari nasib yang tidak disatukan: perhitungan independen oleh Waltman dan Larivier menunjukkan bahwa Web of Science memiliki lebih dari satu karya yang disebutkan daripada yang tidak disebutkan sama sekali. "Dan kita tahu bahwa banyak tautan dibuat secara formal, untuk pertunjukan," katanya. Atau mereka mungkin merupakan tanda sistem "Anda - bagi saya, saya - bagi Anda" oleh para ilmuwan, kata Dahlia Remler, seorang spesialis ekonomi kesehatan dari School of Public and International Relations. Marx di New York. "Bahkan penelitian yang sangat dikutip dapat menjadi bagian dari permainan yang para ilmuwan mainkan bersama yang tidak baik bagi siapa pun," katanya.

Tidak sepenuhnya sia-sia

Beberapa peneliti mungkin tergoda untuk berhenti bekerja tanpa menyebutkan sebagai tidak penting. Lagipula, jika mereka memiliki setidaknya beberapa signifikansi, bukankah seseorang akan merujuk mereka?

Mungkin, tapi belum tentu. Para ilmuwan dipengaruhi oleh jauh lebih banyak artikel daripada yang mereka sebutkan nanti, kata Michael Macroberts, seorang ahli botani di University of Louisiana di Shreveport. Dalam sebuah artikel 2010 tentang kurangnya analisis kutipan, Macroberts menyinggung karyanya pada 1995 tentang penemuan cernua Palinhaea di Texas. Ini adalah pertama dan satu-satunya saat seseorang merujuk karya ini, tetapi informasi yang disebutkan di dalamnya masuk ke atlas pabrik dan database besar. Orang-orang yang menggunakan basis data ini bergantung pada pekerjaan ini dan ribuan laporan botani lainnya. “Informasi dalam artikel yang disebut non-kutipan ini digunakan; mereka tidak dikutip, ”katanya.

Selain itu, artikel yang tidak dikutip masih dibaca. Pada tahun 2010, para peneliti dari Departemen Kesehatan dan Psikologi Kebersihan New York menerbitkan sebuah penelitian yang menganalisis kekurangan dari test kit air liur untuk HIV yang dilakukan dengan menggunakan program khusus [Egger, JR, Konty, KJ, Borrelli, JM, Cummiskey, J. & Blank, S. PLoS ONE 5, e12231 (2010)]. Beberapa tahun sebelumnya, penggunaan kit ditangguhkan di klinik dan kemudian dilanjutkan lagi. Para penulis ingin menggunakan pengalaman klinik untuk mempelajari pertanyaan apakah perangkat lunak dapat menganalisis kualitas set jika terjadi masalah.

Karya mereka, yang diterbitkan dalam jurnal PLoS ONE, tidak pernah disebutkan. Tapi itu telah dilihat lebih dari 1.500 kali dan diunduh lebih dari 500 kali, kata Joe Egger, rekan penulis karya tersebut, yang sekarang bekerja di Duke Institute for World Health di Durham, North Carolina. "Tujuan dari artikel ini adalah untuk meningkatkan praktik yang mendukung perawatan kesehatan, daripada kemajuan ilmu pengetahuan," katanya.

Artikel lain mungkin tidak disebutkan karena mencakup bidang penelitian yang tidak produktif, kata Nicklaas Buyurma, seorang ahli kimia di University of Cardiff, Inggris. Pada tahun 2003, Buyurma dan rekannya mempublikasikan sebuah makalah tentang "perselisihan isokorik" - tentang apakah akan berguna untuk mencoba menahan ekspansi atau kontraksi pelarut selama reaksi yang terjadi ketika suhu berubah. Secara teori, percobaan yang canggih secara teknis ini dapat mengarah pada pengetahuan baru tentang bagaimana pelarut mempengaruhi laju reaksi kimia. Tetapi tes Buyurma menunjukkan bahwa ahli kimia tidak akan mempelajari sesuatu yang baru dari eksperimen semacam itu. "Kami memutuskan untuk membuktikan bahwa ada sesuatu yang tidak layak dilakukan - dan ditunjukkan," katanya. "Saya bangga dengan pekerjaan ini, karena tidak menyiratkan menyebutkan," tambahnya.

Oliver Smitis, berbicara pada sebuah pertemuan di Lindau, mengatakan dia mengakui pentingnya pekerjaan tahun 1953, meskipun faktanya dia pikir itu tidak disebutkan. Dia mengatakan kepada publik bahwa pekerjaan yang dilakukan membantunya mendapatkan gelar dan menjadi ilmuwan penuh. Bahkan, itu adalah magang dari penerima Nobel masa depan. "Saya benar-benar menikmati melakukannya," katanya, "dan saya belajar bagaimana melakukan sains dengan benar." Smithies sebenarnya memiliki setidaknya satu karya tanpa menyebutkan: artikel 1976 , yang menunjukkan bahwa gen spesifik yang terkait dengan sistem kekebalan tubuh terletak pada kromosom manusia . Tetapi itu penting, karena alasan lain, kata ahli genetika Raju Kucherlapati dari Harvard Medical School di Boston, Massachusetts, salah satu penulis karya tersebut. Dia mengatakan artikel itu adalah awal dari kolaborasi panjang dengan laboratorium Smithies, yang memuncak dalam sebuah karya tentang genetika tikus yang membawa Smithies Hadiah Nobel 2007 dalam bidang fisiologi atau kedokteran. “Bagi saya,” kata Kucherlapati, “pentingnya pekerjaan ini adalah bahwa saya mengenali Oliver.”

Sejarah karya yang disiarkan

Lama menunggu

Untuk setiap peneliti yang ingin seseorang menyebutkan karyanya, ada harapan jika kita memperhitungkan kisah Albert Peck, yang karyanya dari tahun 1926, yang menggambarkan salah satu varietas cacat kaca, pertama kali dikutip pada tahun 2014. Pada 1950-an, pekerjaan kehilangan kegunaannya ketika produsen menemukan cara membuat kaca halus tanpa cacat yang dijelaskan. Tetapi pada tahun 2014, peneliti material Kevin Knowles dari Universitas Cambridge di Inggris secara tersandung di Google untuk melakukan pekerjaan ini saat menulis ulasan tentang bidang ini - ia terlibat dalam menggunakan cacat tersebut untuk menyebarkan cahaya. Sekarang dia mengutipnya dalam empat artikel. "Saya suka menulis karya di mana saya bisa menyebutkan artikel yang tidak banyak diketahui."

Gelombang yang hilang

Pada tahun 2016, mahasiswa doktoral Francisco Pina-Martins dari University of Lisbon menerbitkan sebuah makalah tentang interpretasi data sekuensing genetik, memastikan bahwa tidak ada yang akan menyebutkannya karena teknologi yang dijelaskan di dalamnya yang dikembangkan oleh 454 Life Sciences sudah ketinggalan zaman dan tidak digunakan. Dia mengunggah perangkat lunak analisis datanya ke GitHub, sebuah situs tempat orang berbagi kode sumber, pada 2012 - dan ini telah disebutkan dalam beberapa karya. Tetapi publikasi penelitian itu sendiri memakan waktu empat tahun, karena, menurut dia, itu terkait dengan masalah langka yang spesialis yang sebelumnya mempelajari artikel itu tidak mengerti.

Jalan buntu

Banyak kisah tentang pekerjaan itu tanpa menyebutkan sedih. Pada 2010, ahli saraf Adriano Ceccarelli menerbitkan sebuah artikel tentang regulasi gen dalam lendir Dictyostelium dalam jurnal PLoS ONE. Permintaannya untuk hibah penelitian tetap tidak terjawab, dan pekerjaan itu tidak pernah dikutip. "Yah, Anda tahu apa yang terjadi dengan penelitian - ternyata pekerjaan itu telah menemui jalan buntu," katanya. - Gagasan saya tidak berharga untuk dibiayai. Sekarang saya hanya mengajar dan menunggu pensiun. Tetapi saya dengan senang hati akan bekerja jika saya menerima dana besok. "