Kredibilitas, Nilai-P, dan Krisis Reproduksibilitas

Atau: Bagaimana transisi dari penerbitan nilai-P ke fungsi kemungkinan penerbitan membantu mengatasi krisis reproduktifitas: pendapat pribadi Eliezer Yudkovsky.



Komentar penerjemah: Yudkowsky, penulis HPMOR , pencipta Lesswrong dan lainnya dan lainnya, menyatakan posisinya tentang manfaat statistik Bayesian dalam ilmu-ilmu alam dalam bentuk dialog. Dialog klasik langsung dari zaman kuno atau Renaissance, dengan tokoh-tokoh yang mengekspresikan ide, berbagi duri bercampur dengan argumen kusut dan Simplizio yang pasti membosankan. Dialognya cukup panjang, sekitar dua puluh menit untuk dibaca, tetapi menurut saya, itu sangat berharga.


Moderator: Selamat malam. Hari ini di studio kami: Ilmuwan , praktisi di bidang ... psikologi kimia atau sesuatu seperti itu; lawannya Bayesovets , yang berniat membuktikan bahwa krisis reproduktifitas dalam sains, entah bagaimana dapat diatasi dengan mengganti nilai-P dengan sesuatu dari statistik Bayesian ...
Mahasiswa: Maaf, bagaimana mengejanya?
Moderator: ... dan, akhirnya, Siswa yang Memahami di sebelah kanan saya.

Moderator: Bayesovets , bisakah Anda memberi tahu saya apa inti dari proposal Anda?
Bayesovets: Secara kasar, intinya adalah ini. Misalkan kita punya koin. Kami melemparkannya enam kali dan mengamati seri "LLCOOR" (sekitar Per: Selanjutnya O - Oryol, R - Reshka) . Haruskah kita curiga ada yang salah dengan koin?
Ilmuwan: Tidak ada.
Bayesovets: Koin di sini hanya sebagai contoh. Misalkan kita menawarkan sampel sukarelawan piring dengan dua kue: satu dengan taburan hijau dan satu dengan merah. Lima orang pertama mengambil kue hijau, dan keenam mengambil kue merah. Benarkah orang lebih menyukai cookies dengan taburan hijau, atau apakah hasilnya lebih baik dianggap acak?
Mahasiswa: Mungkin, mungkin untuk mencurigai bahwa, mungkin, orang lebih suka taburan hijau. Setidaknya, mahasiswa psikologi yang cenderung sukarela untuk eksperimen aneh seperti taburan hijau lebih banyak. Bahkan setelah enam pengamatan, seseorang dapat mencurigai hal ini, meskipun saya curiga ada beberapa jenis tangkapan.
Ilmuwan: Saya pikir ini tidak mencurigakan. Banyak hipotesis terlihat menjanjikan pada N = 6, tetapi tidak dikonfirmasi pada N = 60.
Bayesovets: Secara pribadi, saya akan curiga bahwa sukarelawan kami tidak suka topping merah , atau paling tidak lebih suka. Tetapi secara umum, saya datang dengan contoh-contoh ini hanya untuk menunjukkan bagaimana nilai-P dipertimbangkan dalam statistik ilmiah modern, dan apa yang salah dengan mereka dari sudut pandang Bayesian.
Ilmuwan: Tetapi Anda tidak dapat memberikan contoh yang lebih realistis dengan 30 sukarelawan?
Bayesovets: Itu mungkin, tetapi Pelajar sudah tidak mengerti apa-apa.
Mahasiswa: Pasti.
Bayesovets: Jadi, para pakar terkasih: Elang, elang, elang, elang, elang, ekor. Perhatian, pertanyaannya adalah: apakah Anda menyebut hasil ini "signifikan secara statistik" atau tidak?
Ilmuwan: Guru, ini tidak signifikan. Dengan hipotesis nol bahwa koin itu adil (atau dengan hipotesis nol yang sama bahwa warna taburan tidak mempengaruhi pilihan cookie), hasil yang sama atau lebih diucapkan dapat diperoleh dalam 14 dari 64 kasus.
Mahasiswa: Ya. Saya mengerti benar: Ini karena kami menganggap hasil LLCOOO dan RRORRR sebagai "sama atau lebih diucapkan", ada total 14, dan jumlah total hasil dengan 6 lemparan 2 ⁶ = 64. 14/64 adalah 22%, yang lebih tinggi dari 5%, sehingga hasilnya tidak dianggap signifikan pada tingkat p <0,05. Jadi?
Ilmuwan: Benar. Saya juga mencatat bahwa dalam praktiknya, bahkan dengan hasil LLCOOO, Anda tidak boleh menghentikan eksperimen dan menulis artikel tentang fakta bahwa koin selalu jatuh oleh rajawali.
Bayesovets: Faktanya adalah jika Anda dapat berhenti melempar koin kapan saja, Anda harus bertanya pada diri sendiri: "Seberapa besar kemungkinan saya akan menemukan saat seperti itu untuk menghentikan percobaan di mana jumlah elang akan terlihat di depan umum?" Dan ini adalah kisah yang sangat berbeda dalam paradigma nilai-P.
Ilmuwan: Saya hanya bermaksud bahwa hanya enam percobaan - ini tidak serius, bahkan jika kita mempelajari warna cookie. Tapi ya, Anda benar juga.
Siswa: Dan mengapa penting bahwa saya bisa berhenti melempar koin atau saya tidak bisa?
Bayesovets: Pertanyaan yang sangat bagus.
Ilmuwan: Faktanya adalah bahwa nilai-P adalah hal yang rumit. Anda tidak bisa hanya mengambil angka, memasukkannya ke dalam program dan mempublikasikan apa yang akan diberikan oleh program ini. Jika Anda memutuskan untuk membalik koin tepat enam kali, dan kemudian berhenti terlepas dari hasilnya, hasil LLCOOO atau RRRRRR akan diperoleh rata-rata 2 kali dari 64, atau dalam 3,1% kasus. Ini signifikan pada p <0,05. Tapi anggaplah bahwa Anda sebenarnya pemalsuan yang curang dan tidak bermoral. Atau hanya seorang siswa yang tidak kompeten yang dirinya sendiri tidak mengerti apa yang dia lakukan. Alih-alih memilih terlebih dahulu jumlah gulungan, Anda melempar dan melempar koin sampai Anda mendapatkan hasil yang terlihat signifikan secara statistik. Ini akan signifikan secara statistik jika Anda memutuskan untuk melempar koin dengan jumlah yang persis sama. Tetapi pada kenyataannya, Anda tidak memutuskan ini sebelumnya. Anda memutuskan untuk berhenti hanya setelah mendapatkan hasilnya. Anda tidak dapat melakukan ini.
Siswa: Oke, saya membacanya di suatu tempat, tetapi saya tidak mengerti apa yang buruk di sini. Ini adalah penelitian saya, dan saya harus lebih tahu apakah ada cukup data atau tidak.
Ilmuwan: Inti dari nilai-P adalah membuat tes yang tidak bisa dilewati oleh hipotesis nol. Dengan kata lain, memastikan bahwa asap tanpa api tidak terlalu umum. Untuk melakukan ini, perlu mengorganisir penelitian sedemikian rupa agar tidak menghasilkan penemuan "signifikan secara statistik" tanpa adanya fenomena yang diinginkan. Jika Anda membalik koin tepat enam kali (dan menentukan nomor ini di muka), maka kemungkinan mendapatkan enam elang atau enam ekor dari koin yang adil kurang dari 5%. Jika Anda melempar koin sebanyak yang Anda suka , dan setelah setiap lemparan menghitung nilai-P ( berpura - pura bahwa jumlah gulungan diketahui sebelumnya), maka cepat atau lambat peluang untuk mendapatkan kurang dari p <0,05 jauh lebih dari 5%. Oleh karena itu, percobaan seperti itu mendeteksi asap tanpa api jauh lebih sering daripada dalam 1 dari 20 kasus.
Bayesovets: Secara pribadi, saya suka merumuskan masalah ini seperti ini: katakanlah Anda melempar koin dan mendapatkan OOOOOR. Jika pada saat yang sama Anda, di lubuk hati Anda yang hanya diketahui Allah (karena Allah bijaksana, berpengetahuan), telah memutuskan jumlah lemparan di muka , maka hasilnya tidak signifikan; p = 0,22. Jika, setelah puasa tiga bulan, Anda bersumpah kepada St. Francis untuk melempar koin sampai ekornya keluar , maka hasil yang sama signifikan secara statistik dengan p = 0,03 yang cukup baik. Karena kemungkinan bahwa dengan probabilitas 1: 1 ekor harus menunggu enam lemparan atau lebih, 1/32.
Mahasiswa: Apa?
Ilmuwan: Ini lebih seperti parodi, tentu saja. Dalam praktiknya, tidak ada yang akan melempar koin sampai satu ekor ditarik, dan kemudian berhenti. Tetapi sebenarnya Bayesovets benar, nilai-P bekerja begitu saja. Sebenarnya, kami mencoba mencari tahu seberapa jarang hasilnya di antara yang bisa kami dapatkan. Seseorang yang melempar koin sebelum ekor pertama bisa mendapatkan hasilnya {P, OR, OOR, LLC, OOOOR, LLCOOR ...} dan seterusnya. Kelas hasil di mana enam tembakan atau lebih dibuat adalah {LLCOOOR, LLCOOOR, OOOOOOOR ...}, probabilitas totalnya adalah 1/64 + 1/128 + 1/256 ... = 1/32. Dan seseorang yang melempar koin tepat enam kali mendapatkan salah satu hasil dari kelas {RRRRRR, LLCOOR, LLCORO, OOOOORR ...}, di mana terdapat 64 elemen. Untuk keperluan percobaan kami, LLCOOOR setara dengan LLCORO, LLCOROO, dan sejenisnya. Jadi ya, semua ini cukup kontra-intuitif. Jika kami benar-benar melakukan percobaan pertama, LLCOOR akan menjadi hasil yang signifikan, yang tidak mungkin terjadi dengan koin yang jujur. Dan jika kami melakukan percobaan kedua, LLCOOR tidak akan signifikan, karena bahkan dengan koin jujur sesuatu yang serupa terjadi dari waktu ke waktu.
Bayesovets: Apakah Anda merasa terganggu oleh kenyataan bahwa hasil percobaan bergantung pada apa yang Anda pikirkan?
Ilmuwan: Ini masalah hati nurani. Segala jenis penelitian akan sedikit biaya jika Anda berbohong tentang hasil mereka, yaitu, benar-benar berbohong tentang sisi mana koin jatuh. Jika Anda berbohong tentang jenis percobaan yang dilakukan - efeknya akan sama. Jadi, Anda hanya perlu mengambilnya dan dengan jujur ​​mengatakan dengan tepat apa aturan lemparan dibuat. Tentu saja, isi kepala ilmuwan itu kurang jelas dari sisi koin yang mana. Oleh karena itu, selalu memungkinkan untuk mengubah parameter analisis, bukan untuk menulis bagaimana jumlah subjek ditentukan, untuk memilih tes statistik yang mengkonfirmasi hipotesis favorit Anda ... Ada banyak hal yang dapat Anda pikirkan jika Anda mau. Dan itu akan lebih mudah daripada memalsukan data sumber. Dalam bahasa Inggris, ini disebut p-hacking. Dan dalam praktiknya, tentu saja, metode yang jauh lebih tidak jelas digunakan untuk membuat asap tanpa api daripada hipotesis nol bodoh yang ditemukan setelah fakta. Ini adalah masalah serius, dan sampai batas tertentu krisis reproduktifitas dikaitkan dengan itu, meskipun tidak jelas yang mana.
Mahasiswa: Apakah ini ... terdengar masuk akal? Mungkin ini adalah salah satu hal yang perlu Anda tangani untuk waktu yang lama dan memilah-milah banyak contoh, dan kemudian semuanya menjadi jelas?
Bayesovets: Tidak Ada.
Mahasiswa: Maksud saya ?
Bayesovets: Dalam arti "Siswa, Anda benar sejak awal." Jika apa yang dipikirkan oleh eksperimen tidak mempengaruhi sisi koin yang jatuh, maka pemikirannya seharusnya tidak memengaruhi fakta bahwa hasil lemparan memberi tahu kita tentang alam semesta. Siswa yang saya kasihi, statistik yang diajarkan kepada Anda tidak lebih dari sekelompok kruk bengkok yang terlalu rumit yang bahkan Anda tidak pernah repot-repot membuatnya konsisten secara internal. Demi Tuhan, dia memberikan hasil yang salah yang berbeda tergantung pada apa yang terjadi di kepala Anda! Dan ini adalah masalah yang jauh lebih serius daripada kecenderungan beberapa ilmuwan untuk sedikit berselingkuh dalam "Bahan dan Metode".
Ilmuwan: Ini adalah ... pernyataan serius, untuk sedikitnya. Tapi katakan padaku, aku bertanya: apa yang harus kita, malang, lakukan?
Bayesovets: Analisis sebagai berikut: Hasil LLCOOR khusus ini dapat diperoleh dengan enam lemparan koin seimbang sempurna dengan probabilitas 1/64, atau sekitar 1,6%. Misalkan kita sudah curiga bahwa koin kita seimbang tidak sempurna. Dan bukan hanya tidak sempurna, tetapi sedemikian rupa sehingga jatuh sebagai elang rata-rata lima dari enam kali. Ini, tentu saja, adalah penyederhanaan liar, tetapi saya akan beralih ke hipotesis realistis sedikit kemudian. Jadi, koin curang hipotetis ini memberikan urutan LLCOOR dengan probabilitas (5/6) ⁵ * (1/6) ¹ . Ini sekitar 6,7%. Jadi kami memiliki dua hipotesis: "Koin adalah yang paling umum" dan "Koin dijatuhkan oleh elang dalam 5/6 kasus." Hasil spesifik ini dalam kasus kedua adalah 4,3 kali lebih mungkin daripada yang pertama. Probabilitas urutan LLCOOR untuk koin selingkuh hipotetis lainnya, yang dalam 5 kasus dari enam adalah ekor, adalah 0,01%. Jadi jika seseorang tiba-tiba berpikir bahwa ini adalah koin kedua di depan kita, maka kita sekarang memiliki argumen yang baik terhadap hipotesisnya. Hasil khusus ini adalah 146 kali lebih mungkin untuk koin yang adil daripada koin yang dijatuhkan oleh elang hanya sekali dari enam. Demikian juga, pecinta kue merah hipotetis kita akan lebih kecil kemungkinannya untuk makan hijau.
Mahasiswa: Oke, sepertinya saya mengerti matematika. Tapi jujur, saya tidak mengerti apa artinya itu.
Bayesovets: Sekarang saya akan jelaskan, tetapi pertama-tama, perhatikan hal ini: hasil perhitungan saya tidak bergantung pada mengapa koin itu diputar tepat enam kali. Mungkin setelah lemparan keenam Anda memutuskan bahwa data sudah cukup. Mungkin setelah serangkaian lima kali lemparan, Namagiri Tayyar menampakkan diri kepada Anda dalam mimpi dan menyarankan Anda untuk melempar koin lagi. Koin tidak peduli. Faktanya tetap: seri LLCOOR khusus ini empat kali lebih kecil kemungkinannya untuk koin jujur ​​daripada koin yang dijatuhkan elang lima kali dari enam.
Ilmuwan: Saya setuju bahwa setidaknya satu fitur berguna dari perhitungan Anda adalah. Apa selanjutnya
Bayesovets: Dan kemudian Anda mempublikasikan hasilnya di majalah. Ini diinginkan bersama dengan data mentah, karena dengan begitu siapa pun dapat menghitung kemungkinan hipotesis apa pun. Misalkan seseorang secara tak terduga tertarik pada hipotesis “Sebuah koin dijatuhkan oleh elang 9 kali dari 10, bukan 5 kali dari 6.” Dalam kasus ini, serangkaian pengamatan LLCOOR memiliki probabilitas 5,9%, yang sedikit kurang dari hipotesis kami tentang lima elang dari enam lemparan (6 , 7%), tetapi 3,7 kali hipotesis bahwa koin itu seimbang sempurna (1,6%). Tidak mungkin, dan tidak perlu, untuk datang dengan semua hipotesis yang mungkin di muka. Cukup mempublikasikan data lengkap - maka siapa pun yang memiliki hipotesis dapat dengan mudah menghitung kemungkinan yang ia butuhkan. Paradigma Bayesian membutuhkan publikasi data mentah, karena fokus utamanya adalah pada hasil tertentu , dan bukan pada beberapa kelas hasil yang seharusnya identik.
Ilmuwan: Dalam hal ini saya setuju dengan Anda, publikasi set data lengkap adalah salah satu langkah paling penting untuk mengatasi krisis reproduksibilitas. Namun secara pribadi, saya tidak mengerti apa yang harus saya lakukan dengan semua ini "A jauh lebih mungkin daripada B".
Mahasiswa: Saya juga.
Pria Bayesian: Ini tidak sepenuhnya sepele ... sudahkah Anda membaca pengantar kami tentang aturan Bayes ?
Mahasiswa: Hebat. Itu hanya buku teks statistik setebal tiga ratus halaman berikutnya dan saya tidak punya cukup.
Bayesovets: Anda benar-benar dapat membacanya dalam satu jam . Hanya saja semua ini benar-benar tidak sepele , yaitu membutuhkan penjelasan. Tapi oke, karena tidak ada pengantar penuh, saya akan mencoba untuk datang dengan sesuatu. Kemungkinan besar, ini akan terdengar masuk akal - dan logikanya benar - benar benar - tetapi bukan fakta, yang jelas. Ayo pergi. Ada teorema yang membuktikan kebenaran alasan berikut:
(Bayesian mendapatkan udara)
Bayesovets: Misalkan profesor Plume dan Miss Scarlet diduga melakukan pembunuhan. Setelah mempelajari biografi keduanya, kami berasumsi bahwa dua kali lebih mudah bagi seorang profesor untuk membunuh seorang pria seperti Miss Scarlet. Kami akan mulai dengan asumsi ini. Namun ternyata, almarhum diracun. Kita tahu bahwa jika Profesor Plume akan membunuh seseorang, maka dia menggunakan racun dengan probabilitas 10% (dan dalam 9 kasus dari 10 dia akan lebih suka, misalnya, revolver). Miss Scarlet, jika dia memutuskan untuk membunuh, menggunakan racun dengan probabilitas 60%. Dengan kata lain, penggunaan racun oleh seorang profesor enam kali lebih kecil kemungkinannya daripada penggunaan racun Miss Scarlet. Karena kita memiliki informasi baru, yaitu metode pembunuhan, kita harus memperbarui asumsi kita dan berasumsi bahwa Plume memiliki kemungkinan tiga kali lebih kecil untuk menjadi pembunuh: 2 * 1/6 = 1/3.
Mahasiswa: Tidak yakin saya mengerti. Apa arti ungkapan "Profesor Plume tiga kali lebih kecil kemungkinannya menjadi pembunuh daripada Nona Scarlet"?
Bayesovets: Ini berarti bahwa jika kita tidak memiliki tersangka lain, maka probabilitas bahwa Plume membunuh korban adalah 1/4. Sisa 3/4 adalah probabilitas bahwa pembunuhnya adalah Miss Scarlet. Karena itu, kesalahan profesor tiga kali lebih rendah daripada kesalahan Miss Scarlet.
Ilmuwan: Dan sekarang saya ingin tahu apa yang Anda maksud dengan "probabilitas kesalahan". Membanggakan baik melakukan pembunuhan, atau dia tidak melakukan itu. Kami tidak dapat melihat contoh pembunuhan dan menemukan bahwa Plume benar-benar bertanggung jawab atas seperempat dari mereka.
Bayesovets: Saya berharap untuk tidak masuk, tapi oh well. Ilmuwan yang baik, maksud saya bahwa jika Anda menawarkan saya taruhan dengan taruhan 1: 1 tentang apakah Plume membunuh korban atau tidak, maka saya berani bertaruh bahwa ia tidak. Tetapi jika di bawah ketentuan taruhan saya akan membayar Anda $ 1 jika dia tidak bersalah, dan Anda membayar saya $ 5 untuk kesalahannya, dengan senang hati saya akan menyalahkan. Pemilihan presiden 2012 diadakan hanya satu kali dan Peluang Kemenangan Obama secara konseptual tidak jelas seperti Peluang Rasa Bersalah Plume. Tetapi jika pada 7 November Anda ditawari untuk bertaruh $ 10 pada Obama dan berjanji $ 1000 jika dia menang, maka Anda tidak akan menolak taruhan semacam itu. Secara umum, ketika pasar prediksi dan kumpulan taruhan cairan besar menerima taruhan pada 6: 4 untuk beberapa peristiwa, peristiwa ini terjadi pada sekitar 60% kasus. Pasar dan kelompok dikalibrasi dengan baik untuk probabilitas dalam kisaran ini. Jika mereka dikalibrasi dengan buruk, yaitu, jika peristiwa yang mengambil taruhan pada 6: 4 terjadi pada 80% kasus, maka seseorang dapat memperhatikan ini dan memperkaya diri mereka sendiri dengan mengorbankan taruhan tersebut. Pada saat yang sama, ia akan menaikkan harga kurs sampai pasar dikalibrasi dengan baik. Dan karena peristiwa dengan perkiraan probabilitas pasar sebesar 70% benar-benar terjadi sekitar 7 kali dari 10, saya tidak mengerti mengapa bersikeras bahwa probabilitas seperti itu tidak masuk akal.
Mahasiswa: Saya akui, kedengarannya meyakinkan. Tapi yang pasti menurut saya, dan pada kenyataannya ada sejumlah argumen yang licik untuk dan melawan.
Bayesovets: Sebenarnya ada banyak argumen, tetapi kesimpulan umum dari itu adalah bahwa intuisi Anda cukup dekat dengan kebenaran.
Ilmuwan: Oke, kita akan kembali ke sana. Tetapi bagaimana jika ada dua agen, baik dalam istilah Anda "dikalibrasi dengan baik", tetapi salah satu dari mereka mengatakan "60%" dan yang lainnya "70%"?
Bayesovets: Katakanlah saya melempar koin dan tidak melihat sisi yang terjatuh. Dalam hal ini, ketidaktahuan saya bukanlah informasi tentang koin, ini adalah informasi tentang saya. Itu ada di kepala, dan bukan di dunia sekitarnya, sama seperti bintik-bintik putih pada peta tidak berarti bahwa tidak ada wilayah di tempat ini. Jika Anda melihat koin, tetapi saya tidak melakukannya, cukup masuk akal jika Anda dan saya berada dalam kondisi ketidakpastian yang berbeda. Mengingat saya tidak seratus persen yakin, masuk akal bagi saya untuk menyatakan ketidakamanan saya dalam hal probabilitas. Ada sekitar tiga ratus teorema yang menyatakan bahwa jika ekspresi ketidakpastian seseorang sebenarnya bukan distribusi probabilitas, maka, secara umum, ia membutuhkannya. Untuk beberapa alasan, selalu terjadi bahwa jika agen yang berpikir dalam kondisi ketidakpastian melanggar salah satu aksioma standar teori probabilitas, bumi akan terbuka, air akan berubah menjadi darah, dan strategi dominan dan jelas kehilangan taruhan akan mengalir dari surga.
Ilmuwan: Oke, ini saya salah. Kami juga akan kembali ke sini, tetapi pertama-tama, jawab pertanyaan saya: apa yang harus kita lakukan dengan kredibilitas setelah kita menerimanya?
Bayesovets: Menurut hukum teori probabilitas, kemungkinan ini adalah bukti. Merekalah yang membuat kita mengubah probabilitas a priori kita dari 2: 1 demi Plume menjadi 3: 1 demi Scarlet. Jika saya memiliki dua hipotesis dan kemungkinan data untuk keduanya, maka saya harus mengubah pikiran saya seperti yang dijelaskan di atas. Jika saya mengubahnya dengan cara berbeda, maka surga terbuka, strategi mengalir, dan sebagainya. Teorema Bayes: ini bukan hanya teknik statistik, itu adalah HUKUM.
Mahasiswa: Maaf, tapi saya masih belum mengerti. Misalkan kita sedang melakukan percobaan. Dan, katakanlah, hasilnya enam kali lebih mungkin jika Herr Troupe dibunuh oleh Profesor Plume daripada jika dia adalah pembunuh Miss Scarlet(kira-kira per. - Siswa, jelas, mencampur masuk akal dari penggunaan racun oleh dua pembunuh. Selanjutnya, rasio ini dibahas) . Tangkap kami profesor atau tidak?
Ilmuwan: Saya kira, sebagai permulaan, Anda perlu menemukan probabilitas a priori yang kurang lebih realistis, misalnya, " a priori, saya percaya bahwa probabilitas membunuh Troupe Plume adalah 20%." Kemudian harus dikalikan dengan rasio kemungkinan 6: 1, dan mendapatkan rasio probabilitas posterior 3: 2, yang membanggakan membunuh rombongan. Maka dapat dinyatakan bahwa Plume bersalah dengan probabilitas 60%, dan kemudian kantor kejaksaan harus mengerti.
Bayesovets: Tidak Ada . Demi Tuhan! Apakah Anda benar-benar berpikir bahwa statistik Bayes bekerja seperti itu?
Ilmuwan:Apakah itu salah? Saya selalu percaya bahwa keunggulan utamanya adalah memberi kita probabilitas posterior, yang nilai-P benar-benar tidak berikan, dan kelemahan utama adalah bahwa probabilitas apriori diperlukan untuk ini. Karena mereka harus diambil kurang lebih dari langit-langit, kebenaran probabilitas posterior dapat diperdebatkan sampai akhir waktu.
Bayesovets: Artikel harus mempublikasikan kredibilitas . Lebih tepatnya, kita perlu menerbitkan data mentah dan menghitung beberapa kemungkinan masuk akal untuk kita. Tapi tentu saja bukan kemungkinan posteriori.
Mahasiswa: Saya bingung lagi. Apa probabilitas posterior?
Bayesovets: Probabilitas Posterior- Ini adalah pernyataan dari tipe "Dengan probabilitas 60% Herr Troupe dibunuh oleh Profesor Plume." Seperti yang telah dicatat oleh kolega saya, pernyataan seperti itu tidak mengikuti dari nilai-P. Dan, menurut saya, mereka tidak memiliki tempat dalam artikel eksperimental, karena ini bukan hasil percobaan .
Siswa: Tapi ... oke, Ilmuwan, pertanyaan untuk Anda: katakanlah kita mendapat hasil dengan p <0,01, yaitu, sesuatu dengan probabilitas kurang dari 1% dengan hipotesis nol "Profesor Plume tidak membunuh Herr Troupe." Haruskah kita menangkapnya atau tidak?
Ilmuwan:Pertama, ini bukan hipotesis nol yang realistis. Kemungkinan besar, hipotesis nol akan menjadi seperti "Tidak ada yang membunuh Herr Troupe" atau "semua tersangka sama-sama bersalah." Tetapi bahkan jika hipotesis nol yang dijelaskan oleh Anda berhasil, bahkan jika kita dapat menolak kepolosan Plume dengan p <0,01, masih tidak mungkin untuk mengatakan bahwa Plume bersalah dengan probabilitas 99%. Nilai-P tidak memberi tahu kami hal ini.
Mahasiswa: Dan bahwa mereka kemudian melaporkan?
Ilmuwan: Mereka melaporkan bahwa data yang diamati adalah bagian dari kelas hasil yang mungkin, dan bahwa hasil kelas ini diamati dalam kurang dari 1% kasus jika hipotesis nol benar. Lebih banyak nilai-P tidak berarti apa-apa. Anda tidak bisa hanya mengambil dan beralih dari p <0,01 ke "Profesor Plume bersalah dengan probabilitas 99%." Bayesian, kemungkinan besar, lebih baik daripada saya akan dapat menjelaskan alasannya. Secara umum, dalam sains tidak mungkin menafsirkan satu hal sebagai sesuatu yang lain. Angka-angka menunjukkan dengan tepat apa artinya, tidak lebih dan tidak kurang.
Mahasiswa: Umumnya sangat baik. Pada awalnya saya tidak mengerti apa yang harus dilakukan dengan masuk akal, dan sekarang saya masih tidak mengerti apa yang harus dilakukan dengan nilai-P. Percobaan apa yang diperlukan untuk akhirnya mengirim Plume ke penjara?
Ilmuwan: Dalam praktik? Jika beberapa percobaan lagi di laboratorium lain mengkonfirmasi kesalahannya dengan p <0,01, maka kemungkinan besar dia benar - benar bersalah.
Bayesovets:Dan "krisis reproduktifitas" adalah ketika kasus ini kemudian diangkat dan ternyata dia tidak melakukan pembunuhan.
Ilmuwan: Ya, ya.
Mahasiswa: Entah bagaimana ternyata tidak menyenangkan.
Ilmuwan: Kehidupan pada umumnya adalah hal yang tidak menyenangkan.
Siswa: Jadi ... Bayesovets, Anda mungkin memiliki jawaban yang sama? Sesuatu seperti fakta bahwa jika rasio kemungkinan cukup besar, katakanlah, 100: 1, maka dalam praktiknya dapatkah hipotesis yang sesuai dianggap benar?
Bayesovets:Ya, tetapi ini agak lebih rumit. Misalkan saya melempar koin 20 kali dan mendapatkan OOOOOROOOROROROROOOOOOOOROROR. Tangkapannya adalah bahwa kemungkinan hipotesis “Koin dijamin untuk memberikan urutan LLCOROOORORORROOOOOOOROROR” lebih tinggi daripada kemungkinan hipotesis “Koin sama kemungkinannya dengan elang atau ekor” sekitar satu juta kali. Dalam praktiknya, jika Anda tidak menyerahkan saya hipotesis ini dalam amplop tertutup sebelum dimulainya percobaan, saya akan menganggapnya sangat terlatih. Saya harus memberikan hipotesis ini hukuman untuk kompleksitas setidaknya 2 ²⁰ : 1, karena deskripsi belaka urutan adalah 20 bit. Dengan kata lain, kurangi probabilitas a priori sedemikian rupa sehingga lebih dari sekadar mengompensasi keuntungan kemungkinan. Dan ini bukan satu-satunya perangkap. Namun demikian, jika Anda memahami bagaimana dan mengapa aturan Bayes berfungsi, maka dalam setiap kasus tertentu Anda dapat memahami sepanjang jalan. Jika rasio masuk akal untuk Plume melawan tersangka lainnya 1000: 1, dan hanya ada enam tersangka, maka dapat diasumsikan bahwa probabilitas a priori hampir tidak lebih dari 10: 1 melawan fakta bahwa ia adalah seorang pembunuh. Jika demikian, maka kita dapat mengasumsikan bahwa dia bersalah dengan probabilitas 99%.
Ilmuwan: Namun demikian, bukankah itu layak ditulis dalam artikel ?
Bayesovets: Benar. Bagaimana merumuskan ... Syarat utama dari analisis Bayesian adalah itu sajainformasi yang relevan. Anda tidak dapat mengecualikan data dari analisis hanya karena Anda tidak menyukainya. Ini sebenarnya adalah kondisi kunci sains seperti itu, terlepas dari statistik yang digunakan. Ada banyak artikel yang kesimpulannya diperoleh hanya karena beberapa faktor tidak diperhitungkan atau sampel tidak representatif dalam beberapa parameter. Apa yang saya bicarakan? Dan pada kenyataan bahwa bagaimana saya (sebagai eksperimen) tahu apa “semua informasi yang relevan” itu? Siapa saya untuk menghitung probabilitas posterior? Mungkin ada yang menerbitkan artikel di mana ada data tambahan dan kredibilitas tambahan yang harus saya perhitungkan, tetapi saya belum membacanya. Jadi saya hanya mempublikasikan data saya dan fungsi kemungkinan saya - dan hanya itu! Saya tidak bisa mengklaim telah mempertimbangkan segalanyaargumen dan sekarang saya dapat menawarkan probabilitas posterior yang andal. Dan bahkan jika saya bisa, artikel lain mungkin keluar dalam seminggu, dan probabilitas ini akan menjadi usang.
Siswa: Secara kasar, pelaku eksperimen hanya perlu mempublikasikan datanya, menghitung untuk mereka beberapa kemungkinan dan semuanya? Dan hanya dengan begitu orang lain akan memutuskan apa yang harus dilakukan dengan mereka?
Bayesovets: Seseorang harus memilih probabilitas apriori - sama, atau dengan entropi maksimum, atau dengan penalti untuk kompleksitas, atau apa pun yang lain - kemudian mencoba untuk mengumpulkan semua data yang mungkin, menghitung kemungkinan, memastikan bahwa hasilnya tidak gila , dan lainnya dan lainnya. Dan mereka masih harus dihitung jika artikel baru dirilis dalam seminggu.
Pelajar:Kedengarannya cukup memakan waktu .
Bayesovets: Akan jauh lebih buruk jika kita melakukan meta analisis nilai-P. Memperbarui probabilitas Bayesian jauh lebih mudah. Cukup dengan melipatgandakan probabilitas posterior lama dengan fungsi kemungkinan baru dan menjadi normal. Itu saja. Jika percobaan 1 memberikan rasio kemungkinan 4: 1 untuk hipotesis A dan B, dan percobaan 2 memberi mereka rasio kemungkinan 9: 1, maka bersama-sama mereka memberikan rasio 36: 1. Itu saja.
Siswa: Tidak bisakah Anda melakukan ini dengan nilai-P? Satu percobaan dengan p = 0,05 dan percobaan lain dengan p = 0,01 tidak berarti bahwa sebenarnya p <0,0005?
Ilmuwan: Tidak ada .
Bayesovets: Para pemirsa yang terhormat, harap perhatikan senyum sombong saya.
Ilmuwan: Tapi saya masih khawatir tentang perlunya memunculkan probabilitas apriori.
Bayesovets: Dan mengapa itu lebih mengganggu Anda daripada kenyataan bahwa semua orang memutuskan untuk mempertimbangkan satu percobaan dan dua replikasi dengan p <0,01 kriteria Kebenaran?
Ilmuwan: Anda ingin mengatakan bahwa pilihan nilai-nilai apriori tidak lebih subyektif daripada interpretasi nilai-P? HmSaya ingin menyatakan bahwa persyaratan, katakanlah, p <0,001 harus menjamin objektivitas. Tetapi kemudian Anda akan menjawab bahwa angka 0,001 (bukan 0,1 atau 1e-10) juga dihisap dari jari.
Bayesovets: Dan saya menambahkan bahwa ini kurang efisien untuk meminta nilai P sembarang dari pada menyedot probabilitas a priori dari jari yang sama. Salah satu teorema pertama yang mengancam para pelanggar aksioma probabilitas dengan hukuman Mesir dibuktikan oleh Abraham Wald pada tahun 1947. Dia mencoba menggambarkan semua strategi yang dapat diterima , memanggil strategi untuk bereaksi terhadap apa yang Anda amati. Tentu saja, strategi yang berbeda dalam keadaan yang berbeda dapat lebih atau kurang menguntungkan. Strategi yang Dapat Diterimaia menyebut satu yang tidak didominasi oleh beberapa strategi lain di bawah semua kondisi yang memungkinkan. Jadi, Wald menemukan bahwa kelas strategi yang dapat diterima bertepatan dengan kelas strategi yang mengandung distribusi probabilitas, memperbaruinya berdasarkan pengamatan oleh aturan Bayesian, dan mengoptimalkan fungsi utilitas.
Mahasiswa: Maaf, bisakah saya berbicara bahasa Rusia?
Bayesovets: Jika Anda melakukan sesuatu sehubungan dengan apa yang Anda amati dan mendapatkan lebih atau kurang, misalnya, uang, tergantung pada apa dunia nyata, maka salah satu dari keduanya benar. Baik strategi Anda, dalam arti tertentu, mengandung distribusi probabilitas dan memperbaruinya sesuai dengan aturan Bayesian, atauada beberapa strategi lain yang tidak pernah menghasilkan bagi Anda, dan kadang-kadang melampaui itu. Misalnya, Anda berkata, “Saya tidak akan berhenti merokok sampai saya melihat artikel yang membuktikan hubungan antara merokok dan kanker pada p <0,0001”. Setidaknya secara teori, ada cara untuk mengatakan, “Menurut saya, hubungan antara merokok dan kanker ada dengan probabilitas 0,01%. Apa kemungkinanmu? ”, Yang tidak lebih buruk dari formulasi pertama, tidak peduli seberapa besar kemungkinan adanya hubungan semacam itu secara apriori.
Ilmuwan: Benarkah?
Bayesovets:Ya Revolusi Bayesian dimulai dengan teorema ini; sejak itu perlahan-lahan mendapatkan momentum. Perlu dicatat bahwa Wald membuktikan teorinya beberapa dekade setelah penemuan nilai-P. Ini, menurut pendapat saya, menjelaskan bagaimana ternyata semua ilmu pengetahuan modern ternyata terkait dengan statistik yang jelas tidak efisien.
Ilmuwan: Jadi, Anda mengusulkan untuk membuang nilai-P dan alih-alih hanya mempublikasikan hubungan kemungkinan?
Bayesovets: Singkatnya, ya.
Ilmuwan: Sesuatu yang saya tidak benar-benar percaya pada solusi ideal, cocok untuk kondisi apa pun. Saya curiga - tolong jangan menganggapnya penghinaan - bahwa Anda adalah seorang idealis. Dalam pengalaman saya, dalam situasi yang berbeda, berbagai alat dibutuhkan dan tidak masuk akal untuk membuang semuanya kecuali satu.
Bayesovets:Yah, saya siap menjelaskan apa yang saya idealis dan apa yang tidak. Kemungkinan fungsi saja tidak akan menyelesaikan krisis reproduktifitas. Itu tidak dapat sepenuhnya diselesaikan dengan hanya memerintahkan semua orang untuk menggunakan statistik yang lebih efektif. Popularitas majalah akses terbuka tidak tergantung pada pilihan antara kemungkinan dan nilai-P. Masalah dengan sistem peninjauan juga independen dari itu.
Ilmuwan: Dan segalanya, jadi itu tergantung?
Bayesovets: Tidak semuanya, tetapi mereka memiliki banyak apa untuk membantu . Mari kita hitung.
Bayesovets:Pertama-tama Fungsi kemungkinan tidak memaksakan pembedaan yang dibuat antara hasil "signifikan secara statistik" dan "tidak signifikan". Eksperimen tidak dapat memiliki hasil "positif" atau "negatif". Apa yang disebut hipotesis nol sekarang hanyalah salah satu hipotesis, pada prinsipnya tidak berbeda dari yang lain. Jika Anda melempar koin dan mendapatkan OORORRROOO, Anda tidak dapat mengatakan bahwa percobaan tidak dapat "menolak hipotesis nol pada p <0,05" atau "mereproduksi hasil yang diperoleh sebelumnya". Dia hanya menambahkan data yang mendukung hipotesis koin jujur ​​terhadap hipotesis "5/6 elang" dengan rasio kemungkinan 3,78: 1. Jadi dengan adopsi besar-besaran statistik Bayesian, hasil percobaan seperti itu akan lebih kecil kemungkinannya untuk dikirim ke meja. Tidak selamanyakarena editor majalah masih lebih tertarik pada koin jujur, dan Anda harus berurusan dengan ini secara langsung. Tetapi nilai-P tidak hanya tidak berjuang dengan pendekatan ini, mereka adalah miliknyamerangsang ! Itu karena dia bahwa p-hacking umumnya ada. Jadi transisi menuju kredibilitas tidak akan membawa kebahagiaan bagi semua orang dan tanpa hasil, tetapi pasti akan membantu .
Bayesovets: Kedua. Sistem likelihood jauh lebih menekankan pentingnya data dasar dan akan merangsang publikasi mereka, di mana pun ini mungkin, karena analisis Bayesian didasarkan pada seberapa besar kemungkinan ini khususnya hasil dalam satu atau model lain. Sistem P-value, sebaliknya, membuat peneliti menganggap data hanya sebagai salah satu anggota kelas hasil "sama-sama ekstrim". Beberapa ilmuwan suka menyimpan semua data berharga mereka; Ini bukan hanya tentang statistik. Tetapi nilai-P merangsangdan ini, karena data itu sendiri tidak penting untuk artikel, tetapi apakah itu milik kelas tertentu. Setelah ini ditetapkan, semua informasi yang terkandung di dalamnya tampaknya runtuh menjadi sedikit "signifikansi" atau "tidak penting".
Bayesovets: Ketiga. Dari sudut pandang teori probabilitas, dari sudut pandang Bayesian, ukuran efek yang berbeda adalah hipotesis yang berbeda. Ini logis, karena fungsi kemungkinan yang berbeda dan, karenanya, probabilitas berbeda dari data yang diamati sesuai dengannya. Jika satu percobaan menemukan nilai efek 0,4, dan percobaan lain menemukan nilai "signifikan secara statistik" dari efek yang sama 0,1, maka percobaan tidak mereproduksidan kami tidak tahu apa yang sebenarnya ada di sana. Ini akan memungkinkan menghindari situasi yang cukup umum ketika besarnya efek "signifikan secara statistik" berkurang dan menurun dengan meningkatnya ukuran sampel.
Bayesovets: Keempat. Fungsi kemungkinan sangat menyederhanakan agregasi data dan meta analisis. Mereka bahkan dapat membantu kita memperhatikan bahwa data dikumpulkan dalam kondisi heterogen atau bahwa kita tidak mempertimbangkan hipotesis yang sebenarnya. Dalam hal ini, semua fungsi akan mendekati nol untuk semua parameter yang mungkin, atau hipotesis terbaik akan memberikan kemungkinan yang jauh lebih kecil pada data gabungan daripada yang diprediksi sendiri . Pendekatan yang lebih ketat untuk reproduksibilitas akan memungkinkan kita untuk dengan cepat memahami apakah percobaan semacam itu dapat dianggap sebagai pengulangan dari ini dan itu.
Bayesovets: Kelima. Fungsi kemungkinan tidak tergantung pada apa yang mereka pikirkan tentang mereka. Ini adalah pernyataan objektif tentang data. Jika Anda mempublikasikan nilai kemungkinan, maka hanya ada satu cara untuk menipu pembaca - memalsukan data itu sendiri. Peretasan tidak akan berfungsi.
Ilmuwan: Yah, saya sangat meragukannya. Misalkan saya memutuskan untuk meyakinkan Anda bahwa koin lebih sering dijatuhkan oleh rajawali, walaupun sebenarnya itu jujur. Saya akan mengambil koin, saya akan melemparkannya sampai kebetulan saya mendapatkan lebih banyak elang, dan kemudian berhenti. Lalu apa?
Bayesovets: Silakan. Jika Anda tidak memalsukan data, Anda tidak akan menipu saya.
Ilmuwan:Pertanyaannya adalah tentang apa yang akan terjadi jika saya memeriksa rasio kemungkinan setelah setiap lemparan dan berhenti segera setelah itu mendukung teori favorit saya.
Bayesovets: Sebagai seorang idealis, tergoda oleh keindahan teori probabilitas yang menipu, saya menjawab Anda: ketika Anda memberi saya data mentah yang jujur, saya hanya dapat dan harus melakukan satu hal - berkembang biak menurut aturan Bayesian.
Ilmuwan: Benarkah?
Bayesovets: Serius.
Ilmuwan: Jadi, Anda tidak peduli bahwa saya dapat memeriksa rasio kemungkinan sampai saya menyukainya?
Bayesovets: Silakan.
Ilmuwan: Oke. Lalu saya akan menulis skrip Python yang mensimulasikan lemparan koin jujur sebelumnyakatakanlah, 300 kali, dan saya akan melihat seberapa sering saya bisa mendapatkan rasio 20: 1 yang mendukung hipotesis “koin dijatuhkan oleh elang dalam 55% kasus” ... Apa?
Bayesovets: Ya, hanya kebetulan lucu. Ketika saya baru saja mengetahui segala sesuatu tentang hal itu dan meragukan bahwa kemungkinan hubungan tidak dapat tertipu dengan cara yang rumit, maka saya menulis program yang sama dengan Python. Kemudian, seorang teman saya juga mengetahui tentang kemungkinan hubungan dan juga menulis program yang sama, juga karena beberapa alasan dengan Python . Dia meluncurkannya dan menemukan bahwa rasio 20: 1 untuk hipotesis Eagles 55% ditemukan setidaknya sekali dalam 1,4% dari seri pemain. Jika Anda menuntut, misalnya, 30: 1 atau 50: 1, frekuensinya turun lebih cepat.
Ilmuwan:Jika Anda menganggap nilai P satu setengah persen Anda, maka itu terlihat bagus. Tetapi ini adalah cara yang sangat kasar untuk menipu analisis; mungkin ada yang lebih kompleks dan efisien?
Bayesovets: Saya berusia sekitar lima tahun, mungkin, jika tidak kurang, ketika saya pertama kali belajar tentang penambahan. Salah satu kenangan saya yang paling awal. Saya duduk, menambahkan 3 hingga 5 dan terus berusaha menemukan cara agar tidak mendapatkan 8. Yang mana, tentu saja, merupakan langkah yang sangat bagus dan umumnya penting untuk memahami apa itu penambahan (dan matematika secara umum). Tapi sekarang itu hanya menyenangkan, karena kita adalah orang dewasa dan memahami bahwa 5 ditambah 3 pasti sama dengan 8. Skrip yang terus-menerus memeriksa rasio kemungkinan melakukan hal yang sama seperti yang saya lakukan di masa kecil. Memahami teorinya, saya menyadari bahwa mencoba menipu aturan Bayes sudah jelashancur. Ini seperti mencoba menguraikan 3 dengan cara yang rumit menjadi 2 dan 1 dan menambahkannya secara individual ke 5, atau mencoba menambahkan 1 pertama, dan hanya pada 2. 2. Baik cara 7 atau 9 tidak akan bekerja. Hasil dari penambahan adalah teorema , dan tidak masalah urutan operasi yang kami lakukan. Jika benar-benar setara dengan menambahkan 3 hingga 5, maka output tidak bisa apa-apa selain 8. Teorema teori probabilitas juga merupakan teorema. Jika naskah benar-benar bisa berfungsi, ini berarti kontradiksi dalam teori probabilitas, dan karenanya kontradiksi dalam aritmatika Peano, yang menjadi dasar analisis probabilitas menggunakan bilangan rasional. Apa yang Anda dan saya coba lakukan adalah tepatsesulit menambahkan 3 dan 5 dalam aksioma aritmatika standar dan mendapatkan 7.
Siswa: E, mengapa?
Ilmuwan: Saya juga tidak mengerti.
Bayesian: Misalkan e menunjukkan pengamatan, H menunjukkan hipotesis ,! X menunjukkan "bukan X", P ( H ) menunjukkan probabilitas hipotesis, dan P ( X | Y ) menunjukkan probabilitas bersyarat dari X, asalkan Y benar. Terdapat teorema yang menunjukkan bahwa

P (H) = P ( H | e ) * P ( e )) + (P ( H |! e ) * P ( ! e )

Oleh karena itu, untuk fungsi probabilitas tidak adaanalog p-hacking yang rumit, tidak termasuk pemalsuan data, karena tidak ada prosedur yang diketahui oleh agen Bayesian yang akan memaksanya untuk memperbarui probabilitas a priori-nya ke arah yang sengaja salah. Untuk setiap perubahan yang bisa kita dapatkan dari menonton e , ada variasi inverse yang dapat diharapkan dari pengamatan ! Sebuah e .
Mahasiswa: Apa?
Ilmuwan: Saya juga tidak mengerti.
Bayesovets: Oke, mari kita matikan matematika untuk sekarang dan lihat ... ya, krisis reproduktifitas. Ilmuwan mengatakan bahwa ia curiga terhadap solusi universal yang ideal. Tetapi menurut pendapat saya transisi ke fungsi kemungkinan benar - benar harusmenyelesaikan banyak masalah sekaligus. Misalkan ... Saya akan memikirkannya sekarang. Misalkan sebuah perusahaan memiliki masalah besar dengan akuntansi. Masalah-masalah ini terkait dengan fakta bahwa semua akuntansi menggunakan angka floating-point; dan itu akan menjadi setengah masalah, tetapi tiga implementasi yang berbeda digunakan (masing-masing sekitar sepertiga dari korporasi), sehingga ternyata Tuhan tahu apa. Seseorang, misalnya, membutuhkan 1,0, menambahkan 0,0001 seribu kali, kemudian kurangi 0,1 dan dapatkan 0,999999999999989. Kemudian dia pergi ke lantai lain, mengulangi perhitungan di komputer mereka dan mendapat 1,00000000000000004. Dan semua orang mengira begitu. Dan kesalahannya, anggaplah, BENAR-BENAR BESAR, ketiga realisasi adalah hasil dari penyatuan lukisan gua dan angka Romawi yang tidak wajar. Jadi karena perbedaan di antara mereka, Anda bisa mendapatkan perbedaan hasil yang nyata. Tentu sajasetiap orang memilih penjualan sehingga mereka memiliki pelaporan triwulanan. Oleh karena itu, dianggap hasil yang baik jika anggaran departemen tidak bertentangan setidaknya dengan dirinya sendiri, dan departemen priming kognitif, kemungkinan besar, bangkrut 20 tahun yang lalu. Dan di sini saya keluar, semuanya putih, dan saya berkata: “Selamat sore. Tetapi bagaimana jika alih-alih ketiga realisasi Anda, Anda menggunakan hal keren ini yang tidak dapat dimanipulasi dengan cara ini dan yang akan menyelesaikan setengah dari masalah Anda. "yang tidak dapat dimanipulasi dengan cara ini dan yang akan menyelesaikan setengah dari masalah Anda. "yang tidak dapat dimanipulasi dengan cara ini dan yang akan menyelesaikan setengah dari masalah Anda. "
( Bayesovets , dalam suara Ilmuwan ) : "Saya curiga terhadap solusi universal semacam itu," jawab akuntan kepala saya. “Jangan menganggapnya sebagai penghinaan, tetapi Anda, orang tua, adalah seorang idealis. Dalam pengalaman saya, notasi floating-point yang berbeda cocok untuk operasi yang berbeda, jadi Anda tidak harus segera membuang semua alat kecuali satu. "
Bayesovets: Yang saya jawab kepadanya: "Mungkin ini terdengar terlalu berani, tapi saya akan menunjukkan kepada Anda yang sempurnarepresentasi fraksi, di mana hasilnya tidak bergantung pada urutan di mana Anda menambahkan angka atau pada komputer siapa perhitungan dilakukan. Mungkin pada tahun 1920, ketika sistem Anda baru saja dibuat, itu membutuhkan terlalu banyak memori. Tetapi sekarang bukan tahun 1920, Anda tidak dapat menghemat sumber daya komputasi. Terutama karena Anda sudah ada di sana, 30 juta rekening bank? Ini sebenarnya omong kosong. Ya, pandangan saya memiliki kekurangan. Sebagai contoh, akar kuadrat diambil jauh lebih sulit. Tetapi seberapa sering, jujur, Anda perlu mengambil akar kuadrat dari gaji orang lain? Untuk sebagian besar tugas di dunia nyata, sistem ini tidak kalah dengan Anda, dan di samping itu, tidak dapat dibodohi tanpa memalsukan nilai input. " Setelah itu saya jelaskan kepada merekabagaimana merepresentasikan bilangan bulat dengan panjang arbitrer dalam memori dan bagaimana merepresentasikan bilangan rasional sebagai rasio dua bilangan bulat. Yaitu, apa yang sekarang kita sebut cara yang jelas untuk mewakilibilangan rasional nyata dalam memori komputer. Sistem teorema satu-satunya dan unik pada bilangan rasional dimana bilangan floating point hanya merupakan perkiraan. Dan jika Anda menangani 30 juta tagihan yang tidak menguntungkan; jika, dalam praktiknya, perkiraan Anda tidak bertepatan satu sama lain, atau dengan diri Anda sendiri; jika mereka juga memungkinkan semua orang mencuri uang Anda; jika, akhirnya, ini bukan 1920, dan Anda dapat membeli komputer normal, maka kebutuhan untuk mentransfer akuntansi ke bilangan rasional nyata cukup jelas. Dengan cara yang sama, aturan Bayes dan konsekuensinya adalah satu - satunya sistem teorema probabilitas yang didasarkan pada aksioma dan benar-benar terbukti. Dan karena itu p-hacking tidak berfungsi di dalamnya.
Ilmuwan: Ini ... berani. Sekalipun semua yang Anda katakan itu benar, masih ada kesulitan praktis. Statistik yang kami gunakan sekarang telah terbentuk selama lebih dari satu dekade; dia membuktikan nilainya. Bagaimana jalan Bayesian Anda yang cerah terbukti dalam praktik?
Bayesovets: Dalam ilmu alam, hampir tidak pernah digunakan. Dalam pembelajaran mesin, di mana, karena lebih sederhana untuk dikatakan, cukup mudah untuk melihat bahwa model itu salah - karena AI yang didasarkan pada itu tidak berfungsi - dan, dalam pembelajaran mesin, saya terakhir melihat pendekatan frekuensi untuk probabilitas sekitar sepuluh tahun yang lalu. Dan saya tidak ingat satu punbekerja di mana AI akan mempertimbangkan nilai-P dari beberapa hipotesis. Jika probabilitas setidaknya entah bagaimana muncul dalam penelitian ini, maka hampir pasti Bayesian. Jika sesuatu diklasifikasikan menurut kode kesatuan, maka lintas entropi diminimalkan, dan tidak ... Saya bahkan tidak tahu apa yang bisa menjadi analog dari nilai-P dalam AI. Saya berani menyarankan bahwa inilah intinya. Statistik dalam pembelajaran mesin bekerja atau tidak, dan itu segera jelas: AI melakukan apa yang seharusnya, atau crash. Dan dalam ilmu pengetahuan alam, semua orang membutuhkan publikasi terlebih dahulu. Karena kebetulan bahwa biasanya untuk menunjukkan nilai-P dalam artikel, tetapi jangan menghukum untuk hasil yang tidak dapat diperbaiki, kami memiliki apa yang kami miliki.
Ilmuwan:Artinya, Anda bukan ahli matematika atau programmer daripada naturalis-eksperimen? Untuk beberapa alasan ini tidak mengejutkan saya. Saya tidak ragu bahwa perangkat statistik yang lebih sukses bisa ada, tetapi pengalaman menggunakan nilai-P juga bernilai. Ya, sekarang mereka sering dipelintir dengan satu atau lain cara, tetapi kita tahu bagaimana melakukannya, dan kita mulai mengerti bagaimana menghadapinya. Lubang perangkap setidaknya diketahui. Dalam sistem baru apa pun, mereka juga akan. Tapi di mana tepatnya - itu akan menjadi jelas hanya setelah beberapa dekade. Mungkin mereka akan lebih berbahaya daripada yang sekarang.
Bayesovets:Ya, akuntan pencuri mungkin akan datang dengan beberapa manipulasi baru dan menarik dengan angka rasional. Terutama dalam kasus-kasus ketika operasi yang tepat masih menjadi terlalu mahal secara komputasi dan harus diperkirakan. Tetapi saya masih percaya bahwa jika psikologi eksperimental yang sama sekarang dihancurkan oleh krisis reproduktifitas, dan jika krisis ini jelas terkait dengan penggunaan nilai-P, yang, terus terang, tidak lebih dari sekelompok kruk yang saling bertentangan, maka setidaknya mencoba untuk menggunakan lebih banyak metode rasional. Meskipun saya juga tidak mendesak untuk menghancurkan dan membangun kembali semuanya. Dalam praktiknya, sebagai permulaan, Anda dapat meninggalkan nilai-P di satu area (bahkan dalam psikologi) dan melihat apa yang terjadi.
Ilmuwan:Dan bagaimana Anda akan berbicara psikolog ke dalam eksperimen seperti itu?
Bayesovets: Saya tidak tahu. Terus terang, saya tidak terlalu berharap ada orang yang benar-benar akan mengubah apa pun. Kemungkinan besar, orang hanya akan menggunakan nilai-P sampai akhir waktu. Hal-hal seperti itu. Tapi ada kemungkinan ide itu akan tetap populer. Saya terkejut melihat seberapa cepat Open Access berakar. Saya terkejut bahwa krisis reproduktifitas pada umumnya diperhatikan, dan terlebih lagi, orang-orang peduli akan hal itu. Mungkin nilai-P masih akan ditarik keluar ke pasar dan ditingkatkan dengan kerumunan orang yang besar ( sekitar Per: setidaknya satu jurnal psikologi pada tahun 2015 menolak untuk menguji hipotesis nol) Jika demikian, maka saya akan terkejut. Dalam hal ini, ternyata pekerjaan saya untuk mempopulerkan aturan dan verisimilitude Bayes tidak sia-sia.
Ilmuwan: Mungkin juga ternyata tidak ada yang menyukai kemungkinan dalam sains eksperimental , dan semua orang menganggap nilai-P sebagai hal yang nyaman dan berguna.
Bayesovets: Jika program statistik di universitas begitu mengerikan sehingga pada saat memikirkan teori probabilitas mereka mengalami getaran - maka ya, perubahan harus datang dari luar. Saya pribadi berharap agar Siswa kita yang terkasih ini akan membaca pengantar singkat tentang teori probabilitas Bayesian., akan membandingkannya dengan buku teksnya yang luar biasa tentang statistik dan akan memohon Anda untuk enam bulan ke depan "Ya, tolong, bisakah saya menghitung kredibilitasnya dan hanya itu, tolong, izinkan saya."
Mahasiswa: Uh ... baik, saya baca dulu, oke?
Bayesovets: Siswa yang Terhormat, pikirkan pilihan Anda. Beberapa perubahan dalam sains terjadi hanya karena siswa tumbuh dikelilingi oleh ide-ide yang berbeda dan memilih yang benar dari mereka. Ini adalah pepatah Max Planck yang terkenal, dan Max Planck tidak akan mengatakan omong kosong. Ergo, kemampuan sains untuk membedakan yang buruk dari ide-ide yang baik tergantung sepenuhnya pada kecerdasan siswa.
Ilmuwan: Ya, itu sudah ...
Moderator: Dan di sinilah kami menyelesaikan transfer kami. Terima kasih atas perhatian anda!