Panduan singkat tentang membuat nubuat, dewa mobil dan kesalahan orde kedua

Mungkin, dalam banyak teks ini tidak akan ada hal baru. Mungkin orang lain akan mengatakan bahwa ini tidak terjadi dalam kehidupan nyata. Tapi, bukan yang pertama bulan April, tetapi semua yang ditulis di sini adalah kebenaran murni yang terjadi pada saya atau orang-orang di sekitar. Mungkin beberapa hal di atas akan membuat Anda memikirkan kembali fenomena di sekitar Anda.

Jika kita mendekati kisah-kisah ini secara formal, kita dapat mengatakan bahwa semua itu dihasilkan oleh fakta bahwa orang tidak memperhitungkan kesalahan jenis kedua. Di Yudkovsky, dengan siapa seperempat Habr terbiasa - kesalahan ini biasanya disebut " Mengkonfirmasi distorsi ."



Apa ini Singkatnya - "seseorang mencari konfirmasi modelnya, bukan bantahannya." Satu-satunya kesempatan untuk menjelaskan dengan lebih baik adalah contoh, contoh, contoh, dan pengalaman. Ini adalah satu-satunya cara untuk mengembangkan perasaan bahwa "ada sesuatu yang salah di sini."

Tampak bagi saya bahwa cerita pendek ini akan memungkinkan Anda untuk melihat kesalahan jenis kedua dari perspektif yang sama sekali berbeda. Dari sisi bagaimana mereka telah memasuki hidup kita, mereka mempengaruhi hampir setiap keputusan. Dan mereka membantu kita membuat dewa dari teknologi di sekitarnya. Dalam pembelajaran mesin, saya menemukan ini setiap hari.

Pendahuluan

Saya akan mulai dengan kisah-kisah guru sains saya.

Suatu hari, pada masa Uni, pertemuan dewan beberapa biro desain diadakan. Salah satu dokter ilmu pengetahuan, kepala departemen besar di salah satu biro desain, mempresentasikan metode baru untuk menemukan benda terbang dengan radar. Pada saat yang sama, keakuratan temuan itu hampir sempurna, melampaui algoritma yang ada atas perintah besarnya.

Itu didasarkan pada beberapa matematika fraktal yang rumit. Tidak ada seorang pun di papan tulis yang bisa memahaminya dari laporan / kertas pendamping. Dan orang yang mempresentasikan algoritma memberikan lebih banyak argumen bahwa semua radar harus dikonversi ke algoritma ini. Dan reputasinya sudah mapan. Semua orang merasakan tangkapan itu. Tapi tidak ada yang bisa mengerti di mana kesalahannya dalam matematika.
Dan hanya satu mahasiswa pascasarjana di dewan, yang tiba di sana secara kebetulan, menggantikan bosnya, setelah satu jam berdiskusi, memutuskan untuk bertanya: "Dan apa kemungkinan deteksi palsu jika tidak ada benda?" Dia tidak mengerti matematika, tetapi jelas merasa bahwa dia tidak bisa melompati urutan akurasi yang besar.

Semua orang diam. Semua orang yakin bahwa hal sepele seperti itu jelas diverifikasi. Tetapi dokter, yang membela matematika, menjadi pucat, tampak kuyu, dan hanya berhasil mengatakan "Kami lupa melihat ...".

Orang-orang, bahkan yang pintar dan bergelar, pertama-tama mencari konfirmasi atas teori mereka. Dan semakin mereka yakin akan hal itu, semakin banyak lelucon yang bisa mereka lakukan.

Rasakan dirimu sendiri

Jika artikel berlanjut lebih jauh, maka tidak akan ada gambar! Tapi saya tahu bahwa artikel tentang Habré dibuka hanya demi foto-foto terbaik!

Dan ada banyak dari mereka dalam topik ini. Mereka mengkonfirmasi bahwa fitur mempercayai solusi paling sederhana ada di dalam diri kita di tingkat alamiah. Kalian semua telah melihatnya berkali-kali. Dan, mungkin, tidak perlu dijelaskan:



Gaun kuning klasik (biru?).



Necker Cube , bagaimana saya bisa melakukannya tanpa dia


Rotasi ke kiri / kanan

Keunikan ilusi ini adalah bahwa mereka memiliki interpretasi ganda. Otak berjalan dalam siklus hanya pada satu sudut pandang yang memecahkan masalah. Dan mengabaikan sudut pandang lain. Dan katakan saja kepada saya bahwa Anda dapat mengingat dua pandangan sekaligus !!!

Itu seperti agama yang bisa menjelaskan sifat fenomena. Seperti horoskop yang bukan tentang apa-apa, tetapi seseorang mencari konfirmasi. Seringkali Anda tidak dapat menentukan apa yang dihitung oleh sistem cerdas untuk Anda dan bagaimana membandingkannya dengan kenyataan. Tidak percaya

Contoh nomor dua, tentang penjahat

Nah, bagaimana Anda menyukai proyek ini? Menggunakan Neurosky untuk menilai bakat anak? Siapa pun yang kurang lebih memiliki pengetahuan di bidang teknologi memahami bahwa ini adalah perkabelan. Kesaksian berisik dari Neurosky nyaris tidak memungkinkan untuk membedakan bermain gitar dari membaca buku.



Dan ini belum lagi bahwa semuanya 100 kali lebih rumit untuk anak-anak. Anak-anak bermasalah, yang menghasilkan tingkat kebisingan yang tinggi. Dan, tentu saja, para pengembang tidak memberikan bukti tentang algoritma dan signifikansi statistik. Ini akan berhasil - itu akan menjadi terobosan. Tapi ini hanya cara pemasangan kabel.

Setelah artikel saya tentang NeuroSky, lima orang menulis kepada saya dengan ide-ide serupa melalui pos / PM. Seseorang hanya gila, dan seseorang dengan sinis mengisyaratkan bahwa "baiklah, Anda melakukan sistem, karena itu akan menunjukkan sesuatu, itu tidak dapat memberikan omong kosong setelah pelatihan". Dan situs yang saya kutip sedikit lebih tinggi dikutip sebagai contoh.

Dan mengapa Anda bukan horoskop?

Kenapa disini? Nah, ada satu kantor yang berhubungan dengan kabel. Ya, ada beberapa ilmuwan. Bagaimanapun, ini tidak masif!

Tapi, menurut saya itu bukan pasangan. Hal-hal semacam itu mengisi kehidupan sehari-hari. Dan teknologi menghasilkan mereka setiap hari. Di bawah ini dalam teks akan ada beberapa contoh ilustrasi tentang yang Anda semua tahu dengan baik (apakah Anda punya waktu untuk mengingat sebelum Anda membacanya? ). Dan di komentar kamu bisa bawa sendiri.

Kunci bagi saya dalam hal ini adalah bahwa hal itu menunjukkan bahwa banyak orang ingin percaya pada teknologi / metodologi. Dan itu adalah satu hal ketika orang yang tidak memahaminya percaya. Dan yang kedua adalah penipuan diri pencipta. Yang kedua, sayangnya, mengalami kemajuan.

Contoh Nomor Tiga, Setiap Hari

Sepertinya bagi saya bahwa cerita tidak boleh diulang, bahwa masing-masing dari mereka harus menunjukkan sifat manusia dari sisi lain. Jadi saya akan pindah ke sisi lain.
Nomor mobil!

Apa ?? Apa kesalahan dari jenis kedua !? Sihir macam apa?

Dan mereka muncul di sini sangat keren. Inilah yang Anda katakan, berapa nomor mobilnya:





Apakah itu "M" atau "H"? Apakah wilayah itu "71" atau "21"?

Namun, berdasarkan gambar tunggal dari rencana semacam itu, orang mulai mengevaluasi kualitas sistem. Mengapa menurut Anda begitu? Biasanya karena seseorang melihat jumlah mobil yang demikian. Dan sulit baginya untuk mengakui bahwa dalam foto seperti itu ia mungkin memiliki interpretasi yang berbeda.

Ada keruntuhan kesadaran yang mendukung keputusan terdekat yang diketahui. Saya memberikan contoh yang paling terbuka, tetapi jika tiba-tiba menarik, di sini saya akan mengambil beberapa langkah lagi.

Dan untuk meyakinkannya bahwa jumlahnya bisa berbeda seringkali hampir mustahil. Lebih mudah untuk mengatakan "ini termasuk dalam persentase kesalahan algoritma".

Ini adalah perangkap kesadaran yang sangat umum ketika bekerja dengan gambar dan sistem pengenalan. Manusia sedang menunggu solusi yang sudah jadi. Dan semua yang sampai pada keputusan lain salah. Jalannya tidak menarik. Hanya hasilnya yang menarik. Beberapa kali sebulan saya harus menjelaskan bahwa algoritma yang terlatih tidak diperlukan untuk bekerja pada frame dengan noise.

Saya takut memikirkan bagaimana beberapa perusahaan menawarkan rencana seperti itu . Bahkan dalam bidikan yang sangat baik, sulit menemukan kacamata / sarung tangan dan melacak pemiliknya. Bahkan jika Anda bukan algoritma, tetapi orang yang hidup.



Pada saat yang sama, para insinyur di perusahaan teknis bukanlah orang-orang yang diminta oleh tugas filosofis "apakah mungkin untuk memahami dari video ini apakah seseorang memiliki kacamata keselamatan atau tidak."

Namun banyak orang percaya bahwa angka yang tidak dapat dibaca juga dikenal dengan baik. Dan resolusinya dapat ditingkatkan ratusan kali. Pada habr ada artikel bagus tentang hal ini. Dan kadang-kadang mereka sangat tersinggung bahwa ini tidak benar. Sihir dari mobil tidak berfungsi;)

Contoh nomor empat, atau bagaimana Anda bisa berada di pusat gempa

Saya telah memberikan tiga opsi berbeda. Dan semuanya dapat dijawab dengan standar: "oh well, itu hanya orang yang tidak kompeten." Atau: "orang salah, dengan siapa itu tidak terjadi."

Tapi, kesalahan seperti itu jauh lebih umum daripada yang Anda pikirkan. Segera setelah kita berurusan dengan keputusan yang ambigu, dengan situasi di mana 3-4 hasil dimungkinkan, tidak mungkin untuk menilai tingkat kompetensi kita. Bahkan jika Anda seorang insinyur yang sangat keren.

Saya akan menceritakan sebuah kisah epik tentang bagaimana para ahli dapat membuat kesalahan (atau tidak membuat kesalahan) ketika mereka menemukan dewa dari mobil.

Suatu hari mereka menulis kepada saya dengan permintaan untuk mengatur konsultasi tentang pengakuan beberapa tes medis. Di telepon, saya tidak terlalu mengerti penjelasan manajer tentang apa yang harus dikenali. Terlebih lagi, menurutnya, kasusnya adalah tentang metodologi yang “benar-benar baru”. Jadi kami sepakat untuk bertemu dengan dokter yang mengembangkannya (Skype untuk dokter terlalu rumit).

Keesokan harinya, setelah dua jam pertemuan, otak saya mulai mendidih. Saya tidak mengerti dengan siapa saya berbicara selama dua jam. Dengan penjahat absolut, dengan pemenang Nobel masa depan, atau dengan orang-orang yang gila.

Sekelompok dokter menciptakan tes universal yang mengungkapkan lusinan, bahkan ratusan penyakit. Dengan air seni, darah, air mata, dan air liur.

Metodenya sama: "campur cairan dengan reagen (satu dan sama), lihat bagaimana itu mengering dan pecah-pecah". Diagnosis dibuat berdasarkan bagaimana retakan akan terlihat, untuk apa warna semua ini akan terjadi, untuk apa bentuk kristal akan tumbuh pada tetes kering, bagaimana semuanya terlihat dalam cahaya terpolarisasi.



Dan saya harus mengatakan bahwa bagian pertama, yang ada di urin, cukup beralasan.

Ketika pada hari-hari berikutnya saya mencoba menggali informasi mengenai topik tersebut dan mewawancarai dokter - mereka mengkonfirmasi bahwa banyak dari ini adalah tes standar yang sangat menyimpang yang terjadi dalam kenyataan. Meskipun di suatu tempat sekitar sepertiga dari buku itu menggelengkan kepala dengan ragu.

Tetapi bagian kedua, dengan darah, adalah produk dari kegilaan. Apa Theranos ada di sana! Hanya saja perlu untuk tidak mengalokasikan 4,5 miliar ke Amerika di sana, tetapi untuk kawan-kawan ini.

Para peneliti memberi tahu saya bagaimana, dengan setetes darah, mereka dapat mengantarkan kanker pada tahap yang sangat awal. Hanya menggunakan mikroskop, beberapa tetes reagen dari laboratorium mana pun (jika ingatanku, itu adalah albumin). Dan mereka mengatakan bagaimana mereka berhasil menerapkan metodologi ini dalam praktik klinis untuk merawat pasien dari pusat medis (sic!). Berikut adalah daftar singkat dari apa yang mereka deteksi:



(Dapat diklik)

Dalam pandangan dan pertanyaan saya yang agak luar biasa tentang basis bukti, mereka memberi tahu saya tentang ratusan artikel dalam literatur, tentang dua departemen di Rusia yang mengerjakan teknik ini dan mengembangkannya. Sekitar selusin kandidat dan dokter sains yang membela diri dengan topik tersebut. Dan di perpisahan, mereka menyajikan dua buku tentang topik di mana kata pengantar ditulis oleh beberapa akademisi:



Apakah ini semua benar? Saya tidak tahu. Saya menyadari bahwa saya tidak memiliki pemahaman tentang cara kerja kimia dan biologi. Tidak mengerti bagaimana menemukan informasi ini. Dan dengan alasan formal. Ya benar. Ada banyak dokter dan artikel terkait. Tidak ada satu pun dari mereka yang diterbitkan dalam jurnal internasional yang diulas sejawat dengan tingkat kutipan yang tinggi. Ada akademisi yang berbicara tentang keberhasilan metodologi. Tapi mereka, permisi, adalah akademisi dari RAM. Tidak ada satu artikel pun yang mengkritik, hanya artikel yang melaporkan keberhasilan (Google google pada 2016, sejak saat itu sesuatu yang baru bisa keluar).

Tidak, well, tentu saja, saya menemukan email ketua komisi ilmu semu, dan beberapa wakilnya. Dan dia menulis tentang segala hal tentang itu ... Saya tidak menerima jawaban :)

Dan secara langsung. Saya mengerti bahwa orang-orang ini mempercayainya. Sial, pengobatan Rusia bukanlah tempat di mana Anda dapat melakukan sesuatu pada tipuan tingkat ini. Anda harus benar-benar percaya pada bisnis Anda.
Tapi saya mengerti bahwa dengan basis di mana mereka mengukur, dengan parameter yang ada - setidaknya setengah dari apa yang dikatakan meragukan. Tetapi sesuatu benar-benar dapat bekerja.

Itu berhasil, syukurlah aku tidak pergi. Mungkin karena saya mengatakan bahwa untuk secara otomatis mengenali sesuatu, Anda harus terlebih dahulu mengumpulkan basis besar dan mengkonfirmasi dengan markup independen bahwa itu ada. Atau mungkin kebenarannya karena formalitas birokrasi.

Siapa di sini? Dokter yang mengemukakan teori dan meyakininya? Atau aku orang dari sisi yang kelihatannya dia gila? Saya tidak tahu. Jika para dokter salah, maka ini adalah kesalahan klasik "kurangnya verifikasi tandingan". Atau mungkin saya. Dan kemudian hampir sama :)

Tapi sejak itu saya punya dua buku epik dan cerita phantosmogoric.

Dan beberapa contoh tentang dokter ...

Anda tahu. Dokter pada umumnya adalah topik subur. Ketika Anda mencoba mengenali sesuatu dengan jaringan saraf, Anda terus-menerus menemukan ini. Saya bekerja dengan sejumlah besar pemeriksaan radiografi: fluorogram, mammogram, berbicara dan melihat CT, melihat gigi yang berbeda.
Dan hampir di mana-mana (dalam derajat yang berbeda-beda) ada satu masalah yang sama: dokter yang berbeda membaca gambar dengan cara yang berbeda. Anda meminta dua dokter untuk mencatat patologi dalam gambar - dan mereka memiliki area persimpangan 20-30 persen. Dan masing-masing dari mereka percaya diri dalam keputusan mereka, menunjukkan batas-batas yang jelas.

Membenarkan jawabannya. Dan lagi, masalahnya adalah bahwa seseorang membangun model yang baik di kepalanya, memproyeksikannya ke gambar, dan kemudian mencari konfirmasi. Tetapi sangat sering - ini adalah jawaban yang salah. Atau tidak bisa diandalkan.

Sayangnya, berabad-abad yang lalu, kedokteran tidak lebih didasarkan pada "bukti setiap langkah dengan statistik", tetapi pada "penjelasan logis dari setiap langkah". Itu duduk sangat dalam dalam psikologi. Kadang-kadang bagi saya tampaknya seorang dokter homeopati dan terapis yang buruk bekerja dengan prinsip yang sama. Ada seperangkat sikap dan keyakinan dasar di dalamnya. Tanpa analisis, dari mana datangnya. Tanpa kesadaran apa yang bisa Anda percayai. Kemungkinan besar, serangkaian sikap terapis lebih dekat dengan kenyataan. Namun secara global, tidak satu pun dari yang lain dapat membuktikan skema yang digunakan. Mungkin bahkan keduanya akan menunjuk validol atau mengirim minum motherwort.

Suatu ketika saya diminta untuk berkonsultasi dengan ahli bedah ... Kepala departemen, seorang spesialis terkemuka dengan 30 tahun praktek. Paman memberi tahu saya bagaimana dengan akurasi 100% sesuai dengan tingkat kuesioner "tanggal lahir, tanggal bulan pertama, jumlah anak, ..." dari 30 pertanyaan yang dapat Anda prediksi kapan akan ada kanker payudara. Ya, tentu saja itu konyol. Tetapi dia menyarankan untuk mengisi kuesioner ini untuk semua pasiennya, menarik kesimpulan berdasarkan itu.

Contoh apa yang kita bohongi setiap hari

Ingin lebih? .. Ingin sesuatu yang diketahui semua orang? Nah, ambillah mobil hebat dan mengerikan yang ditakuti semua orang. Poligraf . Apa, apakah Anda masih percaya itu berhasil? Tautan mengarah ke wikipedia. Periksa dan saksikan kritiknya. Mengapa itu tidak berhasil dan kepastian seperti apa yang ada. Dan masih, banyak yang menggunakannya. Kenapa kamu bukan dewa dari mobil?

Perusahaan yang berbeda secara teratur menulis kepada saya yang menawarkan pengenalan wajah. Mereka sangat tersinggung ketika saya meminta mereka untuk mengatakan ukuran apa basis mereka. Mereka mengatakan bahwa mereka memiliki model keren yang dikembangkan oleh ahli fisiologi terbaik.

Satu perusahaan dengan kantor mewah di pusat kota Moskow dikenang secara khusus. NDA yang benar-benar tidak memadai dan kesedihan gila tentang keunggulan teknologi mereka ... Sejak itu, hampir lima tahun telah berlalu. Perusahaan bahkan memiliki blog sendiri di Habré sejak saat itu. Hanya di sini produk-produk itu tidak ada hubungannya dengan pengakuan kebohongan, dan mereka menyelesaikan lebih banyak tugas-tugas duniawi (seperti yang saya pahami, mereka menggunakan perkembangan yang sama, yang baik).
Sangat lucu kemudian ternyata bukan hanya saya mengirim mereka, tetapi juga perusahaan lain yang terlibat dalam pengembangan visi mesin. Mungkin ini memungkinkan mereka untuk memikirkan kembali apa yang mereka lakukan - dan mulai berbisnis ^ _ ^

Akhirnya, saya tidak bisa membantu tetapi memberikan tautan ke pengumuman portal Superjob yang beberapa hari lalu. Saya ingin menawarkan kepada mereka metode 100% terbukti lainnya untuk mempelajari lebih lanjut tentang kandidat.

Mungkin sudah tiba saatnya untuk mengambil kesimpulan? Kesimpulan yang saya buat untuk diri saya sendiri - untuk memulai dan melakukan pekerjaan apa pun setelah verifikasi data input dan metodologi yang lengkap.

Jangan percayai siapa pun sampai dia menunjukkan verifikasi metodenya dengan membuka penelitian statistik / akses ke algoritme.

Saya yakin kesimpulan ini tidak ideal. Mereka tidak cocok untuk obat. Kemungkinan besar tidak ada studi aspirin yang terverifikasi. Selama ribuan tahun, orang-orang tahu bahwa ekstrak kulit pohon willow membantu menurunkan suhu tubuh. Mengapa meneliti ini?

Dan untuk meringkas temuan dan memahami strategi universal kepercayaan vs check - Saya tidak bisa.

Tetapi mungkin jika Anda mulai bertanya-tanya "apakah mungkin untuk mempercayai metode ini atau itu" - artikel itu sudah memenuhi tujuannya.

Penafian PS

Saya sengaja mencoba untuk tidak menyebutkan nama orang / nama perusahaan di mana setidaknya ada kemungkinan orang salah jujur. Atau di mana saya bisa salah. Mungkin, sesuai dengan apa yang ada dalam teks, banyak yang bisa dihitung atau google. Saya akan meminta Anda untuk tidak mempostingnya di komentar. Semua yang membutuhkannya - lakukan sendiri / akan dapat bertanya di PM.

Dalam banyak situasi, saya mungkin tidak tahu perincian mendalam dari solusi, jadi saya tidak menganggap perlu untuk merek beberapa orang. Tetapi bagi saya tampaknya penting untuk menunjukkan pada contoh-contoh ini bahwa interaksi kita dengan dunia modern menghasilkan banyak kesalahan kesadaran pada manusia.