Richard Hamming: Bab 27. Data Tidak Valid

"Tujuan kursus ini adalah untuk mempersiapkan Anda untuk masa depan teknis Anda."

Hai, Habr. Ingat artikel yang luar biasa “Kamu dan Pekerjaanmu” (+219, 2394 ditandai, 386k dibaca)?

Jadi Hamming (ya, ya, memeriksa sendiri dan memperbaiki kode Hamming ) memiliki seluruh buku yang ditulis berdasarkan ceramahnya. Kami menerjemahkannya, karena lelaki itu berbicara bisnis.

Buku ini bukan hanya tentang IT, itu adalah buku tentang gaya berpikir orang yang sangat keren. “Ini bukan hanya muatan pemikiran positif; itu menggambarkan kondisi yang meningkatkan peluang melakukan pekerjaan dengan baik. ”

Kami telah menerjemahkan 21 (dari 30) bab. Dan kami sedang mengerjakan edisi kertas.

Bab 27. Data Tidak Valid

(Terima kasih atas terjemahannya, Valentin Pinchuk, yang menanggapi panggilan saya di "bab sebelumnya.") Siapa yang ingin membantu dengan terjemahan, tata letak, dan penerbitan buku - tulis dalam email pribadi atau magisterludi2016@yandex.ru

Dalam pengalaman saya, dan pengalaman banyak peneliti lain, data, sebagai aturan, jauh kurang akurat daripada yang dinyatakan. Ini bukan saat yang mudah - kami bergantung pada pilihan data awal untuk membuat keputusan, dan pada data awal selama pemodelan, sesuai dengan hasil pengambilan keputusan. Karena sifat kesalahan sangat beragam, dan saya tidak memiliki teori terpadu untuk menjelaskan semuanya, saya harus beralih ke contoh individu dan generalisasi dari mereka.

Biarkan saya mulai dengan tes daya tahan. Contoh yang baik adalah pengalaman saya berpartisipasi dalam pengujian siklus hidup tabung vakum. Mereka dimaksudkan untuk digunakan dalam kabel bawah laut pertama untuk transmisi suara dengan masa pakai yang diharapkan 20 tahun (setelah 22 tahun, kami baru menonaktifkan kabelnya, yang menjadi terlalu mahal - dan ini memberikan ide yang bagus tentang kecepatan kemajuan teknologi pada masa itu).

Pipa untuk kabel pertama kali diperoleh dalam waktu sekitar 18 bulan bagaimana kabel itu sendiri harus diturunkan di bawah air. Saya memiliki perangkat komputasi kapasitas sedang yang didasarkan pada kalkulator statistik khusus IBM 101, yang saya berikan kepada staf pemrosesan data. Saya juga membantu mereka terutama dalam aspek teknis perhitungan. Pada saat yang sama, saya sama sekali tidak berpartisipasi dalam pekerjaan langsung pada proyek. Namun, suatu kali salah satu manajer proyek menunjukkan kepada saya alat uji yang disimpan di loteng. Seperti biasa, saya bertanya pada diri sendiri: "Mengapa Anda yakin bahwa peralatan uji memiliki keandalan yang sama dengan peralatan dalam pengujian?" Jawabannya meyakinkan saya bahwa dia tidak memikirkannya sama sekali. Karena kesia-siaan memperdalam detail, saya meninggalkan pelajaran ini. Tetapi saya tidak melupakan pertanyaan itu sendiri!

Pengujian daya tahan menjadi lebih dan lebih penting dan lebih kompleks karena kita membutuhkan komponen yang lebih banyak dan lebih dapat diandalkan untuk sistem yang semakin besar dan kompleks. Salah satu prinsip dasar adalah percepatan proses pengujian, yang didasarkan pada kenyataan bahwa dengan peningkatan suhu sebesar 17 ° C, banyak, tetapi tidak semua, reaksi kimia menggandakan kecepatan mereka. Metode peningkatan tegangan operasi juga digunakan untuk mempercepat identifikasi kelemahan. Efek serupa ketika menguji chip memberikan peningkatan frekuensi clock. Tetapi bahkan aplikasi metode yang kompleks tidak menjamin kekuatan pangkalan untuk kesimpulan tentang daya tahan. Namun, sebagai tanggapan, para ahli mengatakan: "Apa yang masih bisa kita lakukan dalam menghadapi pembatasan waktu dan uang?" Lagi pula, interval waktu antara penemuan ilmiah dan implementasi teknisnya terus-menerus dikurangi, sehingga sebenarnya tidak ada waktu lagi untuk pengujian siklus hidup perangkat baru sebelum digunakan secara luas. Dan jika Anda masih memilih untuk memastikan ini, maka Anda akan selamanya tertinggal dari kehidupan.

Tentu saja, selain hal di atas, ada metode pengujian lain yang dirancang untuk mempelajari aspek lain. Sampai saat ini, saya telah diyakinkan tentang kegentingan dari dasar-dasar tes daya tahan ini, tetapi yang lain tidak ada! Sekali waktu di Bell Telephone Laboratories saya berpendapat bahwa perlu untuk membuat departemen untuk menguji daya tahan, yang tugasnya adalah mempersiapkan pengujian perangkat baru ketika itu hanya direncanakan untuk pengembangan, dan tidak ketika mereka muncul dengan munculnya perangkat jadi. Saya tidak berhasil, meskipun saya membuat beberapa asumsi yang relatif lemah tentang dari mana harus memulai. Tidak ada waktu untuk penelitian dasar dalam tes daya tahan - mereka berada di bawah tekanan terkuat dari tenggat waktu: untuk mendapatkan hasil yang diperlukan besok. Seperti kata pepatah: "Tidak akan pernah ada cukup waktu untuk melakukan semuanya dengan benar, tetapi kemudian akan selalu ditemukan untuk memperbaiki kesalahan," - terutama dalam perangkat lunak komputer!

Berikut adalah pertanyaan yang akan saya ajukan kepada Anda: "Bagaimana Anda berharap untuk menguji perangkat (atau perakitan perangkat), yang membutuhkan keandalan tinggi, ketika peralatan pengujian kurang dapat diandalkan, waktu pengujian sangat terbatas, tetapi perangkat membutuhkan umur yang sangat panjang ". Masalah ini pasti akan menyiksa Anda di masa depan, jadi lebih baik untuk mulai memikirkannya sekarang untuk menguraikan cara untuk menyelesaikannya dalam situasi ketika waktu Anda tiba untuk mendapatkan hasil tes daya tahan.

Biarkan saya sekarang beralih ke beberapa aspek pengukuran. Sebagai contoh, seorang teman saya di Bell Telephone Laboratories, yang merupakan ahli statistik yang sangat baik, menemukan bahwa beberapa data yang dia analisis tidak akurat. Argumennya tentang perlunya mengukur ulang mereka tidak meyakinkan kepala departemen, yang yakin akan keandalan bawahannya, dan, terlebih lagi, semua alat ukur menggunakan pelat tembaga yang menegaskan keakuratannya. Kemudian, pada suatu Senin pagi yang baik, teman saya datang ke kantor dan berkata bahwa dia lupa tasnya di kereta dalam perjalanan pulang pada hari Jumat dan telah kehilangan segalanya. Kepala departemen harus memberi perintah untuk pengukuran berulang, setelah itu teman saya mempresentasikan catatan awal dan menunjukkan betapa berbedanya mereka! Tentu saja, ini tidak menambah popularitasnya, tetapi mengungkapkan ketidakakuratan pengukuran, yang memainkan peran penting selanjutnya.

Sobat ahli statistik yang sama pernah melakukan penelitian untuk perusahaan eksternal menggunakan panggilan telepon dari dewan mereka. Data-data ini dicatat dengan tepat oleh peralatan kantor pusat yang melakukan panggilan dan menyusun dokumen pembayaran untuk pembayaran mereka. Suatu hari dia secara tidak sengaja menemukan panggilan ke kantor yang tidak ada! Kemudian dia memeriksa data dengan lebih cermat dan menemukan persentase panggilan yang agak tinggi yang terhubung selama beberapa menit ke kantor yang tidak ada! Data direkam oleh mesin yang sama yang melakukan panggilan, tetapi itu adalah data yang salah. Jadi Anda bahkan tidak bisa mengandalkan fakta bahwa mesin akan merekam data tentang dirinya dengan benar!

Saudaraku, yang bekerja selama bertahun-tahun di Layanan Kontrol Polusi Udara Los Angeles, suatu kali memberi tahu saya bahwa mereka telah mengungkapkan perlunya merakit kembali, mengkalibrasi, dan memasang setiap alat baru yang mereka beli! Kalau tidak, ada masalah yang tak ada habisnya dengan akurasi, dan ini terlepas dari jaminan pemasok!

Saya pernah melakukan banyak riset perangkat keras untuk Western Electric. Mereka menyediakan studi dengan data primer selama 18 bulan dari catatan lebih dari 100 sampel peralatan. Saya mengajukan pertanyaan yang jelas, mengapa saya harus percaya pada konsistensi data - misalnya, bisakah, misalnya, pembuangan peralatan yang tidak ada dalam catatan? Mereka meyakinkan bahwa mereka memikirkannya, melihat semua data dan menambahkan beberapa transaksi semu untuk mengecualikan kasus tersebut. Saya dengan ceroboh memercayai mereka, dan baru dalam perjalanan saya menemukan bahwa masih ada kontradiksi yang tersisa dalam data, jadi saya harus mencari dulu, lalu mengecualikannya, dan baru kemudian menghitung ulang semua data lagi. Dari pengalaman ini, saya belajar untuk tidak mulai memproses data sampai analisis menyeluruh untuk kesalahan. Mereka mengeluh tentang kelambatan saya, tetapi hampir selalu saya menemukan kesalahan dalam data. Ketika saya mempresentasikannya, mereka dipaksa untuk mengakui kebijaksanaan saya sebagai hal yang masuk akal. Terlepas dari seberapa tidak dapat diganggu-gugatnya data dan betapa mendesaknya sebuah jawaban diperlukan, saya belajar bagaimana melakukan pra-tes data untuk memastikan konsistensi dan meminimalkan jumlah nilai yang berbeda secara dramatis (outlier).

Lain waktu, saya berpartisipasi sebagai inisiator dan kemudian sebagai penasihat dalam studi staf AT&T besar di New York menggunakan komputer UNIVAC sewaan. Data harus berasal dari banyak tempat, jadi saya memutuskan akan lebih bijak untuk melakukan studi percontohan terlebih dahulu untuk memastikan bahwa semua sumber memahami esensi dari apa yang terjadi dan tahu bagaimana mempersiapkan kartu punch IBM dengan data yang diperlukan. Kami berhasil. Namun, ketika studi utama dimulai, beberapa sumber tidak memasukkan kartu punch sesuai dengan instruksi yang diterima. Segera menjadi jelas bagi saya bahwa studi percontohan, dalam skala kecil, melewati semua kelompok spesialis kartu punch lokal yang terlatih, dan studi utama dilakukan melalui kelompok kartu punch umum. Sayangnya, mereka tidak tahu tentang studi pilot! Sekali lagi, saya tidak masuk akal daripada yang saya bayangkan: Saya meremehkan mekanisme internal sebuah organisasi besar.

Tetapi bagaimana dengan bukti ilmiah dasar? Publikasi National Bureau of Standards pada 10 konstanta fisik dasar (kecepatan cahaya, nomor Avogadro, muatan elektron, dll.) Menyediakan dua set data (untuk 1929 dan 1973) dan kesalahan perhitungan yang sesuai (lihat Gambar 27.I) . Sangat mudah untuk melihat bahwa jika:

1. mengambil data 1973 yang ditetapkan sebagai benar (sesuai dengan fakta bahwa tabel menggambarkan peningkatan akurasi penentuan konstanta fisik ribuan kali selama 44 tahun antara edisi),
2. menghitung penyimpangan nilai-nilai baru konstanta dari sebelumnya;
3. menghitung berapa kali penyimpangan ini melebihi kesalahan perhitungan sebelumnya,
4. maka rata-rata penyimpangan ini adalah 5,267 kali lebih besar (nilai-nilai kolom terakhir R ditambahkan ke tabel oleh penulis).

Anda dapat mengasumsikan bahwa nilai-nilai konstanta fisik dihitung dengan cermat, tetapi sekarang Anda dapat melihat betapa tidak akuratnya mereka! Pilihan konstanta fisik berikut (lihat Gambar 27.II) menunjukkan kesalahan rata-rata setengahnya. Namun, orang hanya bisa menebak apa yang akan terjadi dengan akurasi ini setelah 20 tahun ke depan! Ingin bertaruh?



Gambar 27.l

Tanda tangan: “data tidak dapat diandalkan” AKURASI PENGUKURAN (dalam pecahan per juta)


Ini sama sekali tidak mengejutkan. Baru-baru ini saya melihat tabel pengukuran konstanta Hubble (kemiringan garis ketergantungan pergeseran merah pada jarak), yang mendasar dalam kosmologi modern. Banyak nilai melampaui kesalahan yang dinyatakan untuk sebagian besar nilai lainnya.

Dengan demikian, pengukuran statistik langsung menunjukkan bahwa bahkan konstanta fisik paling akurat dalam tabel sama sekali tidak seakurat yang dinyatakan. Bagaimana ini bisa terjadi? Kecerobohan dan optimisme adalah dua faktor utama. Sebuah studi yang mendalam mengungkapkan bahwa teknologi eksperimental yang ada yang telah kita latih juga tidak ideal dan berkontribusi terhadap kesalahan estimasi kesalahan. Kami akan memahami bagaimana Anda dalam praktik, dan bukan dalam teori, melakukan percobaan. Anda mengumpulkan peralatan dan menyalakannya, dan, tentu saja, peralatan tidak berfungsi sebagaimana mestinya. Karena itu, Anda menghabiskan waktu, seringkali berminggu-minggu, membuatnya berfungsi dengan baik. Sekarang Anda siap menerima data, tetapi pertama-tama Anda melakukan fine-tuning peralatan. Bagaimana? Dengan mengaturnya untuk mendapatkan data yang konsisten. Sederhananya, Anda mencapai dispersi rendah, tetapi apa lagi yang bisa Anda lakukan? Tetapi data ini dengan dispersi kecil yang Anda kirimkan statistik, dan mereka digunakan untuk menilai variabilitas. Anda tidak mengirimkan data yang benar karena pengaturan yang benar - Anda tidak tahu bagaimana melakukan ini - Anda mentransfer data yang tersebar rendah, dan Anda mendapatkan keandalan tinggi dari statistik yang ingin Anda nyatakan! Ini adalah praktik laboratorium yang umum! Tidak mengherankan bahwa keandalan data jarang konsisten dengan yang dinyatakan.



Gambar 27.II

Saya akan mengingatkan Anda tentang aturan Hamming:

dalam 90% kasus, hasil pengukuran independen berikutnya akan melampaui batas yang diasumsikan oleh tingkat kepercayaan 90% sebelumnya!

Aturan ini, tentu saja, sedikit melebih-lebihkan fakta, tetapi dalam perumusan seperti itu lebih mudah diingat - sebagian besar informasi yang dipublikasikan tentang keakuratan pengukuran masih jauh dari baik seperti yang dinyatakan. Ini dibenarkan oleh sejarah percobaan itu sendiri dan mencerminkan perbedaan yang kemudian diungkapkan dengan akurasi yang dinyatakan. Saya tidak mencoba mendapatkan hibah untuk melakukan studi berskala besar, tetapi saya memiliki sedikit keraguan tentang hasilnya.

Fenomena luar biasa lain yang mungkin ditemui seseorang adalah penggunaan data dalam model ketika ada kesalahan dalam data dan model itu sendiri. Misalnya, distribusi normal diasumsikan, tetapi ekor sebenarnya mungkin lebih besar atau lebih kecil dari yang diprediksi oleh model. Atau nilai negatif tidak dapat diperoleh, meskipun distribusi normal memungkinkannya. Lalu ada dua sumber kesalahan: pengukuran dan kesalahan model. Dan kemampuan Anda untuk melakukan pengukuran yang lebih dan lebih akurat hanya meningkatkan kontribusi kesalahan karena ketidaksesuaian model kenyataan.

Saya ingat pengalaman saya ketika saya menjadi anggota Dewan Direksi sebuah perusahaan komputer. Kami akan beralih ke keluarga baru komputer dan menyiapkan perkiraan biaya model-model baru yang sangat akurat. Spesialis penjualan kemudian menyatakan bahwa pada harga tertentu ia akan dapat menerima pesanan untuk 10, untuk yang lain - untuk 15, dan untuk yang ketiga - untuk 20 penjualan. Asumsinya, dan saya tidak mengatakan bahwa mereka salah, digabungkan dengan data teknik terverifikasi untuk memutuskan harga model baru! Artinya, jumlah total ditentukan terutama, dengan mempertimbangkan keandalan perhitungan teknik, mengabaikan ketidakpastian yang ada dari asumsi spesialis penjualan. Ini khas untuk organisasi besar. Perkiraan yang hati-hati dikombinasikan dengan asumsi sewenang-wenang, dan keandalan keseluruhan diambil sama dengan keandalan komponen teknik. Anda dapat mengajukan pertanyaan yang adil, mengapa repot dengan perkiraan rekayasa menyeluruh ketika mereka dikombinasikan dengan asumsi sewenang-wenang lainnya, tetapi ini adalah praktik yang tersebar luas di banyak bidang kegiatan!

Saya pertama kali berbicara tentang sains dan teknik sehingga Anda tidak terlalu ironis dalam transisi ke data ekonomi. Saya membaca buku Morgenstern Pada Akurasi Dimensi Ekonomi beberapa kali, Princeton Press, edisi ke-2. Ini adalah ekonom yang sangat dihormati.
Contoh favorit saya dari bukunya adalah angka resmi untuk aliran emas dari satu negara ke negara lain, menurut kedua belah pihak. Angka terkadang dapat berbeda lebih dari dua kali! Jika mereka tidak bisa mendapatkan data yang benar tentang aliran emas, lalu data apa yang bisa benar? Saya dapat melihat bagaimana perangkat listrik, ketika dikirim ke negara-negara dunia ketiga, dapat disebut medis karena perbedaan bea cukai, tetapi emas adalah emas, hampir tidak dapat disebut hal lain.

Morgenstern mencatat bahwa DuPont Chemical pernah memiliki sekitar 23% saham General Motors. Apakah Anda pikir fakta ini diperhitungkan saat menghitung produk nasional bruto (GNP)? Tidak mungkin, ternyata penghitungan ganda!

Sebagai contoh, saya menemukan bahwa belum lama ini, ketika aturan pajak untuk pelaporan persediaan berubah, banyak perusahaan mengubah metode pelaporan mereka untuk mendapatkan manfaat dari aturan baru. Untuk melakukan ini, mereka harus menunjukkan lebih sedikit barang dan bahan dan, karenanya, membayar pajak lebih sedikit. Sia-sia saya mencari di Wall Street Journal untuk setidaknya menyebutkan fakta ini. Tidak ada satu pun. Meskipun inventaris adalah salah satu indikator utama yang kami gunakan untuk menilai ekspektasi pabrikan, ekonomi tumbuh atau turun. Dipercayai bahwa produsen mengurangi persediaan jika mereka mengantisipasi penurunan penjualan, tetapi menambah persediaan jika mengantisipasi pertumbuhan penjualan - agar tidak kehilangan kemungkinan pendapatan dari mereka. Jadi, sejauh yang saya mengerti, perubahan undang-undang tentang pelaporan inventaris dan dampaknya terhadap dimensi ekonomi sama sekali tidak diperhitungkan.

Secara umum, ada masalah umum untuk semua deret waktu. Definisi objek yang diukur terus berubah. Pertimbangkan, sebagai contoh terbaik, kemiskinan. Kami terus meningkatkan tingkat kemiskinan, sehingga Anda tidak akan pernah bisa menghilangkannya - definisi ini akan selalu diubah oleh para pejabat yang tertarik untuk melestarikan proyek yang dipimpinnya, yang membutuhkan cukup banyak orang di bawah tingkat kemiskinan. Apa yang kita sebut "kemiskinan" dalam banyak hal lebih unggul dari apa yang Raja Inggris miliki belum lama ini!

Di Angkatan Laut AS, isi istilah "youman" (sekretaris kantor), "kapal", dll. telah berubah selama bertahun-tahun, jadi dalam rangkaian waktu apa pun yang Anda pelajari untuk mengidentifikasi tren di Angkatan Laut AS, faktor tambahan ini akan membingungkan Anda dalam kesimpulan Anda. Bukannya Anda tidak boleh mencoba memahami situasi menggunakan data masa lalu (saat menggunakan metode pemrosesan sinyal yang canggih dari bab 14-17), tetapi masih ada masalah karena perubahan definisi yang tidak dapat dikatakan secara resmi dokumen! Definisi cenderung berubah seiring waktu tanpa formalisasi formal atas fakta ini.

Bentuk-bentuk indikator ekonomi yang diterbitkan secara berkala, termasuk pengangguran (yang tidak membedakan antara pengangguran dan cacat, tetapi menurut pendapat saya), biasanya disiapkan jauh sebelum dipublikasikan. Masyarakat kita dalam beberapa tahun terakhir telah dengan cepat berubah dari industri (produksi) menjadi pasca-industri (masyarakat jasa), tetapi baik Washington (dalam pengertian otoritas federal) maupun indikator ekonomi telah menyadari hal ini sampai batas yang wajar. Keengganan mereka untuk mengubah definisi indikator ekonomi didasarkan pada tesis bahwa perubahan, seperti disebutkan dalam paragraf sebelumnya, akan membuat masa lalu tidak ada bandingannya dengan saat ini - dan lebih baik memiliki indikator yang tidak relevan daripada mengubah artinya, kata mereka. Sebagian besar lembaga kami (dan orang-orang) secara perlahan merespons perubahan, seperti pergeseran ke layanan dari produksi, dan bahkan lebih lambat untuk bertanya pada diri sendiri bagaimana apa yang mereka lakukan kemarin harus diubah agar pas besok. Lembaga dan orang lebih suka kehidupan tanpa perubahan, dan karena itu jauh di belakang, dan kemudian melakukan upaya heroik untuk mengikuti perkembangan zaman. Lembaga, seperti halnya orang, hanya bergerak jika dipaksa.

Jika Anda menambahkan fakta-fakta jelas di atas bahwa sebagian besar data ekonomi dikumpulkan untuk tujuan lain dan hanya secara tidak sengaja tersedia untuk penelitian ekonomi yang sedang berlangsung, dan sering kali ada argumen kuat untuk memalsukan data primer, menjadi jelas mengapa data ekonomi berkualitas buruk.

Sebagai sumber ketidakakuratan lain yang disebutkan oleh Morgenstern, kami menganggap praktik pemberian diskon yang diterima secara umum kepada pelanggan khusus yang dirahasiakan dengan iri. Sebagai aturan, selama periode depresi, perusahaan meningkatkan diskon dan menguranginya ketika lingkungan bisnis membaik, tetapi angka biaya resmi harus didasarkan pada harga penjualan terbuka, sehingga diskon tidak diketahui. Oleh karena itu, penurunan dan peningkatan ekonomi secara sistematis memperkenalkan penyimpangan multi arah dalam data yang dikumpulkan.

Apa yang dapat digunakan para ekonom pemerintah sebagai data primer selain dari data yang sebagian besar tidak akurat ini memiliki bias? Ya, mereka sampai batas tertentu dapat mengetahui tentang adanya kesalahan sistematis, tetapi mereka tidak bisa mengetahui seberapa terdistorsi data tersebut. Karena itu, Anda tidak perlu heran bahwa banyak ramalan ekonom sangat keliru. Mereka tidak punya pilihan lain, oleh karena itu prediksi mereka seharusnya tidak terlalu dipercaya.

Dalam pengalaman saya, sebagian besar ekonom sama sekali tidak ingin membahas ketidakakuratan mendasar dalam data ekonomi yang digunakan, jadi saya kurang percaya pada mereka sebagai ilmuwan. Tapi siapa bilang ekonomi itu ilmu? Hanya para ekonom itu sendiri!

Jika data ilmiah dan teknik 5 (atau lebih) kali kurang akurat daripada yang dinyatakan, jika ada yang lebih buruk dengan data ekonometrik, maka Anda hanya bisa membayangkan bagaimana keadaannya dengan data sosiometrik! Saya tidak memiliki studi komparatif dari seluruh bidang, tetapi sedikit, pengalaman saya yang terbatas menunjukkan bahwa mereka tidak terlalu baik. Sekali lagi, tidak ada yang lebih baik yang tersedia, tetapi ini tidak berarti bahwa data yang tersedia dapat digunakan tanpa memperhatikan.

Seharusnya jelas bahwa saya menaruh perhatian besar pada masalah akurasi data untuk sebagian besar pekerjaan saya. Dan saya tidak mengharapkan lebih dari perbaikan lambat di masa mendatang tentang masalah ini, mengetahui posisi para ahli.

Jika data biasanya buruk, dan Anda mengerti bahwa Anda perlu mengumpulkan lebih banyak data, lalu apa yang dapat Anda lakukan yang terbaik?

Pertama , sadarilah apa yang saya terus katakan kepada Anda: manusia tidak diciptakan untuk dapat diandalkan, tidak dapat dihitung tanpa kesalahan, tidak dapat melakukan tugas berulang yang monoton dengan akurasi tinggi. Sebagai contoh, pertimbangkan permainan bowling. Yang perlu dilakukan pemain adalah melempar bola tepat di garis yang tepat setiap kali. Tetapi betapa jarangnya bahkan pemain terbaik membuat tembakan yang sempurna! Kelompok pendukung mengagumi ketepatan penerbangan bola, karena ini membutuhkan persiapan dan eksekusi yang sangat hati-hati, tetapi dengan pertimbangan yang cermat, pemain masih memiliki banyak hal untuk ditingkatkan.

Kedua , Anda tidak dapat mengumpulkan jumlah data yang sangat besar tanpa kesalahan. Ini adalah fakta yang diketahui yang selalu diabaikan. Manajemen biasanya membutuhkan cakupan 100%, sementara yang jauh lebih kecil, katakanlah 1% atau bahkan 1/10% dari cakupan survei akan menghasilkan hasil yang lebih akurat! Ini dikenal, seperti yang saya katakan, tetapi diabaikan. Perusahaan telepon terbiasa menggunakan sampel yang sangat kecil dan dipilih dengan hati-hati untuk mendistribusikan pendapatan antara berbagai perusahaan yang terlibat dalam menyediakan panggilan jarak jauh, dan berdasarkan sampel ini mereka mendistribusikan uang antar mitra. Maskapai sekarang melakukan hal yang sama. Sampel kecil yang diambil dengan hati-hati lebih baik daripada sampel besar yang dipilih dengan buruk. Lebih baik karena lebih murah dan lebih akurat.

Ketiga , banyak data sosiometrik diperoleh melalui kuesioner. Tetapi fakta yang sudah lama diketahui bahwa cara pertanyaan dirumuskan, urutan, orang yang mengajukan pertanyaan atau hanya menunggu kuesioner diselesaikan - semua ini sangat mempengaruhi jawaban. Tentu saja, dalam situasi "hitam dan putih" sederhana ini tidak berlaku, tetapi ketika Anda melakukan tinjauan, sebagai suatu peraturan, situasinya berlumpur, jika tidak, Anda tidak harus memulainya. Saya menyesal bahwa saya tidak menyimpan survei dari American Mathematical Society di antara para anggotanya. Saya sangat marah pada pertanyaan yang memaksakan jawaban yang diinginkan dengan formulasi saya sehingga saya hanya mengembalikannya dengan penjelasan tentang alasan ini. Berapa banyak ahli matematika, yang dihadapkan dengan menjawab pertanyaan-pertanyaan seperti ini: apakah ada cukup dukungan keuangan untuk ahli matematika, apakah cukup untuk publikasi, untuk beasiswa bagi mahasiswa pascasarjana, dll., Berapa banyak dari mereka akan mengatakan bahwa ada lebih dari cukup uang? Tentu saja, Masyarakat Matematika menggunakan hasil untuk mendukung permintaan peningkatan dukungan untuk ahli matematika di semua bidang.

Baru-baru ini saya mengisi kuesioner yang panjang dan penting (penting untuk tindakan panduan yang dapat mengikuti dari hasilnya). Saya mengisinya sejujur ​​mungkin, tetapi menyadari bahwa saya bukan responden biasa. Terus berpikir, saya menyarankan bahwa kelas orang yang diwawancarai sama sekali tidak homogen, melainkan terdiri dari subkelas yang agak berbeda, oleh karena itu, setiap nilai rata-rata yang dihitung tidak berlaku untuk salah satu dari kelompok-kelompok ini. Ini sesuai persis dengan lelucon terkenal bahwa ada dua setengah anak dalam keluarga Amerika rata-rata. Tetapi pada saat yang sama Anda tidak akan menemukan separuh anak dalam kondisi apa pun! Nilai rata-rata berguna untuk kelompok homogen (homogen dalam arti operasi yang seharusnya dilakukan dengan mereka), tetapi untuk kelompok heterogen, mereka sering tidak masuk akal. Seperti yang disebutkan sebelumnya, rata-rata orang dewasa memiliki satu testis dan satu payudara, tetapi yang ini tidak ada hubungannya dengan kepribadian rata-rata di masyarakat kita (sekarang, jika kita berpegang teguh pada kesusilaan penulis, kita harus berbicara tentang masyarakat di AS dalam hal "memiliki" - komentar seorang penerjemah) .

Jika rentang jawaban sangat asimetris, maka nilai median (yang membagi jumlah objek sampel dalam setengah - setengah memiliki nilai ini kurang dari median, setengah lebih dari kira-kira. Penerjemah) lebih disukai daripada rata-rata sebagai indikator - kami telah menerima ini secara publik relatif baru-baru ini. Oleh karena itu, sekarang lebih sering menerbitkan pendapatan rata-rata dan harga rata-rata perumahan daripada nilai rata-rata.

Keempat , ada aspek lain yang saya anjurkan agar Anda perhatikan. Saya telah berulang kali mengulangi bahwa rangkaian peristiwa dalam suatu organisasi berubah pada tempatnya dan selama kehadiran pejabat senior organisasi ini, jadi cobalah untuk mengenal secara pribadi bagaimana kuesioner diisi sebelum Anda dipromosikan dengan layanan yang cukup tinggi. Saya menemukan demonstrasi nyata dari efek ini ketika saya berada di Dewan Direksi sebuah perusahaan komputer. Pejabat kecil bertindak sedemikian rupa untuk mencoba menyenangkan saya, tetapi mereka hanya membuat saya sangat marah dengan ini, apalagi, saya tidak punya alasan untuk mengatakan apa pun kepada mereka dalam sebuah pernyataan. Seringkali bawahan melakukan apa yang mereka pikir Anda inginkan dari mereka, tetapi pada kenyataannya ini bukan yang Anda butuhkan! Saya juga percaya bahwa jika manajemen organisasi Anda mengirimkan kuesioner, mereka yang ingin mendapatkan bantuan kemungkinan besar akan mengisinya dengan hati-hati dan tepat waktu, sebagian besar akan ditarik sampai saat terakhir, dan setelah itu karyawan tingkat bawah akan mengisinya secara intuitif, tanpa membuat perhitungan yang diperlukan. dan pengukuran - sudah terlambat untuk mengambilnya, jadi saya mengirim apa yang saya bisa! Apa dengan keandalan umum laporan "komposit" tersebut, tidak ada yang tahu. Mereka bisa melebih-lebihkan hasilnya, meremehkan atau bahkan tidak banyak menyimpang. Tetapi manajemen puncak harus membuat keputusan berdasarkan survei semacam itu - jadi jika datanya buruk, maka keputusannya kemungkinan besar akan buruk.

Aktivitas favorit saya ketika saya membaca atau mendengar tentang data adalah bertanya pada diri sendiri bagaimana orang mengumpulkannya, bagaimana kesimpulan mereka dapat dibuktikan. Sebagai contoh, bertahun-tahun yang lalu, ketika saya menyebutkan hal ini di sebuah pesta makan malam, seorang janda menawan mengatakan bahwa dia tidak melihat alasan mengapa tidak mengumpulkan data tentang masalah apa pun. Setelah beberapa pemikiran, saya keberatan: "Bagaimana Anda mengukur jumlah perzinaan per tahun di Semenanjung Monterey?" Benarkah? Apakah Anda percaya kuesioner itu? Atau apakah Anda akan mengikuti orang? Tampaknya sulit, jika bukan tidak mungkin, untuk membuat perkiraan jumlah perzinahan yang masuk akal per tahun. Ada banyak hal serupa lainnya yang sangat sulit diukur, dan ini terutama berlaku untuk hubungan sosial.

Suatu metode yang sangat halus diusulkan, keefektifan yang secara pribadi tidak saya uji dalam praktik. Misalkan Anda ingin memperkirakan jumlah pembunuhan yang belum terpecahkan. Anda mewawancarai orang-orang dan meminta mereka untuk melempar koin tanpa saksi, dan jika ekornya jatuh, mereka harus menyatakan bahwa mereka telah melakukan pembunuhan, dan jika elang, mereka harus mengatakan yang sebenarnya. Menurut definisi, tidak seorang pun kecuali orang-orang itu sendiri yang tahu hasil lemparan koin, jadi tidak ada yang akan menuduh mereka melakukan pembunuhan jika mereka menyatakannya. Kemudian, untuk sampel yang cukup besar, sedikit kelebihan dari proporsi pengakuan pembunuhan atas nilai 0,5 akan memberi Anda perkiraan yang diinginkan. Tapi ini dengan asumsi bahwa orang yang diwawancarai merespons dengan tulus, dengan mempertimbangkan keamanan akun. Varian dari metode semacam itu telah dibahas secara luas, tetapi sejauh yang saya tahu, studi yang serius tentang efektivitasnya masih belum ada.

Sebagai kesimpulan, Anda mungkin pernah mendengar tentang pemilihan presiden yang terkenal di mana surat kabar menyatakan kemenangan untuk satu orang, padahal yang lain menang dengan selisih yang sangat besar. Ada juga survei majalah Literary Digest, yang dilakukan melalui telepon, yang hasilnya kemudian ternyata benar-benar keliru, sehingga majalah itu segera tidak ada lagi, dan banyak yang percaya karena survei ini. Kemudian, kesalahan hasil dijelaskan oleh fakta bahwa kepemilikan telepon berkorelasi dengan tingkat kemakmuran, dan tingkat kemakmuran dengan kecanduan politik.

(Penulis secara tak terduga membuat serangkaian kesalahan dan kebingungan di sini, yang sangat tak terduga! Inilah detailnya. Di akhir kampanye pemilu 1936 di Amerika Serikat, majalah mingguan berpengaruh The Literary Digest, dengan sirkulasi hampir dua juta kopi, menerbitkan hasil survei pos berskala belum pernah terjadi sebelumnya) Studi ini untuk menentukan siapa yang ingin dilihat orang Amerika sebagai presiden mereka: Franklin D. Roosevelt, seorang kandidat Demokrat yang mencalonkan diri untuk masa jabatan kedua, atau Elf Landon, seorang kandidat Republik . 55% , 41%. «The Literary Digest»: . . 61% , — 37%. , . : , , «» «The Literary Digest». , . . , 1938 «The Literary Digest» «Time Magazine». , , , «The Literary Digest» . , , . , : «The Literary Digest» 1936 . , . , – , 1936 . – .).

Merancang, melaksanakan, dan meringkas survei bukan untuk para amatir. Anda memerlukan saran ahli tentang kuesioner (dan bukan statistik biasa) ketika Anda mulai melakukan kuesioner, dan tidak mungkin untuk menghindari kegiatan ini. Semakin banyak, kita tidak perlu mengungkapkan fakta tentang objek material, tetapi hasil pengamatan di industri sosial dan terkait - dan ini adalah tanah yang sangat tidak stabil.

Oleh karena itu kesimpulannya: saat Anda maju, Anda akan membutuhkan lebih banyak informasi seperti ini, karena kita menjadi lebih berorientasi sosial dan tunduk pada tuntutan hukum untuk hal-hal sepele. Anda akan dipaksa untuk melakukan survei sikap pribadi orang berulang kali, dan itulah sebabnya saya telah mencurahkan begitu banyak perhatian pada data yang tidak dapat diandalkan. Anda membutuhkan data yang dapat diandalkan untuk membuat keputusan yang andal, tetapi Anda jarang akan memilikinya dengan setidaknya beberapa keandalan!

Untuk dilanjutkan ...

Siapa yang ingin membantu dengan terjemahan, tata letak, dan penerbitan buku - tulis dalam email pribadi atau e-mail magisterludi2016@yandex.ru

Ngomong-ngomong, kami juga meluncurkan terjemahan buku keren lain - “Mesin Impian: Sejarah Revolusi Komputer” )