ريتشارد هامينج: الفصل 27. البيانات غير الصالحة

"إن الهدف من هذه الدورة هو إعدادك لمستقبلك الفني."

مرحباً هابر. تذكر المقال الرائع "أنت وعملك " (+219 ، 2394 إشارة مرجعية ، 386 ألف قراءة)؟

لذا فإن هامينغ (نعم ، نعم ، التدقيق الذاتي وتصحيح الذات رموز الشفرات ) لديه كتاب كامل مكتوب على أساس محاضراته. نحن نترجمها ، لأن الرجل يتحدث عن الأعمال.

هذا الكتاب لا يتعلق فقط بتكنولوجيا المعلومات ، إنه كتاب عن أسلوب التفكير لدى الأشخاص الرائعين بشكل لا يصدق. "هذه ليست مجرد تهمة للتفكير الإيجابي ، يصف الظروف التي تزيد من فرص القيام بعمل عظيم ".

لقد قمنا بالفعل بترجمة 21 فصلاً (من أصل 30). ونحن نعمل على إصدار ورقي.

الفصل 27. البيانات غير صالحة

(شكرًا على الترجمة ، فالنتين بينشوك ، الذي رد على مكالمتي في "الفصل السابق"). من يريد المساعدة في ترجمة الكتاب وتنسيقه ونشره - اكتب في بريد إلكتروني شخصي أو magisterludi2016@yandex.ru

في تجربتي ، وتجربة العديد من الباحثين الآخرين ، فإن البيانات ، كقاعدة عامة ، أقل دقة بكثير مما هو معلن. هذه ليست لحظة سهلة - نحن نعتمد على كل من اختيار البيانات الأولية لاتخاذ القرارات ، وعلى البيانات الأولية أثناء النمذجة ، وفقًا لنتائج اتخاذ القرارات. نظرًا لأن طبيعة الأخطاء متنوعة للغاية ، وليس لدي نظرية موحدة لشرحها جميعًا ، يجب أن أنتقل إلى الأمثلة والتعميمات الفردية منها.

اسمحوا لي أن أبدأ باختبار المتانة. مثال جيد هو تجربتي في المشاركة في اختبار دورة حياة الأنابيب المفرغة. كانت مخصصة للاستخدام في الكابلات البحرية الأولى لنقل الصوت مع عمر خدمة متوقع لمدة 20 عامًا (بعد 22 عامًا ، قمنا للتو بإيقاف تشغيل الكبل ، والذي أصبح باهظًا جدًا - وهذا يعطي فكرة جيدة عن سرعة التقدم التكنولوجي في تلك الأيام).

تم الحصول على الأنابيب الخاصة بالكابل لأول مرة في حوالي 18 شهرًا من كيفية خفض الكابل نفسه تحت الماء. كان لدي جهاز حوسبة متوسط ​​السعة يعتمد على الآلة الحاسبة الإحصائية المتخصصة IBM 101 ، والتي قدمتها لموظفي معالجة البيانات. لقد ساعدتهم أيضًا بشكل أساسي في الجوانب الفنية للحسابات. في الوقت نفسه ، لم أشارك بأي شكل من الأشكال في العمل المباشر على المشروع. ومع ذلك ، بمجرد أن أظهر لي أحد مديري المشروع معدات اختبار مخزنة في العلية. كالعادة ، سألت نفسي: "لماذا أنت متأكد من أن معدات الاختبار لديها نفس الموثوقية مثل المعدات في الاختبارات؟" أقنعني إجابته أنه لم يفكر في الأمر على الإطلاق. بسبب عدم جدوى تعميق التفاصيل ، تركت هذا الدرس. لكني لم أنس السؤال نفسه!

أصبح اختبار المتانة أكثر أهمية وأكثر تعقيدًا حيث نحتاج إلى المزيد والمزيد من المكونات الموثوقة لأنظمة أكبر وأكثر تعقيدًا. أحد المبادئ الأساسية هو تسريع عملية الاختبار ، والذي يعتمد على حقيقة أنه مع زيادة درجة الحرارة بمقدار 17 درجة مئوية ، فإن العديد من التفاعلات الكيميائية ، وليس كلها ، تضاعف سرعتها. يتم أيضًا استخدام طريقة زيادة جهد التشغيل لتسريع تحديد نقاط الضعف. تأثير مماثل عند اختبار الرقائق يعطي زيادة في تردد الساعة. ولكن حتى التطبيق المعقد للطرق لا يضمن قوة الأسس للاستنتاجات حول المتانة. ومع ذلك ، ردا على ذلك ، يقول الخبراء: "ما الذي يمكننا القيام به في مواجهة قيود الوقت والمال؟" بعد كل شيء ، يتم تقليل الفاصل الزمني بين اكتشاف علمي وتنفيذه الفني باستمرار ، بحيث لا يتبقى وقتًا فعليًا لإجراء اختبارات واقعية لدورة حياة جهاز جديد قبل استخدامه على نطاق واسع. وإذا كنت لا تزال تفضل التأكد من ذلك ، فسوف تتخلف إلى الأبد عن الحياة.

بالطبع ، بالإضافة إلى ما سبق ، هناك طرق اختبار أخرى مصممة لدراسة جوانب أخرى. حتى الآن ، كنت مقتنعًا بعدم استقرار هذه الأساسيات لاختبارات المتانة ، لكن البعض الآخر غير موجود! ذات مرة في مختبرات Bell Telephone ، جادلت بأنه كان من الضروري إنشاء قسم لاختبار المتانة ، وتتمثل مهمته في التحضير لاختبار جهاز جديد عندما يتم التخطيط له فقط للتطوير ، وليس عند ظهوره مع ظهور الجهاز النهائي. لم أنجح ، على الرغم من أنني قمت ببعض الافتراضات الضعيفة نسبيًا حول من أين أبدأ. لم يكن هناك وقت للبحوث الأساسية في اختبارات المتانة - فقد كانوا تحت الضغط الأقوى من المواعيد النهائية: للحصول على النتائج اللازمة غدًا. كما يقول المثل: "لن يكون هناك ما يكفي من الوقت للقيام بكل شيء بشكل صحيح ، ولكن بعد ذلك سيتم العثور عليه دائمًا لإصلاح الأخطاء" - خاصة في برامج الكمبيوتر!

هذا هو السؤال الذي سأطرحه لك: "كيف تتوقع اختبار جهاز (أو تجميع الجهاز) يتطلب موثوقية عالية ، عندما تكون معدات الاختبار أقل موثوقية ، ووقت الاختبار محدود للغاية ، ولكن الجهاز يتطلب عمرًا طويلًا جدًا ". من المؤكد أن هذه المشكلة ستعذبك في المستقبل ، لذا من الأفضل البدء في التفكير فيها الآن من أجل تحديد طرق لحلها في موقف عندما يحين وقتك للحصول على نتائج اختبارات المتانة.

اسمحوا لي الآن أن أنتقل إلى بعض جوانب القياسات. على سبيل المثال ، وجد صديق لي في شركة Bell Telephone Laboratories ، وهو خبير إحصائي جيد جدًا ، أن بعض البيانات التي قام بتحليلها كانت غير دقيقة. إن حججه حول الحاجة إلى إعادة قياسها لم تقنع رئيس القسم ، الذي كان مقتنعاً بموثوقية مرؤوسيه ، وعلاوة على ذلك ، كانت جميع أدوات القياس بألواح نحاسية تؤكد دقتها. ثم ، في صباح أحد أيام الاثنين الجميلة ، جاء صديقي إلى العمل وقال إنه نسي حقيبته في القطار في طريق عودته إلى المنزل يوم الجمعة وفقد كل شيء. كان على رئيس القسم إعطاء أوامر للقياسات المتكررة ، وبعد ذلك قدم صديقي الملاحظات الأولية وأظهر مدى اختلافها! بالطبع ، لم يضيف هذا إلى شعبيته ، لكنه كشف عن عدم دقة القياسات ، التي كان من المفترض أن تلعب دورًا حاسمًا في وقت لاحق.

ذات مرة قام إحصائي الأصدقاء بإجراء بحث عن شركة خارجية باستخدام مكالمات هاتفية من مجلسهم. تم تسجيل هذه البيانات بدقة عن طريق معدات المكتب المركزي الذي أجرى المكالمات ووثائق الدفع المجمعة لدفعها. ذات يوم اكتشف عن طريق الخطأ مكالمة إلى مكتب غير موجود! ثم قام بفحص البيانات بعناية أكبر ووجد نسبة عالية من المكالمات التي تم توصيلها لعدة دقائق بمكاتب غير موجودة! تم تسجيل البيانات بواسطة نفس الأجهزة التي قامت بإجراء المكالمات ، لكنها كانت بيانات خاطئة. لذلك لا يمكنك حتى الاعتماد على حقيقة أن الجهاز سيسجل بيانات عن نفسه بشكل صحيح!

أخبرني أخي ، الذي عمل لسنوات عديدة في خدمة التحكم في تلوث الهواء في لوس أنجلوس ، أنهم كشفوا عن الحاجة إلى إعادة تجميع ومعايرة وتثبيت كل أداة جديدة قاموا بشرائها! خلاف ذلك ، كانت هناك مشاكل لا نهاية لها في الدقة ، وهذا على الرغم من تأكيدات المورد!

لقد أجريت الكثير من أبحاث الأجهزة لشركة Western Electric. قدموا الدراسة ببيانات أولية لمدة 18 شهرًا من سجلات أكثر من 100 عينة معدات. سألت السؤال الواضح ، لماذا يجب أن أؤمن باتساق البيانات - على سبيل المثال ، هل يمكن ، على سبيل المثال ، التخلص من المعدات غير الموجودة في السجلات؟ وأكدوا أنهم فكروا في الأمر ، ونظروا في جميع البيانات وأضافوا بعض المعاملات الزائفة لاستبعاد مثل هذه الحالات. لقد صدقتهم بتهور ، وفي وقت لاحق فقط أثناء العمل ، وجدت أنه لا تزال هناك تناقضات متبقية في البيانات ، لذلك كان علي البحث عنها أولاً ، ثم استبعادها ، ثم إعادة حساب جميع البيانات مرة أخرى. من هذه التجربة ، تعلمت عدم البدء في معالجة البيانات حتى تحليل دقيق للأخطاء. اشتكوا من بطئي ، لكنني دائمًا ما وجدت أخطاء في البيانات. عندما قدمت لهم ، أجبروا على الاعتراف بحساسيتي على أنها معقولة. بغض النظر عن مدى حرمة البيانات ومدى الحاجة إلى إجابة عاجلة ، تعلمت اختبار الاختبار المسبق للبيانات من أجل الاتساق وتقليل عدد القيم المختلفة بشكل كبير (القيم المتطرفة).

في مرة أخرى ، شاركت كمبادر ثم كمستشار في دراسة كبيرة لفريق عمل AT&T في نيويورك باستخدام كمبيوتر UNIVAC مستأجر. يجب أن تأتي البيانات من العديد من الأماكن ، لذلك قررت أنه سيكون من الحكمة إجراء دراسة تجريبية أولاً للتأكد من أن جميع المصادر تفهم جوهر ما يحدث ومعرفة كيفية إعداد بطاقات IBM المثقوبة بالبيانات اللازمة. لقد فعلناها. ومع ذلك ، عندما بدأت الدراسة الرئيسية ، لم تقم بعض المصادر بحشو بطاقات اللكمات وفقًا للتعليمات الواردة. أصبح واضحًا لي على الفور أن الدراسة التجريبية ، صغيرة الحجم ، مرت على طول الطريق من خلال مجموعة محلية مدربة من متخصصي بطاقات اللكمات ، وذهبت الدراسة الرئيسية من خلال مجموعات بطاقات اللكمات العامة. لسوء الحظ ، لم يكن لديهم فكرة عن الدراسة التجريبية! مرة أخرى ، كنت غير معقول مما تخيلت: لقد قللت من تقدير الآليات الداخلية لمنظمة كبيرة.

ولكن ماذا عن الأدلة العلمية الأساسية؟ يوفر نشر المكتب الوطني للمعايير حول 10 ثوابت فيزيائية أساسية (سرعة الضوء ، رقم Avogadro ، شحنة الإلكترون ، إلخ) مجموعتين من البيانات (لعامي 1929 و 1973) وأخطاء الحساب المقابلة (انظر الشكل 27.I) . من السهل ملاحظة أنه إذا:

1. خذ مجموعة بيانات 1973 بشكل صحيح (وفقًا لحقيقة أن الجدول يوضح الزيادة في دقة تحديد الثوابت الفيزيائية آلاف المرات على مدى 44 عامًا بين الإصدارات) ،
2. حساب انحراف القيم الجديدة للثوابت من السابق ؛
3. احسب عدد المرات التي يتجاوز فيها هذا الانحراف خطأ الحساب السابق ،
4. ثم في المتوسط ​​هذا الانحراف هو 5.267 مرة أكبر (قيم العمود الأخير R يضيفها المؤلف إلى الجدول).

ربما كنت قد افترضت أن قيم الثوابت الفيزيائية قد تم حسابها بعناية ، ولكن الآن يمكنك أن ترى كيف كانت غير دقيقة! يظهر الاختيار التالي للثوابت الفيزيائية (انظر الشكل 27.II) متوسط ​​خطأ يبلغ نصف ذلك الخطأ. ومع ذلك ، لا يسع المرء إلا أن يخمن ما سيحدث بهذه الدقة بعد العشرين سنة القادمة! هل تريد المراهنة؟



الشكل 27. ل

التوقيعات: "بيانات غير موثوقة" دقة القياس (بالكسور لكل مليون)


هذا ليس مفاجئًا على الإطلاق. رأيت مؤخرًا جدولًا لقياسات ثابت هابل (منحدر خط اعتماد الانزياح الأحمر على المسافة) ، وهو أمر أساسي في علم الكونيات الحديث. العديد من القيم تتجاوز الأخطاء المعلنة لمعظم القيم الأخرى.

وبالتالي ، يشير القياس الإحصائي المباشر إلى أنه حتى أكثر الثوابت الفيزيائية دقة في الجداول ليست دقيقة على الإطلاق كما هو مذكور. كيف يكون هذا؟ الإهمال والتفاؤل عاملان رئيسيان. تكشف دراسة مدروسة أن التقنيات التجريبية الموجودة التي تدربنا عليها ليست مثالية أيضًا وتساهم في أخطاء تقدير الخطأ. سوف نفهم كيف أنت في الممارسة ، وليس من الناحية النظرية ، ضع تجربة. تقوم بجمع المعدات وتشغيلها ، وبالطبع ، لا تعمل المعدات كما ينبغي. لذلك ، تقضي بعض الوقت ، غالبًا أسابيع ، مما يجعلها تعمل بشكل صحيح. أنت الآن جاهز لتلقي البيانات ، ولكن أولاً تقوم بإجراء الضبط الدقيق للمعدات. كيف؟ عن طريق إعداده للحصول على بيانات متسقة. ببساطة ، يمكنك تحقيق تشتت منخفض ، ولكن ماذا يمكنك أن تفعل؟ ولكن هذه البيانات ذات التشتت البسيط هي التي ترسل بها الإحصاءات ، ويتم استخدامها لتقييم التباين. لا تقوم بنقل البيانات الصحيحة بسبب الإعدادات الصحيحة - أنت لا تعرف كيفية القيام بذلك - تقوم بنقل البيانات منخفضة التشتت ، وتحصل على الموثوقية العالية من الإحصائيات التي تريد الإعلان عنها! هذه ممارسة مختبرية شائعة! ليس من المستغرب أن موثوقية البيانات نادرا ما تكون متسقة مع المعلنة.



الشكل 27.II

سوف أذكرك بقاعدة هامينغ:

في 90٪ من الحالات ، ستتجاوز نتيجة القياس المستقل التالي الحدود التي يفترضها مستوى الثقة السابق 90٪!

هذه القاعدة ، بالطبع ، تبالغ في الحقائق قليلاً ، ولكن في مثل هذه الصيغة يسهل تذكرها - معظم المعلومات المنشورة حول دقة القياسات بعيدة عن أن تكون جيدة كما هو مذكور. وهذا مبرر بتاريخ التجربة نفسها ويعكس التناقضات التي تم الكشف عنها لاحقًا بدقة معلنة. لم أحاول الحصول على منحة لإجراء دراسة واسعة النطاق ، ولكن ليس لدي شك كبير في نتائجها.

ظاهرة أخرى مذهلة قد يواجهها المرء هي استخدام البيانات في النموذج عندما تكون هناك أخطاء في كل من البيانات والنموذج نفسه. على سبيل المثال ، يفترض التوزيع الطبيعي ، ولكن قد تكون ذيول أكبر أو أصغر من تلك التي تنبأ بها النموذج. أو لا يمكن الحصول على القيم السلبية ، على الرغم من أن التوزيع الطبيعي يسمح بها. ثم هناك مصدران للأخطاء: القياسات وأخطاء النموذج. وقدرتك على أخذ قياسات أكثر وأكثر دقة تزيد فقط من المساهمة في الخطأ بسبب عدم تطابق نموذج الواقع.

أتذكر تجربتي عندما كنت عضوا في مجلس إدارة شركة كمبيوتر. كنا ننتقل إلى عائلة جديدة من أجهزة الكمبيوتر وأعدنا تقديرات دقيقة للغاية لتكلفة الموديلات الجديدة. ثم ذكر اختصاصي المبيعات أنه عند سعر معين ، سيكون قادرًا على تلقي أمر مقابل 10 ، وآخر - مقابل 15 ، والثالث - مقابل 20 مبيعات. تم الجمع بين افتراضاته ، وأنا لا أقول أنها غير صحيحة ، مع البيانات الهندسية التي تم التحقق منها لتحديد سعر نموذج جديد! أي أن المبلغ الإجمالي تم تحديده بشكل أساسي ، مع مراعاة موثوقية الحسابات الهندسية ، وتجاهل عدم اليقين الحالي لافتراضات أخصائي المبيعات. هذا هو الحال بالنسبة للمؤسسات الكبيرة. يتم دمج التقديرات الدقيقة مع الافتراضات التعسفية ، ويتم أخذ موثوقية الكل مساوية لموثوقية المكون الهندسي. يمكنك طرح سؤال عادل ، لماذا تهتم بالتقديرات الهندسية الدقيقة عندما يتم دمجها مع افتراضات تعسفية أخرى ، ولكن هذه ممارسة منتشرة في العديد من مجالات النشاط!

لقد تحدثت أولاً عن العلوم والهندسة حتى لا تكون ساخرًا جدًا في الانتقال إلى البيانات الاقتصادية. قرأت كتاب مورجينسترن حول دقة الأبعاد الاقتصادية عدة مرات ، مطبعة برينستون ، الطبعة الثانية. هذا اقتصادي محترم للغاية.
المثال المفضل لدي من كتابه هو الأرقام الرسمية لتدفق الذهب من دولة إلى أخرى ، وفقا للجانبين. يمكن أن تختلف الأرقام في بعض الأحيان أكثر من مرتين! إذا لم يتمكنوا من الحصول على البيانات الصحيحة عن تدفق الذهب ، فما هي البيانات التي يمكن أن تكون صحيحة بعد ذلك؟ استطعت أن أرى كيف يمكن استدعاء جهاز كهربائي ، عند شحنه إلى دول العالم الثالث ، طبيًا بسبب الاختلافات في الرسوم الجمركية ، لكن الذهب ذهب ، بالكاد يمكن أن يطلق عليه أي شيء آخر.

يلاحظ مورجينسترن أن DuPont Chemical كانت تمتلك سابقًا ما يقرب من 23 ٪ من جنرال موتورز. هل تعتقد أن هذه الحقيقة قد أخذت في الاعتبار عند حساب الناتج القومي الإجمالي (GNP)؟ مستحيل ، اتضح العد المزدوج!

كمثال ، وجدت أنه منذ وقت ليس ببعيد ، عندما تغيرت القواعد الضريبية للإبلاغ عن المخزونات ، قامت العديد من الشركات بتغيير طرق إعداد التقارير للاستفادة من القواعد الجديدة. للقيام بذلك ، كان عليهم إظهار عدد أقل من السلع والمواد ، وبالتالي دفع ضرائب أقل. عبثا بحثت في صحيفة وول ستريت جورنال عن ذكر هذه الحقيقة على الأقل. لم يكن هناك واحد. على الرغم من أن قوائم الجرد هي أحد المؤشرات الرئيسية التي نستخدمها لتقييم توقعات الشركات المصنعة ، إلا أن الاقتصاد ينمو أو ينخفض. ويعتقد أن الشركات المصنعة تخفض المخزونات إذا كانت تتوقع انخفاضًا في المبيعات ، ولكنها تزيد المخزونات إذا كانت تتوقع نمو المبيعات - حتى لا تفوت الإيرادات المحتملة منها. لذلك ، بقدر ما أستطيع أن أفهم ، لم يتم أخذ التغيير في قانون الإبلاغ عن المخزونات وتأثيره على الأبعاد الاقتصادية في الاعتبار على الإطلاق.

بشكل عام ، هناك مشكلة شائعة لجميع السلاسل الزمنية. يتغير تعريف الكائن المقاس باستمرار. تأملوا ، كأفضل مثال ، الفقر. نحن نرفع باستمرار مستوى الفقر ، حتى لا تتمكن أبدًا من التخلص منه - سيتم تغيير هذا التعريف دائمًا من قبل المسؤولين المهتمين بالحفاظ على المشاريع التي يقودونها ، والتي تتطلب عددًا كافيًا من الأشخاص دون مستوى الفقر. ما نسميه "الفقر" هو في نواح كثيرة متفوق على ما لم يكن ملك انجلترا منذ فترة طويلة!

في البحرية الأمريكية ، محتويات مصطلحات "youman" (سكرتير المكتب) ، "ship" ، إلخ. تغير على مر السنين ، لذلك في أي سلسلة زمنية تدرسها لتحديد الاتجاهات في البحرية الأمريكية ، فإن هذا العامل الإضافي سيربكك في استنتاجاتك. ليس الأمر أنه لا يجب أن تحاول فهم الموقف باستخدام البيانات السابقة (أثناء استخدام طرق معالجة الإشارات المعقدة من الفصول 14-17) ، ولكن لا تزال هناك مشاكل بسبب التغييرات في التعريفات التي لا يمكن قولها رسميًا المستندات! تميل التعريفات إلى التغيير بمرور الوقت دون أي شكل رسمي لهذه الحقيقة.

عادة ما يتم إعداد أشكال المؤشرات الاقتصادية المنشورة بانتظام ، بما في ذلك البطالة (التي لا تميز بين العاطلين عن العمل والمعوقين ، ولكن في رأيي) قبل نشرها بوقت طويل. كان مجتمعنا في السنوات الأخيرة يتغير بسرعة من الصناعة (الإنتاج) إلى ما بعد الصناعة (مجتمع الخدمة) ، لكن لا واشنطن (بمعنى السلطات الفيدرالية) ولا المؤشرات الاقتصادية أدركت ذلك إلى حد معقول. ويقولون إن ترددهم في تغيير تعريف المؤشرات الاقتصادية يعتمد على فرضية أن التغييرات ، كما لوحظ في الفقرة السابقة ، ستجعل الماضي لا يضاهى مع الحاضر - ومن الأفضل أن يكون هناك مؤشر غير ذي صلة من تغيير معناه. تستجيب معظم مؤسساتنا (والناس) ببطء للتغييرات ، مثل التحول إلى الخدمات من الإنتاج ، بل إنها أكثر بطئًا في سؤال أنفسهم كيف يجب تغيير ما فعلوه بالأمس ليتناسب مع الغد. المؤسسات والناس يفضلون الحياة بدون تغيير ، وبالتالي هم متخلفون كثيرًا ، ومن ثم يبذلون جهودًا بطولية لمواكبة العصر. المؤسسات ، مثل الناس ، تتحرك فقط إذا أجبرت.

إذا أضفت إلى ما سبق الحقائق الواضحة التي مفادها أن معظم البيانات الاقتصادية تم جمعها لأغراض أخرى وأصبحت متاحة عن طريق الخطأ فقط للبحث الاقتصادي المستمر ، وغالبًا ما تكون هناك حجج قوية لتزوير البيانات الأولية ، يصبح من الواضح لماذا البيانات الاقتصادية ذات نوعية رديئة.

كمصدر آخر لعدم الدقة الذي ذكره Morgenstern ، نعتبر الممارسة المقبولة بشكل عام لتقديم خصومات للعملاء الخاصين الذين يتم الحفاظ عليهم بسرية. كقاعدة عامة ، خلال فترات الاكتئاب ، تزيد الشركات الخصومات وتقللها عندما تتحسن بيئة الأعمال ، ولكن يجب أن تستند أرقام التكلفة الرسمية إلى أسعار المبيعات المفتوحة ، لذا فإن الخصومات غير معروفة. لذلك ، فإن الانكماشات الاقتصادية والصعودية تُدخل بشكل منهجي انحرافات متعددة الاتجاهات في البيانات التي تم جمعها.

ما الذي يمكن أن يستخدمه الاقتصاديون الحكوميون كبيانات أساسية بخلاف هذه البيانات غير الدقيقة في الغالب مع التحيز؟ نعم ، يمكنهم إلى حد ما معرفة وجود أخطاء منهجية ، ولكن لا يمكنهم بأي حال من الأحوال معرفة مدى تشويه البيانات. لذلك ، لا ينبغي أن تفاجأ بأن العديد من توقعات الاقتصاديين خاطئة للغاية. ليس لديهم خيار آخر ببساطة ، لذلك لا ينبغي الوثوق بتوقعاتهم كثيرًا.

في تجربتي ، لا يرغب معظم الاقتصاديين ببساطة في مناقشة عدم الدقة الأساسية في البيانات الاقتصادية المستخدمة ، لذلك ليس لدي إيمان كبير بهم كعلماء. لكن من قال أن الاقتصاد هو علم؟ فقط الاقتصاديين أنفسهم!

إذا كانت البيانات العلمية والهندسية أقل دقة بخمسة أضعاف (أو أكثر) مما هو مذكور ، إذا كانت الأمور أسوأ مع البيانات الاقتصادية ، عندها يمكنك فقط تخيل كيف تسير الأمور مع البيانات الاجتماعية! ليس لدي دراسة مقارنة للمجال بأكمله ، لكن تجربتي الصغيرة والمحدودة تشير إلى أنها ليست جيدة جدًا. مرة أخرى ، قد لا يتوفر أي شيء أفضل ، ولكن هذا لا يعني أنه يمكن استخدام البيانات المتاحة دون اعتبار.

يجب أن يكون واضحًا أنني قد أولت الكثير من الاهتمام لمسألة دقة البيانات لمعظم أعمالي. ولا أتوقع أي شيء أكثر من تحسن بطيء في المستقبل المنظور بشأن هذه المسألة ، مع العلم بموقف الخبراء.

إذا كانت البيانات عادة سيئة ، وتفهم أنك بحاجة إلى جمع المزيد من البيانات ، فماذا يمكنك أن تفعل في أحسن الأحوال؟

أولاً ، كن على دراية بما قلته لك باستمرار: إن الإنسان لا يخلق ليكون موثوقًا ، ولا يمكن حسابه بدون أخطاء ، ولا يمكنه أداء عمل روتيني رتيب بدقة عالية. كمثال ، خذ بعين الاعتبار لعبة البولينج. كل ما يحتاجه اللاعب هو رمي الكرة في الخط الصحيح تمامًا في كل مرة. ولكن نادراً ما يقوم أعظم اللاعبين بالتصوير المثالي! تعجب مجموعات الدعم بدقة تحليق الكرة ، حيث يتطلب ذلك أقصى قدر من التحضير والتنفيذ الدقيقين ، ولكن مع التفكير بعناية ، لا يزال لدى اللاعب الكثير لتحسينه.

ثانيًا ، لا يمكنك جمع كمية كبيرة من البيانات دون أخطاء. هذه حقيقة معروفة يتم تجاهلها باستمرار. تتطلب الإدارة عادةً تغطية بنسبة 100٪ ، في حين أن نسبة أقل بكثير ، مثل 1٪ أو حتى 1/10٪ من تغطية الاستطلاع ستؤدي إلى نتائج أكثر دقة! هذا معروف ، كما قلت ، ولكن تم تجاهله. اعتادت شركات الهاتف على استخدام عينة صغيرة للغاية ومختارة بعناية لتوزيع الدخل بين الشركات المختلفة المشاركة في توفير مكالمات بعيدة المدى ، واستنادًا إلى هذه العينة تقوم بتوزيع الأموال بين الشركاء. شركات الطيران تفعل الشيء نفسه الآن. العينات الصغيرة المأخوذة بعناية أفضل من العينات الكبيرة التي تم اختيارها بشكل سيئ. أفضل لأنها أرخص وأكثر دقة.

ثالثا ، تم الحصول على العديد من البيانات الاجتماعية من خلال الاستبيانات. لكن من المعروف منذ زمن طويل أن طريقة صياغة الأسئلة ، والأمر ، والأشخاص الذين يطرحون الأسئلة أو ينتظرون إكمال الاستبيان - كل هذا يؤثر بشكل خطير على الإجابات. بالطبع ، في حالة "أبيض وأسود" بسيطة ، هذا لا ينطبق ، ولكن عندما تقوم بمراجعة ، كقاعدة عامة ، يكون الوضع موحلاً ، وإلا فلن تضطر إلى بدء ذلك. يؤسفني أنني لم أحفظ مسحًا لجمعية الرياضيات الأمريكية بين أعضائها. كنت ساخطًا جدًا على الأسئلة التي فرضت الإجابات المرغوبة بصياغتي لدرجة أنني أعدتها ببساطة مع شرح لهذا السبب. كم عدد علماء الرياضيات ، الذين يواجهون الإجابة عن أسئلة مثل هذه: هل هناك دعم مالي كاف لرياضيي الرياضيات ، هل يكفي للمنشورات ، للمنح الدراسية لطلاب الدراسات العليا ، وما إلى ذلك ، كم منهم سيقول أن هناك ما يكفي من المال؟ بالطبع ، استخدمت الجمعية الرياضية النتائج لإثبات الطلب لزيادة الدعم لأخصائيي الرياضيات في جميع المجالات.

لقد ملأت مؤخرًا استبيانًا طويلًا ومهمًا (مهمًا للإجراءات التوجيهية التي يمكن أن تتبعها نتائجها). ملأته بأمانة قدر استطاعتي ، لكنني أدركت أنني لست مستجيباً نموذجياً. من خلال الاستمرار في التفكير ، اقترحت أن فئة الأشخاص الذين تمت مقابلتهم لم تكن متجانسة على الإطلاق ، بل كانت تتكون من فئات فرعية مختلفة إلى حد ما ، وبالتالي ، لم تكن أي قيم محسوبة محسوبة قابلة للتطبيق على أي من هذه المجموعات. هذا يتفق تمامًا مع النكتة المعروفة أن هناك طفلين ونصف في عائلة أمريكية متوسطة. ولكن في الوقت نفسه لن تجد نصف الطفل في أي! القيم المتوسطة مفيدة للمجموعات المتجانسة (متجانسة بمعنى العمليات التي من المفترض أن تتم معهم) ، ولكن بالنسبة للمجموعات غير المتجانسة فإنها غالبا ما تكون غير منطقية. كما لوحظ سابقًا ، في المتوسط ​​، لدى شخص بالغ خصية واحدة وثدي واحد ، ولكن هذا الشخص لا علاقة له بأي شخصيات متوسطة في مجتمعنا (الآن ، إذا التزمنا بسلسلة المؤلف ، يجب أن نتحدث عن المجتمع في الولايات المتحدة من حيث "كان" - تعليق المترجم) .

إذا كان نطاق الإجابات غير متماثل للغاية ، فإن القيمة المتوسطة (التي تقسم عدد كائنات العينة إلى النصف - هذه القيمة أقل من المتوسط ​​، والنصف أكثر من المتوسط ​​تقريبًا. المترجم) هي الأفضل من المتوسط ​​كمؤشر - لقد قبلنا علنًا هذا مؤخرًا نسبيًا. لذلك ، ينشر الآن في كثير من الأحيان متوسط ​​الدخل والسعر الوسيط للإسكان بدلاً من متوسط ​​القيم.

رابعاً ، هناك جانب آخر أحثكم على الاهتمام به. لقد قلت مرارًا وتكرارًا أن مسار الأحداث في المنظمة يتغير في مكانه وأثناء وجود كبار المسؤولين في هذه المنظمة ، لذا حاول التعرف على كيفية ملء الاستبيانات قبل أن يتم ترقيتك إلى مستوى عالٍ بما يكفي في الخدمة. لقد صادفت عرضًا واضحًا لهذا التأثير عندما كنت في مجلس إدارة شركة كمبيوتر. تصرف المسؤولون الصغار بطريقة لمحاولة إرضائي ، لكنهم جعلوني غاضبًا جدًا من هذا ، علاوة على ذلك ، لم يكن لدي أي سبب لأقول لهم أي شيء في ملاحظة. غالبًا ما يفعل المرؤوسون ما يعتقدون أنك تريده منهم ، ولكن في الواقع هذا ليس ما تحتاجه! أعتقد أيضًا أنه إذا أرسلت إدارة مؤسستك استبيانًا ، فمن المرجح أن يملأ أولئك الذين يرغبون في الحصول على الأفضل بعناية وفي الوقت المناسب ، سيتم سحب الجزء الأكبر حتى اللحظة الأخيرة ، وبعد ذلك سيقوم الموظف ذو المستوى الأدنى بملئها بشكل حدسي ، دون إجراء الحسابات اللازمة والقياسات - لقد فات الأوان لأخذها بالفعل ، لذلك أرسل ما أستطيع! ماذا عن الموثوقية العامة لمثل هذه التقارير "المركبة" ، لا أحد يعرف. يمكنهم المبالغة في تقدير النتائج ، أو التقليل من شأنهم أو حتى عدم تشويههم كثيرًا. لكن الإدارة العليا يجب أن تتخذ قرارات بناءً على هذه الاستطلاعات - لذلك إذا كانت البيانات سيئة ، فمن المرجح أن تكون القرارات سيئة.

نشاطي المفضل عندما أقرأ أو أسمع عن البيانات هو أن أسأل نفسي كيف جمعها الناس ، وكيف يمكن استخلاص استنتاجاتهم. على سبيل المثال ، قبل عدة سنوات ، عندما ذكرت ذلك في حفل عشاء ، قالت أرملة ساحرة إنها لا ترى أي سبب لعدم جمع البيانات حول أي مشكلة. بعد بعض التفكير ، اعترضت: "كيف يمكنك قياس عدد الزنا سنويا في شبه جزيرة مونتيري؟" حقاً؟ هل تصدق الاستبيان؟ أم ستتبع الناس؟ يبدو من الصعب ، إن لم يكن من المستحيل ، إجراء تقدير معقول لعدد الزنا في السنة. هناك العديد من الأشياء المماثلة الأخرى التي يصعب قياسها ، وهذا ينطبق بشكل خاص على العلاقات الاجتماعية.

تم اقتراح طريقة دقيقة للغاية ، لم أختبر فعاليتها شخصياً في الممارسة. افترض أنك تريد تقدير عدد جرائم القتل التي لم يتم حلها. تجري مقابلة مع أشخاص وتطلب منهم قلب عملة معدنية بدون شهود ، وإذا سقطت ذيول ، فيجب أن يعلنوا أنهم ارتكبوا القتل ، وإذا كان النسر ، يجب عليهم قول الحقيقة. بحكم التعريف ، لا أحد يعرف الناس ما هي نتيجة رمي العملة المعدنية ، لذلك لن يتهمهم أحد بالقتل إذا أعلنوا ذلك. بعد ذلك ، بالنسبة لعينة كبيرة بما فيه الكفاية ، فإن زيادة طفيفة في نسبة اعترافات القتل على القيمة 0.5 ستمنحك التقدير المطلوب. ولكن هذا على افتراض أن الأشخاص الذين تمت مقابلتهم يستجيبون بصدق ، مع مراعاة الأمن. تمت مناقشة متغيرات مثل هذه الطريقة على نطاق واسع ، ولكن على حد علمي ، لا تزال الدراسة الجادة لفعاليتها مفقودة.

في الختام ، ربما سمعت عن الانتخابات الرئاسية الشهيرة التي أعلنت فيها الصحف انتصارًا لشخص ما ، في حين فاز الآخر بهامش كبير. هناك أيضًا استطلاع لمجلة Literary Digest ، تم إجراؤها عبر الهاتف ، وتبين أن نتائجها في وقت لاحق خاطئة تمامًا ، بحيث توقفت المجلة عن الوجود قريبًا ، ويعتقد الكثيرون بسبب هذا الاستطلاع. بعد ذلك ، تم تفسير مغالطة النتائج بحقيقة أن ملكية الهاتف ترتبط بمستوى الثروة ، ومستوى الثروة مع التفضيلات السياسية.

(يقوم المؤلف بشكل غير متوقع بارتكاب سلسلة من الأخطاء والالتباسات هنا ، وهو أمر غير متوقع للغاية! إليك التفاصيل. في نهاية الحملة الانتخابية لعام 1936 في الولايات المتحدة ، نشرت المجلة الأسبوعية المؤثرة The Literary Digest ، التي تم تداولها ما يقرب من مليوني نسخة ، نتائج مسح بريدي غير مسبوق كانت الدراسة لتحديد من يريد الأمريكيون رؤيته كرئيس لهم: فرانكلين دي روزفلت ، مرشح ديمقراطي للترشح لولاية ثانية ، أو إلف لاندون ، مرشح جمهوري . 55% , 41%. «The Literary Digest»: . . 61% , — 37%. , . : , , «» «The Literary Digest». , . . , 1938 «The Literary Digest» «Time Magazine». , , , «The Literary Digest» . , , . , : «The Literary Digest» 1936 . , . , – , 1936 . – .).

تصميم وإجراء وتلخيص المسوحات ليس للهواة. تحتاج إلى مشورة الخبراء بشأن الاستبيانات (وليس الإحصائيات العادية) عندما تبدأ في عمل الاستبيانات ، ومن المستحيل تجنب هذا النشاط. على نحو متزايد ، لا نحتاج إلى حقائق عارية عن الأشياء المادية ، ولكن نتائج الملاحظات في الصناعات الاجتماعية والصناعات ذات الصلة - وهذه تربة غير مستقرة بشكل خائن.

ومن هنا الاستنتاج: كلما تقدمت ، ستحتاج إلى المزيد والمزيد من المعلومات من هذا النوع ، حيث نصبح أكثر توجهاً اجتماعياً وخاضعين للدعاوى القضائية المتعلقة بالأشياء التافهة. ستضطر إلى إجراء استقصاءات لمواقف الأشخاص الشخصية مرارًا وتكرارًا ، ولهذا السبب أولت الكثير من الاهتمام للبيانات غير الموثوقة. أنت بحاجة إلى بيانات موثوقة لاتخاذ قرارات موثوقة ، ولكن نادرًا ما سيكون لديك بعض الموثوقية على الأقل!

للمتابعة ...

من يريد المساعدة في ترجمة الكتاب وتخطيطه ونشره - الكتابة في بريد إلكتروني شخصي أو بريد إلكتروني magisterludi2016@yandex.ru

بالمناسبة ، أطلقنا أيضًا ترجمة كتاب رائع آخر - "آلة الأحلام: تاريخ ثورة الكمبيوتر" )