مجموعة مختارة من الأمثلة العملية لمعالجة البيانات

مرحبا القارئ.

على خطى مشاركتي الأولى من مجموعة مختارة من مجموعات البيانات للتعلم الآلي - سأقوم باختيار مجموعات البيانات الحديثة نسبيًا مع أمثلة عملية على معالجة البيانات. بعد كل شيء ، ليس سراً على أي شخص أن التعلم بأمثلة جيدة أكثر فعالية وأسرع. دعونا نرى ما هو مثير للاهتمام بالنسبة لنا سيكون قادرا على عرض بعض من أفضل الأمثلة على معالجة البيانات.

سيتم توريث مخطط العمل مع المنشور الحالي من مشاركتي حول أفضل دفاتر ملاحظات على ML و DS ، وهي - المحفوظة في الإشارات المرجعية - التي تم نقلها إلى زميل.

+ مكافأة في نهاية المقال - دورة رائعة من FPMI MIPT.



لذلك دعونا نبدأ.

مجموعة مختارة من مجموعات البيانات مع أمثلة عملية على معالجة البيانات:

معدلات الانتحار نظرة عامة 1985 حتي 2016 - مقارنة المعلومات الاجتماعية والاقتصادية مع معدلات الانتحار حسب السنة والبلد.

أمثلة المعالجة:

• بيانات الانتحار - لوحة القيادة التفاعلية الكاملة ؛
• الصحة العقلية ، السعادة ، الاقتصاد ، حرية الإنسان ؛
• التصور البيانات من معدلات الانتحار

تصنيف الأغاني العالمي من Spotify هو تصنيف يومي لأكثر 200 أغنية تم الاستماع إليها في 53 دولة من عام 2017 وعام 2018 من قِبل مستخدمي Spotify.

مثال المعالجة:

• أهم أغاني سبوتيفي: ما الذي يجعلها شعبية؟
• سبوتيفي الرسم البياني الاتجاه + الموسمية ARIMA.
• الاتجاهات في سبوتيفي في جميع أنحاء العالم يوميا أغاني 17-18.

الجرائم في بوسطن - سجلات من نظام الإبلاغ عن حوادث الجريمة في بوسطن ، والذي يتضمن الحوادث والمعلومات حول متى وأين حدث ذلك.

مثال المعالجة:

• جرائم بوسطن كاتب EDA؛
• تقارير الجريمة بوسطن؛
• نقل التعلم و ImageDataGenerator.

تطبيقات Google Play Store - الفئات والتصنيفات وحجم جميع تطبيقات Google Play.

مثال المعالجة:

• كل ما تحتاج لمعرفته حول سوق Android ؛
• كيفية الحصول على تصنيف "عالي" في متجر Play ؛
• متجر Google Play EDA.

بوكيمون لتعدين البيانات والتعلم الآلي - إحصائيات وميزات بوكيمون ؛

مثال المعالجة:

• تجميع بيانات البوكيمون ؛
• أنواع البوكيمون والإحصائيات ggplot2.
• تحليل بيانات البوكيمون.

عناوين الأخبار مليون - بيانات من عناوين الأخبار المنشورة على مدى السنوات ال 15 الماضية.

مثال المعالجة:

• ما هو مع عناوين الأخبار ؛
• عناوين عشوائية ذات مغزى من سلسلة ماركوف.
• موضوع النمذجة مع LSA و LDA.

تحطم طائرة منذ عام 1908 - تاريخ كامل من حوادث الطيران في جميع أنحاء العالم ، من 1908 إلى الوقت الحاضر.

مثال المعالجة:

• الذي لا يطير مع ... ؛
• تحطم طائرة [التصور البيانات] ؛
• وفاة الأبراج الصينية والطائرات.

مجموعة عناوين الأخبار الرئيسية للكشف عن السخرية هي مجموعة بيانات عالية الجودة لاكتشاف السخرية.

مثال المعالجة:

• الكشف عن السخرية باستخدام حفلات زفاف مختلفة ؛
• السخرية مع Keras.
• دليل المبتدئين إلى البرمجة اللغوية العصبية باستخدام spaCy

جودة الهواء التاريخية - يتم جمع بيانات جودة الهواء على الشاشات الخارجية في جميع أنحاء الولايات المتحدة.

مثال المعالجة:

• تلوث الهواء 101؛
• دعنا نحلل هواءنا الذي نأخذه!
• ما سوف تخبرنا بيانات الطقس هذه؟

حقائق التغذية لماكدونالدز القائمة - حقائق التغذية لكل عنصر القائمة في ماكدونالدز الولايات المتحدة الأمريكية.

مثال المعالجة:

• سوبر الحجم نحن؟
• السعرات الحرارية التي نأكلها ... في ماكدونالدز.
• قائمة ماكدونالد

LEGO Database - تفاصيل / مجموعات / الألوان والأسهم من كل LEGO الرسمي في قاعدة بيانات Rebrickable.

مثال المعالجة:

• ليغو - هيا نلعب ؛
• العثور على سمات اللون ليغو مع نماذج الموضوع ؛
• هل أصبحت مجموعات LEGO أكبر مع مرور الوقت؟

إحصاءات التجارة السلعية العالمية - استيراد وتصدير كميات لـ 5000 منتج في معظم دول العالم على مدار الثلاثين عامًا الماضية.

مثال المعالجة:

• إحصاءات التجارة العالمية الشاملة ؛
• إحصاءات التجارة
• الأغنام مقابل الماعز.

الجريمة في الهند - معلومات كاملة عن مختلف جوانب الجرائم المرتكبة في الهند منذ عام 2001.

مثال المعالجة:

• تحليل الجريمة في الهند ؛
• Crime Data EDA؛
• الاستكشافية - أعلى الولايات والمقاطعات.

التنبؤ بنجم النجم النابض - البيانات التي تم جمعها خلال دراسة استقصائية للكون.

أمثلة المعالجة:

• توقع النجم النابض في الكون ؛
• التكهن نجمة بولسار.
• نجم النجم النابض

العمالة الفرنسية ، المرتبات ، عدد السكان في المدينة - بيانات تظهر المساواة وعدم المساواة في فرنسا.

مثال المعالجة:

• استخدام الانحدار في التنبؤ بالأرباح في فرنسا ؛
• الخريطة التفاعلية والرسم البياني - عدم المساواة في الوظائف والمرتبات ؛
• ما حجم الصناعة الفرنسية؟

تعداد الولايات المتحدة - تعداد الولايات المتحدة.

مثال المعالجة:

• كيفية الاستعلام عن مجموعة بيانات التعداد بالولايات المتحدة الأمريكية ؛
• الولايات المتحدة المعسكرات؛
• شوكة من المعسكرات الولايات المتحدة

أسعار المساكن في كاليفورنيا - سعر السكن في كاليفورنيا.

مثال المعالجة:

• مقدمة في التعلم الآلي في R (البرنامج التعليمي) ؛
• تعزيز التدرج وضبط المعلمة في R ؛
• هندسة المعالم الجغرافية المكانية والتصور

معدل البطالة الأمريكي حسب المقاطعة ، 1990-2016 - بيانات بطالة وزارة العمل الأمريكية.

مثال المعالجة:

• الخرائط جميلة ، البطالة ليست كذلك ؛
• تحليل الجريمة العالمية ؛
• تحليل السلاسل الزمنية لمعدل البطالة في الولايات المتحدة.

محفوظات World of Warcraft Avatar History - مجموعة من السجلات التي تعرض معلومات تفصيلية عن شخصيات اللاعب في اللعبة بمرور الوقت.

مثال المعالجة:

• عالم من علب
• Wow Dataset - التحليل الاستكشافي ؛
• جمعية الإمارات للغوص العامة ومخطط شبكة الحركة

بيانات اكتشاف موجات الجاذبية - بيانات عن أحداث موجات الجاذبية GW150914.

مثال المعالجة:

• Dataload.
• قراءة HDF5 من جوليا.
• ارسم البيانات.

مكافأة!

وستكون المكافأة اليوم عبارة عن دورة رائعة للتعلم العميق لطلاب المدارس الثانوية المهتمين بالبرمجة والرياضيات ، وكذلك الطلاب الذين يرغبون في بدء التعلم العميق.

الغرض من هذه الدورة هو تقديم المبادئ الأساسية للتعلم العميق (الشبكات العصبية) في شكل تفاعلي وعلى سبيل المثال من المهام العملية.

برنامج الدورة

1. Python: basics، Google Colab؛
2. مقدمة في الجبر الخطي. ناقلات. المصفوفات والعمليات معهم. مكتبة NumPy
3. الباندا والمكتبات MatPlotlib. أساسيات التعلم الآلي ؛
4. عناصر نظرية التحسين. التدرج. نزول التدرج. نماذج خطية
5. مقدمة في التعلم العميق. المستقبلات. الخلايا العصبية مع السيني (وظائف التنشيط الأخرى). أساسيات OOP في بيثون.
6. مكتبة بيت تورش. شبكات عصبية متعددة الطبقات
7. تدريب الشبكات العصبية في الممارسة. Cifar10 ، notMNIST ؛
8. الشبكات العصبية التلافيفية. طبقة تلافيفية. طبقة التجميع
9. ممارسة تدريب الشبكات العصبية. تصنيف علامات الطرق ؛
10. نقل التعلم. شعبية في العمارة رؤية الكمبيوتر.
11. تجزئة الصورة. U-نت.
12. المنافسة في Kaggle ؛
13. كشف الكائن YOLOv3.
14. كلاسيك جان. نقل النمط العصبي.
15. طرق معالجة النصوص الأساسية ؛
16. كلمة حفلات الزفاف.
17. الشبكات العصبية المتكررة.
18. LSTM ، خلايا GRU.
19. نماذج اللغة
20. الترجمة الآلية
21. Text2Speech.
22. SuperResolution.

يمكنك أيضًا إلقاء نظرة على قناة Youtube التابعة لمدرسة التعليم العميق. هناك الكثير من مقاطع الفيديو الرائعة ؛)

بهذا ، انتهى اختيارنا القصير لأمثلة معالجة البيانات. أتمنى أن تكون قد تعلمت شيئًا جديدًا لنفسك. كما هو معتاد على حبري ، أعجبتني المشاركة - ضع علامة زائد. لا تنسى مشاركتها مع الزملاء. أيضًا ، إذا كان لديك شيء يمكنك مشاركته بنفسك - فاكتب في التعليقات. مزيد من المعلومات حول التعلم الآلي وعلوم البيانات على Habré وفي قناة البرق Neuron (neurondata).

كل المعرفة!