مهندسو التاريخ هم أشخاص لن ينام المحللون بدونهم قبل نهاية الاستعلام إلى قاعدة البيانات ، وتاريخ غرق العلماء في البيانات. حان الوقت لإخبار الآخرين وأنفسنا ، لماذا وكيف نعمل.
لسوء الحظ ، تم إلغاء المؤتمر المتخصص الوحيد لمحللي البيانات ومهندسي البيانات في سانت بطرسبرغ هذا العام ، لكننا قررنا في Wrike Tech Club ألا نكون حزينين لفترة طويلة ونرتب اجتماعًا مريحًا مع متحدثين أنيقين في 15 نوفمبر.
هل تعمل مع البيانات التي لا تتناسب مع ذاكرة الوصول العشوائي؟ هل يجب استخدام الحوسبة الموزعة؟ مبروك ، أنت مهندس بيانات. بالنسبة للكثيرين في مجال تكنولوجيا المعلومات ، يبدو هذا المصطلح مجرد مصطلح آخر من المساومات بين Lean Analytics والذكاء الاصطناعي. نريد التحدث عن مهندسي البيانات كتخصص منفصل ، وليس كجزء من حديث صغير في لقاء Big Data القادم.
البرنامج والمتحدثون:
ألكسندر إليسيف ، Wrike - هندسة البيانات: كيفية الانتقال من Data إلى Engineering
سنتحدث عن أساليب معالجة Clicksteam وكيف تغيرت أفكارنا من التحليل إلى هندسة البيانات ، وما هي المبادئ الهندسية التي انتهكناها ، وكيفية التوقف عن انتهاكها في هندسة البيانات. سأتحدث عن المشاكل التي واجهناها ، كمثال على الأخطاء في تصميم مصادر البيانات (من ETL مع مخططات البيانات إلى مخطط أكثر تعقيدًا) ، خطوط الأنابيب باستخدام AirFlow كمثال ، قيود تقنياتنا (ORC ، Tableau ، نقص الموارد ، خطوط الأنابيب على Jenkins ) سوف تتعلم كيف قمنا بتغيير نهجنا لتصميم خطوط الأنابيب ومعالجة البيانات.
فيتالي خودوباخشوف ، JetBrains - اختبار التطبيق في أباتشي سبارك
غالبًا ما تكون تكلفة الخطأ في تطبيقات تحليل البيانات عالية جدًا. ولكن في الوقت نفسه ، فإن دور البيانات في حالات الفشل أعلى بكثير من المعتاد مقارنةً بالكود. كيفية تقليل الأخطاء في التطبيقات التي يصعب اختبارها وتصحيحها؟ كيفية كتابة التعليمات البرمجية والاختبارات في مثل هذه الحالة ، بحيث لا تضيع عدة ساعات من وقت الجهاز المكلفة؟ هذا ما أريد أن أتحدث عنه قليلاً.
سيرجي إسييف ، DataFabric - كيفية إدارة البيانات وتخزين المعرفة باستخدام التقنيات الدلالية.
سأخبرك عن:
- جمع البيانات وتحويلها وإدارتها ؛
- الرسوم البيانية للمعرفة ؛
- النمذجة الأنطولوجية لمجال الموضوع ؛
- البيانات ذات الصلة ؛
- تطبيق التقنيات الدلالية لبناء نظم معلومات ذكية.
→
التسجيل