डेटा साइंस और ट्रॉपिक्स सम्मेलन

कंप्यूटर दृष्टि, व्याख्यात्मकता, एनएलपी के बारे में लेख - हमने जापान में AISTATS सम्मेलन का दौरा किया और लेखों का अवलोकन साझा करना चाहते हैं। यह आंकड़ों और मशीन सीखने पर एक प्रमुख सम्मेलन है, और इस साल यह ताइवान के पास एक द्वीप ओकिनावा पर आयोजित किया जा रहा है। इस पोस्ट में, यूलिया एंटोकिना ( यूलिया_चान ) ने मुख्य अनुभाग से उज्ज्वल लेखों का विवरण तैयार किया, अगले में अन्ना पपीता के साथ मिलकर आमंत्रित व्याख्याताओं और सैद्धांतिक अध्ययन की रिपोर्टों के बारे में बात करेंगे। हम थोड़ा सा यह भी बताएंगे कि सम्मेलन कैसे हुआ और "गैर-जापानी" जापान के बारे में।



रैंडमाइज्ड डिसक्रिटाइजेशन के माध्यम से व्हाइटबॉक्स एडवरसरी अटैक के खिलाफ बचाव
युकेन झांग (माइक्रोसॉफ्ट); पर्सी लिआंग (स्टैनफोर्ड यूनिवर्सिटी)
→ लेख
→ कोड

आइए कंप्यूटर दृष्टि में प्रतिकूल हमलों के खिलाफ सुरक्षा के बारे में एक लेख से शुरू करें। ये मॉडल पर लक्षित हमले हैं, जब हमले का लक्ष्य मॉडल को एक पूर्वनिर्धारित परिणाम तक एक गलती करना है। कंप्यूटर की दृष्टि के एल्गोरिदम को किसी व्यक्ति के लिए मूल तस्वीर में मामूली बदलाव के साथ भी गलत किया जा सकता है। यह कार्य प्रासंगिक है, उदाहरण के लिए, मशीन दृष्टि के लिए, जो अच्छी परिस्थितियों में एक व्यक्ति की तुलना में तेजी से सड़क के संकेतों को पहचानता है, लेकिन हमलों के दौरान बहुत खराब काम करता है।

स्पष्ट रूप से Adversarial Attack



हमले ब्लैकबॉक्स हैं - जब हमलावर को एल्गोरिथ्म के बारे में कुछ भी नहीं पता है, और व्हाइटबॉक्स रिवर्स स्थिति है। मॉडल की सुरक्षा के लिए दो मुख्य दृष्टिकोण हैं। पहला तरीका मॉडल को नियमित और "हमला" चित्रों पर प्रशिक्षित करना है - इसे प्रतिकूल प्रशिक्षण कहा जाता है। यह दृष्टिकोण MNIST जैसी छोटी तस्वीरों पर अच्छा काम करता है, लेकिन ऐसे लेख हैं जो बताते हैं कि यह इमेजनेट जैसी बड़ी तस्वीरों पर अच्छा काम नहीं करता है। दूसरे प्रकार के संरक्षण के लिए मॉडल को फिर से तैयार करने की आवश्यकता नहीं होती है। यह मॉडल को सबमिट करने से पहले तस्वीर को पूर्व-संसाधित करने के लिए पर्याप्त है। रूपांतरणों के उदाहरण: JPEG संपीड़न, आकार बदलना। इन तरीकों के लिए कम गणना की आवश्यकता होती है, लेकिन अब वे केवल ब्लैकबॉक्स हमलों के खिलाफ काम करते हैं, क्योंकि यदि रूपांतरण ज्ञात है, तो विपरीत लागू किया जा सकता है।

विधि

लेख में, लेखक एक ऐसी विधि का प्रस्ताव करते हैं जिसमें मॉडल को ओवरट्रेंसिंग की आवश्यकता नहीं होती है और व्हाइटबॉक्स हमलों के लिए काम करता है। लक्ष्य एक साधारण परिवर्तन का उपयोग करके कुल्लबैक - साधारण उदाहरणों और "खराब" लोगों के बीच दूरी को कम करना है। यह पता चला है कि यह यादृच्छिक शोर को जोड़ने के लिए पर्याप्त है, और फिर बेतरतीब ढंग से रंगों का नमूना लें। यही है, एक "बिगड़ा हुआ" छवि गुणवत्ता एल्गोरिथ्म इनपुट को खिलाया जाता है, लेकिन एल्गोरिथ्म के काम करने के लिए अभी भी पर्याप्त है। और मौका के कारण, व्हाइटबॉक्स हमलों का सामना करने की क्षमता है।

बाईं ओर मूल चित्र है, मध्य में लैब स्पेस में पिस्टन रंगों का एक उदाहरण है, दाईं ओर कई रंगों में एक चित्र है (उदाहरण के लिए, नीले रंग के 40 रंगों के बजाय - एक)



परिणाम

इस विधि की तुलना एनआईपीएस 2017 एडवांसरियल अटैक्स एंड डिफेंस प्रतियोगिता पर सबसे मजबूत हमलों के साथ की गई थी, और यह औसत गुणवत्ता को दिखाता है और "हमलावर" के तहत पीछे नहीं हटता है।

एनआईपीएस प्रतियोगिता पर सबसे मजबूत हमलों के खिलाफ सबसे मजबूत रक्षा विधियों की तुलना



विभिन्न छवि परिवर्तनों के साथ MNIST पर विधियों की सटीकता की तुलना




Word वैक्टर में Attenuating पूर्वाग्रह
सुनीपा देव (उटाह विश्वविद्यालय); जेफ फिलिप्स (उटाह विश्वविद्यालय)
→ लेख

“ट्रेंडी” बात निष्पक्ष वर्ड सेक्टर के बारे में थी। इस मामले में, पूर्वाग्रह का अर्थ है लिंग या शब्दों की राष्ट्रीयता में पक्षपात। कोई भी नियामक इस तरह के "भेदभाव" का विरोध कर सकता है, और इसलिए यूटा विश्वविद्यालय के वैज्ञानिकों ने एनएलपी के लिए "अधिकारों के बराबरी" की संभावना का अध्ययन करने का फैसला किया। वास्तव में, एक आदमी "ग्लैमरस" और एक महिला "डेटा वैज्ञानिक" क्यों नहीं हो सकता है?

मूल - अब जो परिणाम प्राप्त हो रहा है, बाकी - निष्पक्ष एल्गोरिथ्म के परिणाम



लेख इस तरह के पूर्वाग्रह को खोजने के लिए एक विधि पर चर्चा करता है। उन्होंने तय किया कि लिंग और राष्ट्रीयता नामों की विशेषता है। इसलिए, यदि आप नाम से ऑफसेट पाते हैं और इसे घटाते हैं, तो, संभवतः, आप एल्गोरिथ्म के पूर्वाग्रह से छुटकारा पा सकते हैं।
अधिक "मर्दाना" और "स्त्री" शब्दों का एक उदाहरण:



लिंग का पता लगाने के लिए नाम:



अजीब तरह से पर्याप्त है, इस तरह की एक सरल विधि काम करती है। लेखकों ने एक निष्पक्ष दस्ताने का प्रशिक्षण लिया और गिट में रखी।

आपने यह क्या किया? पर्याप्त इनपुट सबसेट के साथ ब्लैक-बॉक्स निर्णयों को समझना
ब्रैंडन कार्टर (MIT CSAIL); जोनास म्यूएलर (अमेज़न वेब सर्विसेज); सिद्धार्थ जैन (MIT CSAIL); डेविड गिफोर्ड (MIT CSAIL)
→ लेख
→ एक बार और दो बार कोड

निम्नलिखित लेख पर्याप्त इनपुट सबसेट एल्गोरिथ्म के बारे में बात करता है। SIS सुविधाओं के न्यूनतम उपसमुच्चय हैं, जिस पर मॉडल एक निश्चित परिणाम देगा, भले ही अन्य सभी सुविधाएँ रीसेट हों। यह किसी तरह से जटिल मॉडल के परिणामों की व्याख्या करने का एक और तरीका है। दोनों ग्रंथों और चित्रों पर काम करता है।

SIS खोज एल्गोरिथ्म विस्तार से:



बीयर के बारे में समीक्षा के साथ पाठ पर आवेदन उदाहरण:



MNIST पर आवेदन उदाहरण:



कुल्लबैक की "व्याख्या" के तरीकों की तुलना - "आदर्श" परिणाम के सापेक्ष लीबलर दूरी:



सुविधाओं को पहले मॉडल पर प्रभाव से क्रमबद्ध किया जाता है, और फिर सबसे प्रभावशाली के साथ शुरू होने वाले, असमान सब्सट्रेट में टूट जाता है। यह जानवर बल द्वारा काम करता है, और एक लेबल किए गए डेटासेट पर, परिणाम लीम से बेहतर व्याख्या करता है। Google अनुसंधान से SIS खोज का एक सुविधाजनक कार्यान्वयन है।

संबंधपरक डेटा के लिए अनुभवजन्य जोखिम न्यूनतमकरण और स्टोकेस्टिक ग्रेडिएंट वंश
विक्टर वीच (कोलंबिया विश्वविद्यालय); मॉर्गन ऑस्टर्न (कोलंबिया विश्वविद्यालय); वेन्डा झोउ (कोलंबिया विश्वविद्यालय); डेविड ब्लेई (कोलंबिया विश्वविद्यालय); पीटर ओर्बनज़ (कोलंबिया विश्वविद्यालय)
→ लेख
→ कोड

अनुकूलन अनुभाग में, अनुभवजन्य जोखिम न्यूनतमकरण पर एक रिपोर्ट थी, जहां लेखकों ने रेखांकन पर स्टोचस्टिक ढाल वंश को लागू करने के तरीकों की खोज की। उदाहरण के लिए, सोशल नेटवर्क डेटा पर एक मॉडल का निर्माण करते समय, आप केवल प्रोफ़ाइल की निश्चित सुविधाओं (ग्राहकों की संख्या) का उपयोग कर सकते हैं, लेकिन फिर प्रोफाइल के बीच के कनेक्शन (जिनकी सदस्यता ली गई है) के बारे में जानकारी खो जाती है। इसके अलावा, पूरा ग्राफ सबसे अधिक बार प्रक्रिया करना मुश्किल है - उदाहरण के लिए, यह स्मृति में फिट नहीं होता है। जब यह स्थिति सारणीबद्ध डेटा पर होती है, तो मॉडल को उपसमूह पर चलाया जा सकता है। और ग्राफ पर सब्स्प्ले के एनालॉग को कैसे चुनना है, यह स्पष्ट नहीं था। लेखकों ने सैद्धांतिक रूप से उपसमूह के एक एनालॉग के रूप में यादृच्छिक उपसमूह का उपयोग करने की संभावना की पुष्टि की, और यह "पागल विचार नहीं" निकला। Github पर लेख से प्रतिलिपि प्रस्तुत करने योग्य उदाहरण हैं, जिसमें विकिपीडिया उदाहरण भी शामिल है।

"विकिपीडिया" के डेटा पर श्रेणी एंबेडिंग इसकी ग्राफ संरचना को ध्यान में रखते हुए, चयनित लेख "फ्रेंच भौतिकविदों" के विषय पर निकटतम हैं:



→ नेटवर्क डाटा के लिए डेटा साइंस

असतत डेटा ग्राफ अतिथि वक्ता पोलिंग लोह (यूनिवर्सिटी ऑफ विस्कॉन्सिन-मैडिसन) से डेटा साइंस के लिए डेटा साइंस द्वारा एक और समीक्षा रिपोर्ट थी। प्रस्तुति में सांख्यिकीय अनुमान, संसाधन आवंटन, स्थानीय एल्गोरिदम के विषय शामिल थे। सांख्यिकीय अनुमान में, उदाहरण के लिए, यह समझना था कि संक्रामक रोगों के आंकड़ों पर ग्राफ की संरचना क्या है। यह संक्रमित नोड्स के बीच कनेक्शन की संख्या पर आंकड़ों का उपयोग करने का प्रस्ताव है - और इसी सांख्यिकीय परीक्षण के लिए प्रमेय साबित होता है।
सामान्य तौर पर, रिपोर्ट देखने के लिए अधिक दिलचस्प है, सबसे अधिक संभावना है, उन लोगों के लिए जो ग्राफ मॉडल में शामिल नहीं हैं, लेकिन कोशिश करना चाहते हैं और ग्राफ़ के लिए परिकल्पनाओं को सही ढंग से कैसे परखें, इसमें रुचि रखते हैं।

सम्मेलन कैसे चला?

AISTATS 2019 ओकिनावा में तीन दिवसीय सम्मेलन है। यह जापान है, लेकिन ओकिनावा की संस्कृति चीन के करीब है। मुख्य खरीदारी सड़क ऐसे छोटे मियामी की याद दिलाती है, सड़कों पर लंबी कारें हैं, देश का संगीत है, और आप थोड़ा दूर की ओर निकलते हैं - सांपों के साथ एक जंगल, टाइफून द्वारा उगाए गए मैंग्रोव पेड़। स्थानीय स्वाद Ryukyu की संस्कृति द्वारा बनाया गया है - एक राज्य जो ओकिनावा में स्थित था, लेकिन पहले चीन का एक जागीरदार और व्यापारिक भागीदार बन गया, और फिर जापानियों द्वारा कब्जा कर लिया गया था।

और ओकिनावा में, जाहिरा तौर पर, वे अक्सर शादियों को आयोजित करते हैं, क्योंकि शादी के सैलून बहुत हैं, और सम्मेलन हॉल हॉल के परिसर में आयोजित किया गया था।

500 से अधिक लोगों ने वैज्ञानिकों, लेख लेखकों, श्रोताओं और वक्ताओं को इकट्ठा किया है। तीन दिनों में आपके पास लगभग सभी के साथ बात करने का समय हो सकता है। यद्यपि यह सम्मेलन "दुनिया के अंत में" आयोजित किया गया था - दुनिया भर के प्रतिनिधि पहुंचे। व्यापक भूगोल के बावजूद, यह पता चला कि हम सभी के हित समान हैं। हमारे लिए यह एक आश्चर्य की बात थी, उदाहरण के लिए, ऑस्ट्रेलिया के वैज्ञानिक उसी डेटा विज्ञान की समस्याओं और हमारी टीम के समान तरीकों को हल करते हैं। लेकिन, आखिरकार, हम ग्रह के लगभग विपरीत किनारों पर रहते हैं ... उद्योग से बहुत सारे प्रतिभागी नहीं थे: Google, Amazon, MTS और कई अन्य शीर्ष कंपनियां।

जापानी प्रायोजक कंपनियों के प्रतिनिधि थे, जो ज्यादातर देखते और सुनते थे और, शायद, किसी की तलाश कर रहे थे, इस तथ्य के बावजूद कि "गैर-जापानी" जापान में काम करना बहुत मुश्किल था।

विषयों पर सम्मेलन के लिए प्रस्तुत लेख:



बाकी सब कुछ हमारी अगली पोस्ट में है। इसे याद मत करो!

घोषणा: