तापमान का नमूना लेना

हाल ही में मैं ओडीएस चैट में एक सवाल पर आया था: अक्षर-दर-अक्षर टेक्स्ट-जनरेटिंग एल्गोरिथ्म एक पत्र को p से नहीं ( भाषा मॉडल द्वारा भविष्यवाणी किए गए अगले पत्र की संभावना वेक्टर) क्यों नहीं करता है, लेकिन p'=softmax(log(p)/t) (से p'=softmax(log(p)/t) जहां t कुछ अन्य अजीब सकारात्मक स्केलर है)?

एक त्वरित और समझ से बाहर का जवाब: t "तापमान" है, और यह आपको उत्पन्न ग्रंथों की विविधता को नियंत्रित करने की अनुमति देता है। और लंबे और विस्तृत उत्तर के लिए, वास्तव में, यह पोस्ट लिखी गई थी।

गणित का सा

सबसे पहले, softmax(x)=exp(x)/sum(exp(x)) आपको याद दिलाता हूं कि softmax(x)=exp(x)/sum(exp(x)) ( softmax(x)=exp(x)/sum(exp(x)) , लॉग, और वैक्टर का विभाजन घटक है)। यह पता चला है कि यदि t=1 , तो लघुगणक और प्रतिपादक परस्पर विलोपित होते हैं, और हमें p'=p मिलता है। यही है, एक इकाई तापमान के साथ, यह परिवर्तन कुछ भी नहीं बदलता है।

यदि आप तापमान बहुत अधिक करते हैं तो क्या होता है? सॉफ्टमैक्स को (लगभग) शून्य मिलता है, और आउटपुट पर हमें लगभग ( 1/n ) समान संख्याएँ मिलती हैं, लगभग 1/n , जहाँ n आयाम p (वर्णमाला में अक्षरों की संख्या) है। यही है, बहुत अधिक तापमान पर, हम उस मॉडल पर हथौड़ा मारते हैं जो भाषा मॉडल ने भविष्यवाणी की थी, और सभी अक्षरों का एक नमूना समान रूप से संभावित है।

और यदि हम तापमान को शून्य के करीब सेट करते हैं, तो प्रत्येक घटक p' एक बहुत बड़ा-घातांक होगा जो बहुत बड़े-घातांक के योग से विभाजित होता है। सीमा में, वह पत्र, जो p के सबसे बड़े मूल्य के अनुरूप था, सभी अन्य पर हावी होगा, और p' इसके लिए एकता और अन्य सभी पत्रों के लिए शून्य हो जाएगा। यही है, बहुत कम तापमान पर, हम हमेशा सबसे अधिक संभावना वाले अक्षर का चयन करते हैं (भले ही इसकी पूर्ण संभावना इतनी अधिक न हो - कहें, केवल 5%)।

मुख्य निष्कर्ष

यही है, तापमान नमूनाकरण विभिन्न प्रकार के नमूने का एक सामान्य दृष्टिकोण है, जो खाते की भविष्यवाणियों को अलग-अलग डिग्री में ले जाता है। यह मॉडल आत्मविश्वास और विविधता के बीच पैंतरेबाज़ी करने के लिए आवश्यक है। आप अधिक विविध ग्रंथों को उत्पन्न करने के लिए तापमान बढ़ा सकते हैं, या उन ग्रंथों को उत्पन्न करने के लिए कम कर सकते हैं जिनमें मॉडल औसत पर अधिक आश्वस्त है। और, ज़ाहिर है, यह सब न केवल ग्रंथों की पीढ़ी पर लागू होता है, बल्कि सामान्य रूप से किसी भी संभाव्य मॉडल पर लागू होता है।

ऊपर दी गई तस्वीर GPT-2 मॉडल से अलग-अलग तापमान पर नमूना लेने के उदाहरण दिखाती है, हगिंग फेस ग्रुप द्वारा समर्थित इस अद्भुत पृष्ठ के माध्यम से। GPT-2 अक्षरों या शब्दों से नहीं, बल्कि BPE टोकन (अक्षरों के विशेष रूप से चयनित क्रम) द्वारा ग्रंथों को उत्पन्न करता है, लेकिन इसका सार वास्तव में नहीं बदलता है।

थोड़ा सा भौतिकी

और तापमान का इससे क्या लेना-देना है, आप पूछ सकते हैं। उत्तर ऊष्मा गतिकी में प्रयुक्त बोल्ट्जमैन वितरण का संदर्भ है। यह वितरण उन राज्यों की संभावना का वर्णन करता है जिनमें सिस्टम स्थित है (उदाहरण के लिए, एक बोतल में बंद कई गैस अणु), सिस्टम के तापमान और इन राज्यों के अनुरूप संभावित ऊर्जा के स्तर पर निर्भर करता है। उच्च-ऊर्जा वाले राज्य से निम्न-ऊर्जा वाले राज्य में परिवर्तित होने पर, इसे जारी किया जाता है (गर्मी में परिवर्तित किया जाता है), लेकिन इसके विपरीत, इसे खर्च किया जाता है। इसलिए, सिस्टम कम-ऊर्जा वाले राज्यों में अधिक बार समाप्त हो जाएगा (उन्हें प्राप्त करना आसान है, छोड़ना अधिक कठिन है,) और भूलना असंभव है ), लेकिन उच्च तापमान, अधिक बार प्रणाली अभी भी उच्च-ऊर्जा राज्यों में कूद जाएगी। बोल्ट्जमान ने, वास्तव में, सूत्र द्वारा इन नियमितताओं का वर्णन किया, और बिल्कुल वही p=softmax(-energy/t) ।

मैंने पहले से ही एंट्रॉपी ( 1 , 2 , 3 ) पर अपने निबंध में लिखा था, लेकिन वास्तव में यह नहीं बताया कि सांख्यिकीय एन्ट्रापी भौतिकी में एंट्रोपी की अवधारणा से कैसे संबंधित है। लेकिन वास्तव में, बोल्ट्जमैन वितरण के माध्यम से, वे जुड़े हुए प्रतीत होते हैं। लेकिन यहां मैं आपको भौतिकी के कामों को पढ़ने के लिए भेजना बेहतर समझता हूं, और मैं खुद एनएलपी के साथ आगे बढ़ूंगा। आप के लिए कम!

PS यह पाठ लगभग 38 ° के तापमान पर लिखा गया था, इसलिए यदि आप ¯\_(ツ)_/¯ expect की अपेक्षा से थोड़ा अधिक यादृच्छिक हैं तो आश्चर्यचकित न हों