🤬 👩🏼‍🔧 ✊🏻 तंत्रिका नेटवर्क स्क्रीनशॉट से GUI कोड उत्पन्न करता है 👩🏿‍🔧 🙎🏽 🍢

टास्क का स्क्रीनशॉट और अपनी भाषा में पिक्स 2कोड न्यूरल नेटवर्क जारी करना, जिसे कंपाइलर तब इच्छित प्लेटफ़ॉर्म के लिए कोड में अनुवादित करता है (Android, iOS)

नया पिक्स 2कोड प्रोग्राम (एक वैज्ञानिक लेख ) प्रोग्रामर के काम को सुविधाजनक बनाने के लिए बनाया गया है जो क्लाइंट जीयूआई को कोड करने के थकाऊ व्यवसाय में लगे हुए हैं।

डिजाइनर आमतौर पर इंटरफ़ेस लेआउट बनाता है, और प्रोग्रामर को इस डिज़ाइन को लागू करने के लिए कोड लिखना होगा। इस तरह के काम में मूल्यवान समय लगता है जो डेवलपर अधिक दिलचस्प और रचनात्मक कार्यों पर खर्च कर सकता है, अर्थात, कार्यक्रम के वास्तविक कार्यों और तर्क के कार्यान्वयन पर, न कि जीयूआई। जल्द ही, कोड पीढ़ी को कार्यक्रम के कंधों पर स्थानांतरित किया जा सकता है। मशीन लर्निंग की भविष्य की संभावनाओं का एक खिलौना प्रदर्शन पिक्स 2कोड प्रोजेक्ट है, जो पहले ही गीथहब पर सबसे अधिक रिपॉजिटरी की सूची में पहले स्थान पर पहुंच गया है , हालांकि लेखक ने तंत्रिका नेटवर्क के प्रशिक्षण के लिए स्रोत कोड और डेटा सेट भी पोस्ट नहीं किया है! इस विषय में इतनी बड़ी रुचि।

एक जीयूआई एनकोडिंग उबाऊ है। मामलों को बदतर बनाने के लिए, ये विभिन्न प्लेटफार्मों पर विभिन्न प्रोग्रामिंग भाषाएं हैं। यही है, आपको एंड्रॉइड के लिए अलग कोड लिखना होगा, आईओएस के लिए अलग, अगर प्रोग्राम को मूल रूप से काम करना चाहिए। यह और भी अधिक समय लेता है और आपको वही, उबाऊ कार्य करता है। अधिक सटीक रूप से, यह पहले था। Pix2code कार्यक्रम तीन मुख्य प्लेटफार्मों के लिए GUI कोड उत्पन्न करता है - Andriod, iOS और क्रॉस-प्लेटफ़ॉर्म HTML / CSS - 77% की सटीकता के साथ (सटीकता कार्यक्रम के अंतर्निहित भाषा में - प्रत्येक मंच के लिए लक्षित / अपेक्षित कोड के साथ उत्पन्न कोड की तुलना करके) निर्धारित की जाती है।

कार्यक्रम के लेखक टोनी बेल्ट्रामेली डैनिश स्टार्टअप UIzard Technologies ने इसे अवधारणा का प्रदर्शन कहा है। उनका मानना है कि स्केलिंग करते समय, मॉडल कोडिंग सटीकता में सुधार करेगा और संभवतः लोगों को मैन्युअल रूप से GUI को एनकोड करने से बचाने में सक्षम है।

Pix2code प्रोग्राम कंसेंट और रीक्रिएट न्यूरल नेटवर्क पर बनाया गया है। एनवीडिया टेस्ला के 80 जीपीयू पर प्रशिक्षण में पांच घंटे से थोड़ा कम समय लगा - इस दौरान प्रणाली को अनुकूलित किया गया

109 \times 10^{6}

$109 × 10 ^ 6$ एक डेटा सेट के लिए पैरामीटर। इसलिए यदि आप उसे तीन प्लेटफार्मों के लिए प्रशिक्षित करना चाहते हैं, तो इसमें लगभग 15 घंटे लगेंगे।

मॉडल इनपुट पर एक स्क्रीनशॉट से केवल पिक्सेल मूल्यों को स्वीकार करके कोड उत्पन्न करने में सक्षम है। दूसरे शब्दों में, तंत्रिका नेटवर्क के लिए सुविधाओं और प्रीप्रोसेस इनपुट डेटा को निकालने के लिए एक विशेष पाइपलाइन की आवश्यकता नहीं है।

स्क्रीनशॉट से कंप्यूटर कोड की पीढ़ी की तुलना एक तस्वीर से पाठ विवरण की पीढ़ी के साथ की जा सकती है। तदनुसार, पिक्स 2कोड मॉडल की वास्तुकला में तीन भाग होते हैं: 1) छवियों को पहचानने के लिए एक कंप्यूटर विज़न मॉड्यूल, वहां प्रस्तुत वस्तुएं, उनका स्थान, आकार और रंग (बटन, कैप्शन, तत्व कंटेनर); 2) पाठ को समझने के लिए एक भाषा मॉड्यूल (इस मामले में, एक प्रोग्रामिंग भाषा) और वाक्यविन्यास और शब्दार्थ रूप से सही उदाहरण उत्पन्न करना; 3) मान्यता प्राप्त वस्तुओं (जीयूआई तत्वों) के लिए पाठ विवरण (कोड) उत्पन्न करने के लिए दो पिछले मॉडल का उपयोग करना।

लेखक इस तथ्य पर ध्यान आकर्षित करता है कि तंत्रिका नेटवर्क को एक अलग डेटा सेट पर प्रशिक्षित किया जा सकता है - और फिर यह अन्य प्लेटफार्मों के लिए अन्य भाषाओं में कोड उत्पन्न करना शुरू कर देगा। लेखक खुद ऐसा करने की योजना नहीं बनाता है, क्योंकि वह पिक्स 2कोड को एक तरह का खिलौना मानता है जो कुछ ऐसी तकनीकों को प्रदर्शित करता है जो उनके स्टार्टअप पर काम कर रही हैं। हालांकि, कोई भी परियोजना को कांटा कर सकता है और अन्य भाषाओं / प्लेटफार्मों के लिए एक कार्यान्वयन बना सकता है।

एक वैज्ञानिक पेपर में, टोनी बेल्ट्रामेली ने लिखा कि वह गीथहब पर रिपॉजिटरी में सार्वजनिक डोमेन में तंत्रिका नेटवर्क के प्रशिक्षण के लिए डेटासेट प्रकाशित करेगा। भंडार का निर्माण पहले ही किया जा चुका है। वहां, अक्सर पूछे जाने वाले प्रश्न अनुभाग में, लेखक स्पष्ट करता है कि वह एनआईपीएस 2017 सम्मेलन में अपने लेख के प्रकाशन (या प्रकाशन से इनकार) के बाद डेटा सेट पोस्ट करेगा। सम्मेलन आयोजकों की एक अधिसूचना सितंबर के शुरू में आनी चाहिए, इसलिए डेटा सेट एक ही समय में रिपॉजिटरी में दिखाई देंगे। जीयूआई के स्क्रीनशॉट, कार्यक्रम की भाषा में संबंधित कोड और तीन मुख्य प्लेटफार्मों के लिए कंपाइलर आउटपुट होंगे।

कार्यक्रम के स्रोत कोड के बारे में, इसके लेखक ने प्रकाशित करने का वादा नहीं किया, लेकिन इसके विकास में अत्यधिक रुचि को देखते हुए, उन्होंने इसे भी खोलने का फैसला किया। यह डेटा सेट के प्रकाशन के साथ-साथ किया जाएगा।

वैज्ञानिक लेख 22 मई, 2017 को प्रीप्रिंट साइट arXiv.org (arXiv: 1705.07962) पर प्रकाशित किया गया था।

तंत्रिका नेटवर्क स्क्रीनशॉट से GUI कोड उत्पन्न करता है

More articles: