Google robots.txt पार्सर स्रोत कोड खोलता है

आज, Google ने अपाचे लाइसेंस 2.0 के तहत रोबॉट्स एक्सक्लूज़न प्रोटोकॉल (आरईपी) मानक का एक मसौदा तैयार किया , साथ ही साथ अपने robots.txt फ़ाइल पार्सर को उपलब्ध कराया। आज तक, रोबोट बहिष्करण प्रोटोकॉल (REP) और robots.txt (यह इसके सबसे करीब था) के लिए कोई आधिकारिक मानक नहीं था, जो डेवलपर्स और उपयोगकर्ताओं को अपने तरीके से इसकी व्याख्या करने की अनुमति देता था। कंपनी की पहल का उद्देश्य कार्यान्वयन के बीच अंतर को कम करना है।

नए मानक का एक मसौदा IETF वेबसाइट पर देखा जा सकता है, और रिपॉजिटरी Github पर https://github.com/google/robotstxt पर उपलब्ध है।

पार्सर स्रोत कोड है जिसे Google अपने उत्पादन प्रणालियों के हिस्से के रूप में उपयोग करता है (मामूली संपादन के अपवाद के साथ - जैसे हटाए गए हेडर फ़ाइल जो केवल कंपनी के भीतर उपयोग किए जाते हैं) - robots.txt फ़ाइलों को Googlebot की तरह पार्स किया जाता है (सहित वह पैटर्न में यूनिकोड वर्णों के साथ कैसा व्यवहार करता है)। पार्सर सी ++ में लिखा है और अनिवार्य रूप से दो फाइलें शामिल हैं - आपको सी ++ 11 के साथ संगत कंपाइलर की आवश्यकता होती है, हालांकि लाइब्रेरी कोड 90 के दशक में वापस आता है, और आपको इसमें कच्चे पॉइंटर्स और स्ट्रैब मिलेंगे । इसे इकट्ठा करने के लिए, Bazel (निकट भविष्य में CMake समर्थन की योजना बनाई गई है) का उपयोग करने की सिफारिश की गई है।

Robots.txt का बहुत विचार और मानक मार्टन कॉस्टर का है, जिसने 1994 में इसे बनाया था - किंवदंती के अनुसार , इसका कारण खोज मकड़ी चार्ल्स स्ट्रॉस था, जो एक DoS हमले का उपयोग करके बोनफायर सर्वर को "गिरा" देता था। उनका विचार दूसरों द्वारा उठाया गया था और जल्दी से खोज इंजन के विकास में शामिल लोगों के लिए वास्तविक मानक बन गया। जो लोग इसकी पार्सिंग करना चाहते थे, उन्हें कभी-कभी Blekko सहित इंजीनियर Googlebot को रिवर्स करना पड़ता था, जिसने अपने खोज इंजन के लिए पर्ल के लिए अपना स्वयं का पार्सर लिखा था।

पार्सर मजेदार क्षणों के बिना नहीं था: एक नज़र डालें, उदाहरण के लिए, प्रसंस्करण में कितने काम चले गए ।