ASP.NET कोर साइटों के लिए गतिशील रूप से robots.txt बनाएँ

अब मैं अपनी साइट के कुछ पुराने WebForm को स्थानांतरित करने की प्रक्रिया में हूं, जो अब तक ASP.NET कोर और Azure एप्लिकेशन सेवाओं तक नंगे धातु पर चलते हैं। इस प्रक्रिया में, मुझे एहसास हुआ कि मैं यह सुनिश्चित करना चाहता हूं कि मेरी साइटें Google, यांडेक्स, बिंग और अन्य खोज इंजनों द्वारा अनुक्रमित न हों।

मेरे पास पहले से एक robots.txt फ़ाइल है, लेकिन मैं चाहता हूं कि एक केवल उत्पादन के लिए, और दूसरा विकास के लिए। मैं इस समस्या को हल करने के कई तरीकों के बारे में सोच रहा था। मेरे पास एक स्थिर robots.txt फ़ाइल, एक रोबोट- staging.txt फ़ाइल और सशर्त रूप से मेरे Azure DevOps CI / CD पाइपलाइन में एक के ऊपर एक कॉपी हो सकती है।

तब मुझे महसूस हुआ कि सबसे आसान काम है। मैं अपने खुद के मिडलवेयर लिखने के बारे में सोच रहा था, लेकिन यह बहुत सारे कोड के साथ एक परेशानी भरा काम लग रहा था। मैं देखना चाहता था कि यह कितना सरल हो सकता है।

• आप इसे एंबेडेड मिडलवेयर के रूप में लागू कर सकते हैं: सिर्फ एक लाइन में लैम्ब्डा, फंक और लाइनक
• आप अपना स्वयं का मिडलवेयर लिख सकते हैं और कई विकल्प बना सकते हैं, फिर इसे env.IsStaging () या किसी अन्य के वातावरण में सक्रिय कर सकते हैं
• आप TegHelpers वातावरण के साथ एक एकल रेजर पेज बना सकते हैं

अंतिम विकल्प सबसे सरल लग रहा था और इसका मतलब था कि मैं cshtml को पूरी तरह से फिर से शुरू किए बिना बदल सकता हूं, इसलिए मैंने एक रेजर पेज RobotsTxt.cshtml बनाया। फिर मैंने फ़ाइल के कुछ हिस्सों को जेनरेट करने के लिए बिल्ट-इन टैग किए गए पर्यावरण सहायक का उपयोग किया। यह भी ध्यान दें कि मैंने माइम प्रकार को पाठ / सादा होने के लिए मजबूर किया और लेआउट पृष्ठ का उपयोग न करें, क्योंकि यह स्वयं-निहित होना चाहिए।

@page @{ Layout = null; this.Response.ContentType = "text/plain"; } # /robots.txt file for http://www.hanselman.com/ User-agent: * <environment include="Development,Staging">Disallow: /</environment> <environment include="Production">Disallow: /blog/private Disallow: /blog/secret Disallow: /blog/somethingelse</environment> 

तब मैं जांचता हूं कि मेरे स्टेजिंग और / या प्रोडक्शन सिस्टम में ASPNETCORE_ENVIRONMENT चर सही तरीके से सेट हैं या नहीं।

मैं यह भी बताना चाहता हूं कि एक विषम अंतर कैसे दिख सकता है और कैसे कुछ पाठ टैगहेल्पर्स पर टिकी हुई है। याद रखें कि टैगहेल्पर टैग कभी-कभी "गायब हो जाता है" (हटा दिया जाता है) जब यह अपना काम करता है, लेकिन अंतराल इसके चारों ओर रहता है। इसलिए मैं चाहता हूं कि यूजर-एजेंट: * के पास एक लाइन हो, और फिर Disallow तुरंत अगली लाइन पर दिखाई देगा। हालांकि स्रोत कोड प्रीटियर हो सकता है यदि यह एक अलग लाइन पर शुरू होता है, तो यह गलत फ़ाइल होगी। मैं चाहता हूं कि परिणाम सही हो। यह समझने के लिए है:

 User-agent: * Disallow: / 

यह मुझे robots.txt फ़ाइल / रोबोटस्टेक्ट में देता है, लेकिन /robots.txt में नहीं। गलती देखिए? Robots.txt एक (नकली) फ़ाइल है, इसलिए मुझे RobotsTxt.cshtml नाम के रेज़र पृष्ठ पर /robots.txt के अनुरोध से मार्ग को मैप करना होगा।

यहाँ मैं अपने Startup.cs में RazorPagesOptions को एक कस्टम PageRoute के साथ जोड़ता हूं जो /robots.txt को / robotstxt पर मैप करता है। (मैं हमेशा इस एपीआई को कष्टप्रद पाया, मापदंडों के रूप में, मेरी राय में, ("से", "से") में बदल दिया जाना चाहिए, इसलिए सुनिश्चित करें कि आप दस अतिरिक्त मिनट खर्च नहीं करते हैं, जैसा कि मैंने अभी किया है) ।

 public void ConfigureServices(IServiceCollection services) { services.AddMvc() .AddRazorPagesOptions(options => { options.Conventions.AddPageRoute("/robotstxt", "/Robots.Txt"); }); } 

और वह सब है! सरल और पारदर्शी।

आप कैशिंग को भी जोड़ सकते हैं, यदि आप चाहें, तो एक बड़े मिडलवेयर के रूप में या यहां तक ​​कि cshtml पेज पर भी

 context.Response.Headers.Add("Cache-Control", $"max-age=SOMELARGENUMBEROFSECONDS"); 

लेकिन मैं आपके लिए एक अभ्यास के रूप में इस छोटे अनुकूलन को छोड़ दूंगा।

अद्यतन करें: जब मैंने काम पूरा कर लिया, तो मुझे यह मिडिलवेयर रोबॉट्स.टेक्स्ट और नुगेट गीथहब पर मिला। मैं अभी भी अपने कोड से खुश हूं और बाहरी निर्भरता की अनुपस्थिति का ध्यान नहीं रखता (बाहरी स्वतंत्रता मेरे लिए महत्वपूर्ण नहीं है), लेकिन भविष्य के अधिक जटिल कार्यों और परियोजनाओं के लिए इसे रखना अच्छा है।