पर्यावरण पर आधारित ASP.NET कोर साइटों के लिए गतिशील रूप से robots.txt उत्पन्न करना

मैं अपनी साइट के पुराने WebForms भागों का हिस्सा लगा रहा हूँ जो अभी भी ASP.NET Core और Azure App Services पर नंगे धातु पर चलते हैं, और जब मैं यह कर रहा हूँ कि मुझे एहसास हुआ कि मैं यह सुनिश्चित करना चाहता हूँ कि मेरी स्टेजिंग साइटें न मिलें Google / बिंग द्वारा अनुक्रमित।

मेरे पास पहले से ही एक robots.txt है, लेकिन मैं चाहता हूं कि वह उत्पादन के लिए विशिष्ट हो और अन्य जो विकास या मंचन के लिए विशिष्ट हों। मैंने इसे हल करने के कई तरीकों के बारे में सोचा। मैं अपने स्थिर Azio DevOps CI / CD पाइपलाइन के दौरान एक स्थिर robots.txt और दूसरे रोबोट-staging.txt और दूसरे पर सशर्त रूप से कॉपी कर सकता था।

तब मुझे एहसास हुआ कि सबसे आसान संभव चीज सिर्फ रोबोट बनाना होगा। मैंने कस्टम मिडलवेयर लिखने के बारे में सोचा लेकिन यह एक परेशानी की तरह लग रहा था और अधिक कोड की आवश्यकता थी। मैं बस यह देखना चाहता था कि यह कितना सरल हो सकता है।

• आप इसे एक इनलाइन मिडलवेयर के रूप में कर सकते हैं, और सिर्फ लैम्ब्डा और फंक और लाइनक को एक ही लाइन पर पूरा कर सकते हैं
• आप अपना स्वयं का मिडलवेयर लिख सकते हैं और बहुत सारे विकल्प कर सकते हैं, फिर इसे env.IsStaging (), आदि पर सक्रिय करें।
• आप पर्यावरण टैगहेलर्स के साथ एक एकल रेजर पेज बना सकते हैं।

पिछले एक आसान लग रहा था और इसका मतलब यह भी होगा कि मैं cshtml को बिना पूरी तरह से बदल सकता हूं, इसलिए मैंने RobotsTxt.cshtml सिंगल रेजर पेज बनाया। कोई पृष्ठ मॉडल नहीं, कोई कोड पीछे नहीं। फिर मैंने फ़ाइल के कुछ हिस्सों को जेनरेट करने के लिए बिल्ट-इन इनवायरमेंट टैग हेल्पर का उपयोग किया। यह भी ध्यान दें कि मैंने माइम टाइप को टेक्स्ट / प्लेन पर मजबूर किया है और मैं लेआउट पेज का उपयोग नहीं करता हूं, क्योंकि इसके लिए अकेले खड़े होने की आवश्यकता होती है।

@page @{ Layout = null; this.Response.ContentType = "text/plain"; } # /robots.txt file for http://www.hanselman.com/ User-agent: * <environment include="Development,Staging">Disallow: /</environment> <environment include="Production">Disallow: /blog/private Disallow: /blog/secret Disallow: /blog/somethingelse</environment> 

मैं तब सुनिश्चित करता हूं कि मेरे स्टेजिंग और / या प्रोडक्शन सिस्टम में ASPNETCORE_ENVIRONMENT वैरिएबल उचित रूप से सेट हैं।

मैं यह भी बताना चाहता हूं कि विषम रिक्ति की तरह क्या दिख सकता है और टैगहेल्पर्स के खिलाफ कैसे कुछ पाठ ब्यूटेड है। याद रखें कि एक टैग हेल्पर का टैग कभी-कभी "गायब हो जाता है" (उत्तपन्न होता है) जब इसकी बात की जाती है, लेकिन इसके चारों ओर व्हाट्सएप बना रहता है। इसलिए मैं चाहता हूं कि उपयोगकर्ता-एजेंट: * के पास एक पंक्ति हो, और फिर अगली पंक्ति में तुरंत दिखाने के लिए अस्वीकृत करें। हालांकि यह प्रीटियर सोर्स कोड हो सकता है कि दूसरी लाइन पर शुरू हो, यह तब एक सही फाइल नहीं है। मैं चाहता हूं कि परिणाम तंग और सब से ऊपर हो, सही। यह मंचन के लिए है:

 User-agent: * Disallow: / 

यह अब मुझे / robotsstxt पर एक robots.txt देता है, लेकिन /robots.txt पर नहीं। मुद्दा देखें? Robots.txt एक फ़ाइल (या एक नकली) है, इसलिए मुझे RobotsTxt.cshtml नामक रेजर पेज के लिए /robots.txt के अनुरोध से एक मार्ग को मैप करने की आवश्यकता है।

यहां मैं अपने Startup.cs में एक RazorPagesOptions जोड़ देता हूं जो एक कस्टम पेजरूट के साथ है जो /robots.txt को / robotstxt पर मैप करता है। (मैं हमेशा इस एपीआई को मापदंडों के रूप में परेशान कर रहा हूं, IMHO, जैसे ("से", "से") उलटा हो, तो उसके लिए बाहर देखो, ऐसा न हो कि आप दस मिनट बर्बाद कर दें जैसे मैंने अभी किया।

 public void ConfigureServices(IServiceCollection services) { services.AddMvc() .AddRazorPagesOptions(options => { options.Conventions.AddPageRoute("/robotstxt", "/Robots.Txt"); }); } 

और वह यह है! सरल और साफ।

आप चाहें तो कैशिंग भी जोड़ सकते हैं, या तो एक बड़े मिडलवेयर के रूप में, या यहां तक ​​कि cshtml पेज में भी

 context.Response.Headers.Add("Cache-Control", $"max-age=SOMELARGENUMBEROFSECONDS"); 

लेकिन मैं पाठक के लिए एक अभ्यास के रूप में उस छोटे अनुकूलन को छोड़ दूंगा।

अद्यतन: मैं किया गया था के बाद मैं GitHub पर इस robots.txt मिडलवेयर और NuGet को मिला। मैं अभी भी अपने कोड से खुश हूं और मुझे कोई बाहरी निर्भरता नहीं है, लेकिन भविष्य की अधिक परिष्कृत जरूरतों और परियोजनाओं के लिए इसे दूर करना अच्छा है।

आप अपनी robots.txt आवश्यकताओं को कैसे संभालते हैं? क्या आपके पास भी है?