Robots.txt क्या है?


फ़ाइल वेब बॉट्स को निर्देशित करने या बताने के लिए उपयोग की जाती है कि कौन से पृष्ठ और निर्देशिकाएं इंडेक्स या इंडेक्स नहीं हैं। इस फाइल को आपके पेज को होस्ट करने वाले सर्वर पर रूट डायरेक्टरी में रखा जाना चाहिए। फ़ाइल का नाम robots.txt होना चाहिए और पढ़ने की अनुमति होनी चाहिए। नीचे एक robots.txt फ़ाइल का एक उदाहरण है।



ऊपर के robots.txt उदाहरण में, पहली पंक्ति एक अनएक्सपेक्टेबल स्टेटमेंट है जो फ़ाइल का वर्णन करता है। अगला, उपयोगकर्ता-एजेंट लाइन बताती है कि रोबोट या बॉट को फ़ाइल के इस भाग का पालन करना चाहिए। उपरोक्त उदाहरण में, * सभी बॉट्स का प्रतिनिधित्व करता है। अंत में, अगली दो पंक्तियाँ दो निर्देशिकाएं हैं जिन्हें आप चाहते हैं कि बॉट्स इंडेक्स करें।


यदि आप किसी बॉट को अपनी वेबसाइट के सभी URL को क्वेरी करने की अनुमति देना चाहते हैं, तो बॉट नाम दर्ज करें जिसके बाद अस्वीकृत करें: रिक्त मान के साथ। इस कॉन्फ़िगरेशन का एक उदाहरण नीचे दिखाया गया है।


Website hosting के बारे में जानने के लिए क्लिक करें ..Read more







संदर्भ:
https://www.indiewire.com/2019/12/star-wars-christmas-box-office-1202199378/

Comments

Popular posts from this blog

एक नया Google एल्गोरिथम अपडेट कैसे संभालें?

SEO में breadcrumbs क्या हैं

Schema in हिंदी