Robots.txt क्या है?
फ़ाइल
वेब बॉट्स को निर्देशित करने
या बताने के लिए उपयोग
की जाती है कि
कौन से पृष्ठ और
निर्देशिकाएं इंडेक्स या इंडेक्स नहीं
हैं। इस फाइल को
आपके पेज को होस्ट
करने वाले सर्वर पर
रूट डायरेक्टरी में रखा जाना
चाहिए। फ़ाइल का नाम robots.txt होना
चाहिए और पढ़ने की
अनुमति होनी चाहिए। नीचे
एक robots.txt फ़ाइल का एक उदाहरण
है।
ऊपर
के robots.txt उदाहरण में, पहली पंक्ति
एक अनएक्सपेक्टेबल स्टेटमेंट है जो फ़ाइल
का वर्णन करता है। अगला,
उपयोगकर्ता-एजेंट लाइन बताती है
कि रोबोट या बॉट को
फ़ाइल के इस भाग
का पालन करना चाहिए।
उपरोक्त उदाहरण में, * सभी बॉट्स का
प्रतिनिधित्व करता है। अंत
में, अगली दो पंक्तियाँ
दो निर्देशिकाएं हैं जिन्हें आप
चाहते हैं कि बॉट्स
इंडेक्स न करें।
यदि
आप किसी बॉट को
अपनी वेबसाइट के सभी URL को
क्वेरी करने की अनुमति
देना चाहते हैं, तो बॉट
नाम दर्ज करें जिसके
बाद अस्वीकृत करें: रिक्त मान के साथ।
इस कॉन्फ़िगरेशन का एक उदाहरण
नीचे दिखाया गया है।
Website hosting के बारे में जानने के लिए क्लिक करें ..Read more
संदर्भ:


Comments
Post a Comment