robots.txt फ़ाइल क्या है?
फाइल robots.txt वेबसाइट पर सर्च इंजनों की पहुँच को नियंत्रित करती है, सामग्री के अनुक्रमण की अनुमति या प्रतिबंध लगाती है। जानें कि इसे कैसे प्रभावी ढंग से बनाना और कॉन्फ़िगर करना है।
परिचय
robots.txt फ़ाइल एक सरल टेक्स्ट फ़ाइल है जो Robots Exclusion Protocol (REP) का हिस्सा है। इसमें खोज इंजनों के लिए निर्देश होते हैं कि साइट तक कैसे पहुँचना है और उसे कैसे अनुक्रमित करना है। प्रभावी होने के लिए, robots.txt फ़ाइल को साइट के रूट फ़ोल्डर में रखा जाना चाहिए (उदाहरण के लिए, https://domeniu.ro/robots.txt)।
robots.txt फ़ाइल का महत्व
robots.txt फ़ाइल साइट के साथ बॉट की बातचीत को प्रबंधित करने के लिए महत्वपूर्ण है। कई बॉट हैं जो साइट को आक्रामक रूप से अनुक्रमित कर सकते हैं, जिससे इसके प्रदर्शन पर प्रभाव पड़ सकता है। इस फ़ाइल का उपयोग करके, आप:
- साइट की सामग्री तक खोज इंजनों की पहुंच को नियंत्रित करें।
- केवल इच्छित बॉट्स (जैसे, गूगल, बिंग) द्वारा अनुक्रमण की अनुमति देता है।
- संवेदनशील फ़ोल्डरों या फ़ाइलों तक पहुँच को सीमित करें।
उपयोग के उदाहरण
1. कोई विशेष खोज इंजन को ब्लॉक करना
बिंग सर्च इंजन (bingbot) के लिए एक्सेस ब्लॉक करने के लिए, robots.txt फ़ाइल में निम्नलिखित पंक्तियाँ शामिल करें:
User-agent: bingbotअस्वीकृत करें: /व्याख्या:
उपयोगकर्ता-एजेंट: खोज इंजन को निर्दिष्ट करता है जिसके लिए सेटिंग्स लागू होती हैं।
अनुमति न दें: उन साइट के भागों को परिभाषित करता है जिनका रोबोट को पहुंच नहीं है। प्रतीक / पूरी साइट तक पहुंच को अवरुद्ध करता है।
2. सभी सर्च इंजन को ब्लॉक करना
साइट तक सभी खोज इंजनों की पहुँच रोकने के लिए, उपयोग करें:
यूज़र-एजेंट: *अस्वीकृत करें: /व्याख्या: * (वाइल्डकार्ड) का प्रतीक User-agent फ़ील्ड में सभी खोज इंजनों पर लागू होता है, और / पूरे साइट तक पहुँच को ब्लॉक करता है।
3. कुछ फ़ोल्डरों या फ़ाइलों तक पहुँच को सीमित करना
एक फ़ोल्डर और एक विशेष फ़ाइल के लिए पहुंच को अवरुद्ध करने के लिए, कॉन्फ़िगर करें:
यूज़र-एजेंट: *अवहेलना करें: /blog/Disallow: /newsletter.phpव्याख्या: सभी सर्च इंजनों को फ़ोल्डर /blog/ और फ़ाइल newsletter.php को अनुक्रमित करने से रोका जाएगा।
रोबोट्स.txt फ़ाइल बनाना
एक robots.txt फ़ाइल बनाने के लिए, आप एक ऑनलाइन जेनरेटर का उपयोग कर सकते हैं जो आपको तेजी से और बिना किसी त्रुटि के नियमों को कस्टमाइज़ करने में मदद करता है। ऑनलाइन जेनरेटर के उदाहरण खोज के माध्यम से पाए जा सकते हैं: Robots.txt Generator.
फाइल बनाने के बाद, इसे फ़ाइल प्रबंधक या FTP क्लाइंट का उपयोग करके साइट के रूट निर्देशिका में अपलोड करें।