एक लिंक्डइन पोस्ट में, Google विश्लेषक गैरी एलिस ने वेबसाइट मालिकों के लिए एक लंबे समय से चले आ रहे दिशानिर्देश को दोहराया: वेब क्रॉलर्स को यूआरएल तक पहुंचने से रोकने के लिए robots.txt का उपयोग करें जो कार्ट या इच्छा सूची में आइटम जोड़ने जैसी गतिविधियों को ट्रिगर करते हैं।
इलिस ने सर्वर पर क्रॉलर ट्रैफ़िक को ओवरलोड करने की आम शिकायत पर प्रकाश डाला, जो अक्सर उपयोगकर्ता कार्यों के लिए लक्षित यूआरएल को क्रॉल करने वाले खोज इंजन बॉट के कारण होता है।
वह मैनें लिखा है:
“यदि आप देखें कि हम शिकायतों में साइटों से क्या क्रॉल करते हैं, तो अक्सर यह ‘कार्ट में जोड़ें’ और ‘इच्छा सूची में जोड़ें’ जैसे क्रिया यूआरएल होते हैं। ये क्रॉलर्स के लिए बेकार हैं, और आप शायद नहीं चाहते कि वे क्रॉल करें। “
इस व्यर्थ सर्वर लोड से बचने के लिए, इलिस ने “जैसे पैरामीटर वाले यूआरएल के लिए robots.txt फ़ाइल में पहुंच को अवरुद्ध करने की सिफारिश की?कार्ट में जोड़ें” या “?इच्छा सूची में जोड़ें।”
उदाहरण के तौर पर, वह सुझाव देते हैं:
“यदि आपके पास यूआरएल हैं जैसे:
https://example.com/product/scented-candle-v1?add_to_cart
और
https://example.com/product/scented-candle-v1?add_to_wishlistआपको संभवतः अपनी robots.txt फ़ाइल में उनके लिए एक अस्वीकृत नियम जोड़ना चाहिए।
जबकि HTTP POST विधि का उपयोग ऐसे URL को क्रॉल होने से भी रोक सकता है, Illyes ने नोट किया कि क्रॉलर अभी भी POST अनुरोध कर सकते हैं, इसलिए robots.txt की अभी भी अनुशंसा की जाती है।
दशकों पुरानी सर्वोत्तम प्रथाओं को मजबूत करना
एलन पर्किन्स, जिन्होंने इस विषय पर काम किया, ने बताया कि यह निर्देश उन्हीं कारणों से 1990 के दशक में शुरू किए गए इंटरनेट मानकों को प्रतिध्वनित करता है।
1993 से उद्धृत दस्तावेज़ शीर्षक “रोबोट बहिष्करण मानक”:
“1993 और 1994 में ऐसे मामले थे जहां रोबोटों ने WWW सर्वरों का दौरा किया जहां वे विभिन्न कारणों से नहीं चाहते थे… रोबोटों ने WWW सर्वरों के उन हिस्सों का पता लगाया जो उपयुक्त नहीं थे, उदाहरण के लिए बहुत गहरे आभासी पेड़, डुप्लिकेट की गई जानकारी, अस्थायी जानकारी, या सीजीआई -साइड इफेक्ट वाली स्क्रिप्ट (जैसे वोटिंग)।
robots.txt मानक, जो अच्छे व्यवहार वाले क्रॉलर पहुंच को प्रतिबंधित करने के लिए नियम प्रदान करता है, 1994 की शुरुआत में इंटरनेट हितधारकों के बीच एक “आम सहमति” समाधान के रूप में उभरा।
अनुपालन और अपवाद
इलिसेस ने पुष्टि की कि Google के क्रॉलर पूरी तरह से robots.txt नियमों का अनुपालन करते हैं, “उपयोगकर्ता-ट्रिगर या संविदात्मक पुनर्प्राप्ति” वाले परिदृश्यों के लिए दुर्लभ, अच्छी तरह से प्रलेखित अपवादों के साथ।
robots.txt प्रोटोकॉल का यह अनुपालन Google की वेब क्रॉलिंग नीति का मुख्य आधार रहा है।
एसईजे को इसकी परवाह क्यों है?
हालाँकि सलाह बुनियादी लग सकती है, दशकों पुरानी इस सर्वोत्तम प्रथा का पुनरुत्थान इसकी प्रासंगिकता को रेखांकित करता है।
robots.txt मानक का लाभ उठाकर, वेबसाइटें हजारों अति उत्साही क्रॉलरों को अनुत्पादक अनुरोधों के साथ बैंडविड्थ का उपभोग करने में मदद कर सकती हैं।
यह आपकी कैसे मदद कर सकता है?
चाहे आप एक छोटा ब्लॉग चलाते हों या एक बड़ा ई-कॉमर्स प्लेटफ़ॉर्म, क्रॉलर को एक्शन यूआरएल तक पहुंच को ब्लॉक करने के लिए robots.txt का लाभ उठाने की Google की सलाह का पालन करने से कई तरीकों से मदद मिल सकती है:
- सर्वर लोड कम हुआ: आप क्रॉलर्स को यूआरएल तक पहुंचने से रोककर अनावश्यक सर्वर अनुरोधों और बैंडविड्थ उपयोग को कम कर सकते हैं जो कार्ट या विशलिस्ट में आइटम जोड़ने जैसी गतिविधियों को ट्रिगर करते हैं।
- बेहतर स्कैनर दक्षता: अपनी robots.txt फ़ाइल में इस बारे में अधिक स्पष्ट नियम प्रदान करने से कि क्रॉलर्स को किन URL से बचना चाहिए, उन पेजों/सामग्री की अधिक कुशल क्रॉलिंग हो सकती है जिन्हें आप अनुक्रमित और रैंक करना चाहते हैं।
- बेहतर उपयोगकर्ता अनुभव: सर्वर संसाधनों के बर्बाद स्कैनर समायोजन के बजाय वास्तविक उपयोगकर्ता कार्यों पर ध्यान केंद्रित करने से, अंतिम उपयोगकर्ताओं को तेज़ लोड समय और चिकनी कार्यक्षमता का अनुभव होने की संभावना है।
- मानकों के अनुरूप रहें: दिशानिर्देशों को लागू करने से आपकी साइट व्यापक रूप से अपनाए गए robots.txt प्रोटोकॉल मानकों के अनुपालन में आ जाती है, जो दशकों से उद्योग की सर्वोत्तम प्रथाएं रही हैं।
क्रॉलर गतिविधि पर अधिक नियंत्रण चाहने वाली साइटों के लिए robots.txt दिशानिर्देशों पर दोबारा गौर करना एक सरल लेकिन प्रभावशाली कदम हो सकता है।
इलिस की घोषणाओं से पता चलता है कि प्राचीन robots.txt नियम हमारे आधुनिक वेब वातावरण में प्रासंगिक बने हुए हैं।
विशेष छवि: बेस्टफॉरबेस्ट/शटरस्टॉक
Your article is truly remarkable! The way you’ve explained the topic with such clarity and precision is highly commendable. Readers are sure to benefit immensely from the wealth of knowledge and practical insights you’ve shared. It’s clear that your understanding of the subject is deep and thorough. I’m eagerly looking forward to more of your exceptional work in the future. Thank you for imparting your expertise and illuminating us with such detailed and insightful content.