ఫార్వర్డ్ ప్రాక్సీ క్రాలర్ కోసం robots.txt ను అమలు చేస్తుందా?

క్రాలర్‌కు HTTP ప్రాక్సీ ఇవ్వడం దాని అభ్యర్థనలు వెబ్‌సైట్‌ను చేరే విధానాన్ని మారుస్తుంది. కానీ అది ప్రాక్సీ robots.txt తేవడం, క్రాలర్ నియమ సమూహాన్ని ఎంచుకోవడం లేదా దాని అభ్యర్థనలను మర్యాదగా షెడ్యూల్ చేయడం జరగదు.

Robots Exclusion Protocol క్రాలర్‌ల కోసం నియమాలను వివరిస్తుంది. సరిపోలిక, తీసుకురావడంలో వైఫల్యాలు, మళ్లింపులు మరియు క్యాష్ ప్రవర్తన ఇందులో ఉన్నాయి. కేవలం అభ్యర్థించిన పత్రాన్ని పంపే ప్రాక్సీ ఆ విధానాన్ని క్రాలర్ తరఫున అమలు చేయలేదు.

నియమాల నిర్ణయాన్ని క్రాలర్ అభ్యర్థన క్యూకు దగ్గరగా ఉంచండి. పని పంపే ముందు ఉద్దేశించిన గుర్తింపు, లక్ష్య URI మరియు షెడ్యూలింగ్ స్థితి అక్కడే అందుబాటులో ఉంటాయి.

ప్రాక్సీ వైపు ఫిల్టర్ చేయడం వినడానికి ఉన్నంత సులభం ఎందుకు కాదు

సాధారణ HTTP కోసం ప్రత్యేకంగా నిర్మించిన ఫిల్టర్ లక్ష్య మార్గాన్ని మరియు User-Agent ను చూడగలదు. అయినా దానికి నిజమైన నియమ అమలు మరియు వర్తించే robots ఫైల్‌ను తీసుకురావడం, క్యాష్ చేయడం, నవీకరించడం కోసం నిర్దిష్ట విధానం అవసరం. కొన్ని Disallow పంక్తులను స్థిర చిరునామా నిరోధాలుగా మార్చడం పూర్తి ప్రోటోకాల్ కాదు.

సాధారణ CONNECT ద్వారా HTTPS లో, ఫార్వర్డ్ ప్రాక్సీ సొరంగం గమ్యాన్ని చూస్తుంది, ప్రతి గుప్తీకరించిన పేజీ మార్గాన్ని మరియు లోపలి User-Agent ను కాదు. మరో ఉద్దేశపూర్వక ఏర్పాటు ఇచ్చే వరకు, మార్గ స్థాయి robots నిర్ణయాలకు అవసరమైన సమాచారం దాని వద్ద లేదు.

బయటకు వెళ్లే చిరునామా మార్చినా నిషేధిత మార్గం అనుమతించినది కాదు. క్రాలర్ కార్యకలాపాన్ని పంచుకునే కార్మికుల మధ్య వేగాన్ని సమన్వయపరచండి; మార్గాలను తిప్పడం ఆ విధానానికి ప్రత్యామ్నాయం కాదు.

చివరగా, robots నియమాలు ప్రవేశ అనుమతి కాదు. అనుమతించిన మార్గం ప్రామాణీకరణను లేదా సైట్ ఇతర ప్రవేశ అవసరాలను అధిగమించదు, మరియు ప్రజా robots ఫైల్ ప్రైవేట్ కంటెంట్‌ను రక్షించదు.