Արդյո՞ք առաջադիր պրոքսին robots.txt-ն կիրառում է սողունի համար:

Սողունին HTTP պրոքսի տալը փոխում է, թե ինչպես են նրա հարցումները հասնում կայք: Սակայն դա չի ստիպում պրոքսիին բերել robots.txt-ն, ընտրել սողունի կանոնախումբը կամ քաղաքավարի պլանավորել նրա հարցումները:

Ռոբոտների բացառման արձանագրությունը նկարագրում է կանոններ սողունների համար: Այն ներառում է համադրում, բերման ձախողումներ, վերահասցեավորումներ և քեշի վարք: Պրոքսին, որը պարզապես փոխանցում է հայցված փաստաթուղթը, այդ քաղաքականությունը սողունի անունից չի կիրառել:

Կանոնների որոշումը պահեք սողունի հարցումների հերթի մոտ: Այնտեղ են աշխատանքն ուղարկելուց առաջ հասանելի նախատեսված ինքնությունը, թիրախ URI-ն և պլանավորման վիճակը:

Ինչու պրոքսիի կողմում զտիչը ավելի դժվար է, քան թվում է

Սովորական HTTP-ի դեպքում հատուկ կառուցված զտիչը կարող է տեսնել թիրախ ուղին և User-Agent-ը: Սակայն նրան դեռ պետք են կանոնների իրական իրականացում և սահմանված քաղաքականություն համապատասխան robots ֆայլի բերման, քեշավորման և թարմացման համար: Մի քանի Disallow տողեր ստատիկ հասցեային արգելքների վերածելը ամբողջ արձանագրությունը չէ:

Սովորական CONNECT-ով HTTPS-ի դեպքում առաջադիր պրոքսին տեսնում է թունելի նպատակակետը, այլ ոչ թե յուրաքանչյուր գաղտնագրված էջի ուղին և ներքին User-Agent-ը: Նրան բացակայում է ուղու մակարդակի robots որոշումների համար անհրաժեշտ տեղեկությունը, եթե այլ դիտավորյալ լուծում այն չտրամադրի:

Ելքային հասցեն փոխելը նույնպես արգելված ուղին թույլատրված չի դարձնում: Համաձայնեցրեք տեմպը սողունի գործունեությունը կիսող աշխատողների միջև. երթուղիների պտտումը այդ քաղաքականության փոխարինումը չէ:

Վերջապես, robots կանոնները մուտքի թույլտվություն չեն: Թույլատրված ուղին չի վերացնում նույնականացումը կամ կայքի այլ մուտքի պահանջները, և հանրային robots ֆայլը չի պաշտպանում գաղտնի բովանդակությունը: