Алдыңғы прокси краулер үшін robots.txt ережесін орындата ма?
robots саясатын краулердің өзінде ұстаңыз және оны алдыңғы проксиде орындату шегін түсініңіз.
Краулерге HTTP проксисін беру оның сұрауларының сайтқа жету жолын өзгертеді. Бірақ бұл проксиді robots.txt файлын әкелуге, краулердің ереже тобын таңдауға немесе сұрауларын әдеппен жоспарлауға мәжбүрлемейді.
Robots Exclusion Protocol краулерлерге арналған ережелерді сипаттайды. Ол сәйкестендіруді, алу сәтсіздіктерін, қайта бағыттауларды және кэш мінезін қамтиды. Тек сұралған құжатты жеткізетін прокси бұл саясатты краулер атынан іске асырмаған.
Ереже туралы шешімді краулердің сұрау кезегіне жақын ұстаңыз. Жұмыс жіберілмес бұрын көзделген бірегейлік, мақсатты URI және жоспарлау күйі сонда қолжетімді.
Неге прокси жағындағы сүзгі көрінгеннен қиын
Қарапайым HTTP үшін арнайы құрастырылған сүзгі мақсатты жолды және User-Agent-ті көре алады. Бірақ оған ережелердің нақты іске асырылуы және қатысты robots файлын алу, кэштеу және жаңарту үшін белгіленген саясат қажет. Бірнеше Disallow жолын статикалық мекенжай блогына айналдыру толық протокол емес.
Кәдімгі CONNECT арқылы HTTPS үшін алдыңғы прокси туннельдің межесін көреді, әр шифрланған беттің жолын және ішкі User-Agent-ті емес. Егер басқа әдейі жасалған шешім бермесе, жол деңгейіндегі robots шешімдеріне қажет ақпарат оған жетіспейді.
Шығыс мекенжайын өзгерту де тыйым салынған жолды рұқсат етілген жолға айналдырмайды. Краулердің белсенділігін бөлісетін жұмысшылар арасында қарқынды үйлестіріңіз; бағыттарды айналдыру сол саясатты алмастырмайды.
Соңында, robots ережелері қатынау рұқсаты емес. Рұқсат етілген жол аутентификацияны немесе сайттың басқа қатынау талаптарын жоймайды, ал ашық robots файлы жеке мазмұнды қорғамайды.