Да ли предњи прокси примењује robots.txt за краулера?
Држите robots политику у самом краулеру и схватите границе њеног спровођења на предњем проксију.
Давање HTTP проксија краулеру мења начин на који његови захтеви стижу до веб странице. То не чини да прокси преузме robots.txt, одабере групу правила краулера или пристојно закаже његове захтеве.
Robots Exclusion Protocol описује правила за краулере. Укључује подударање, неуспехе при добављању, преусмеравања и понашање кеша. Прокси који само прослеђује тражени документ није спровео ту политику у име краулера.
Држите одлуку о правилима близу реда захтева краулера. Ту су пре слања посла доступни намеравани идентитет, циљни URI и стање заказивања.
Зашто је филтрирање на страни проксија теже него што звучи
За обичан HTTP посебно изграђен филтер може видети циљну путању и User-Agent. Ипак му треба стварна имплементација правила и дефинисана политика добављања, кеширања и ажурирања применљиве robots датотеке. Претварање неколико Disallow редова у статичне блокове адреса није цео протокол.
За HTTPS кроз обичан CONNECT предњи прокси види одредиште тунела, а не путању сваке шифроване странице и унутрашњи User-Agent. Недостају му информације потребне за robots одлуке на нивоу путање, осим ако их обезбеди неки други намерни распоред.
Промена излазне адресе такође не претвара забрањену путању у дозвољену. Ускладите темпо међу радницима који деле активност краулера; ротирање рута није замена за ту политику.
Напослетку, robots правила нису одобрење за приступ. Дозвољена путања не надјачава аутентификацију ни друге захтеве приступа странице, а јавна robots датотека не штити приватни садржај.