Дали напредниот прокси го спроведува robots.txt за ползач?
Држете ја политиката robots во самиот ползач и разберете ги границите на нејзиното спроведување на напреден прокси.
Давањето HTTP прокси на ползач го менува начинот на кој неговите барања стигнуваат до веб-страницата. Тоа не го тера проксито да преземе robots.txt, да ја избере групата правила на ползачот или учтиво да ги закаже неговите барања.
Robots Exclusion Protocol ги опишува правилата за ползачи. Вклучува совпаѓање, неуспеси при преземање, пренасочувања и однесување на кешот. Прокси што само го препраќа побараниот документ не ја спровело таа политика во името на ползачот.
Држете ја одлуката за правилата близу до редот на барања на ползачот. Таму пред испраќање на работата се достапни предвидениот идентитет, целниот URI и состојбата на закажување.
Зошто филтер на страната на проксито е потежок отколку што звучи
За обичен HTTP специјално изграден филтер може да ја види целната патека и User-Agent. Сепак му треба вистинска имплементација на правилата и определена политика за преземање, кеширање и ажурирање на соодветната robots-датотека. Претворањето на неколку линии Disallow во статични блокови на адреси не е целиот протокол.
За HTTPS преку обичен CONNECT, напредното прокси гледа одредиштето на тунелот, а не патеката на секоја шифрирана страница и внатрешниот User-Agent. Му недостига информацијата потребна за одлуки за robots на ниво на патека, освен ако друга намерна поставеност не ја обезбеди.
Менувањето на излезната адреса исто така не претвора забранета патека во дозволена. Усогласете го темпото меѓу работниците што ја делат активноста на ползачот; ротирањето на маршрути не е замена за таа политика.
На крајот, правилата robots не се дозвола за пристап. Дозволената патека не ја поништува автентикацијата или другите барања за пристап на страницата, а јавната robots-датотека не штити приватна содржина.