Ali posredniški strežnik naprej uveljavlja robots.txt za pajka?
Hranite politiko robots v samem pajku in razumejte meje njenega uveljavljanja na posredniškem strežniku naprej.
Če pajku daste HTTP posredniški strežnik, se spremeni, kako njegove zahteve dosežejo spletno mesto. To ne poskrbi, da bi strežnik pridobil robots.txt, izbral skupino pravil pajka ali vljudno načrtoval njegove zahteve.
Robots Exclusion Protocol opisuje pravila za pajke. Vključuje ujemanje, napake pri pridobivanju, preusmeritve in vedenje predpomnilnika. Posredniški strežnik, ki le posreduje zahtevani dokument, te politike ni uveljavil v imenu pajka.
Odločitev o pravilih hranite blizu čakalne vrste zahtev pajka. Tam so pred pošiljanjem dela na voljo predvidena identiteta, ciljni URI in stanje načrtovanja.
Zakaj je filtriranje na strani posrednika težje, kot se sliši
Pri navadnem HTTP lahko posebej zgrajen filter vidi ciljno pot in User-Agent. Še vedno pa potrebuje resnično izvedbo pravil in določeno politiko pridobivanja, predpomnjenja in posodabljanja ustrezne datoteke robots. Pretvorba nekaj vrstic Disallow v statične blokade naslovov ni celoten protokol.
Pri HTTPS prek običajnega CONNECT posrednik naprej vidi cilj tunela, ne poti vsake šifrirane strani in notranjega User-Agenta. Manjkajo mu informacije, potrebne za odločitve robots na ravni poti, razen če jih zagotovi druga namerna ureditev.
Sprememba izhodnega naslova tudi ne spremeni prepovedane poti v dovoljeno. Uskladite tempo med delavci, ki si delijo dejavnost pajka; kroženje poti te politike ne nadomesti.
Nazadnje, pravila robots niso dovoljenje za dostop. Dovoljena pot ne razveljavi preverjanja pristnosti ali drugih zahtev mesta za dostop, javna datoteka robots pa ne varuje zasebne vsebine.