Primjenjuje li prednji proxy robots.txt za crawler?
Zadržite robots politiku u samom crawleru i shvatite granice njenog provođenja na prednjem proxyju.
Davanje HTTP proxyja crawleru mijenja način na koji njegovi zahtjevi stižu do web stranice. To ne čini da proxy preuzme robots.txt, odabere crawlerovu grupu pravila ili pristojno zakaže njegove zahtjeve.
Robots Exclusion Protocol opisuje pravila za crawlere. Uključuje podudaranje, neuspjehe pri preuzimanju, preusmjeravanja i ponašanje keša. Proxy koji samo prosljeđuje traženi dokument nije proveo tu politiku u ime crawlera.
Držite odluku o pravilima blizu crawlerovog reda zahtjeva. Tu su prije slanja posla dostupni namjeravani identitet, ciljni URI i stanje zakazivanja.
Zašto je filtriranje na strani proxyja teže nego što zvuči
Za običan HTTP posebno izgrađen filter može vidjeti ciljnu putanju i User-Agent. Ipak mu treba stvarna implementacija pravila i definirana politika preuzimanja, keširanja i ažuriranja primjenjive robots datoteke. Pretvaranje nekoliko Disallow redova u statične blokove adresa nije cijeli protokol.
Za HTTPS kroz običan CONNECT prednji proxy vidi odredište tunela, a ne putanju svake šifrirane stranice i unutrašnji User-Agent. Nedostaju mu informacije potrebne za robots odluke na razini putanje, osim ako ih osigura neki drugi namjerni aranžman.
Promjena izlazne adrese također ne pretvara zabranjenu putanju u dopuštenu. Uskladite tempo među radnicima koji dijele crawlerovu aktivnost; rotiranje ruta nije zamjena za tu politiku.
Naposljetku, robots pravila nisu odobrenje za pristup. Dopuštena putanja ne nadjačava autentifikaciju ni druge zahtjeve pristupa stranice, a javna robots datoteka ne štiti privatni sadržaj.