Kikényszeríti-e egy továbbító proxy a robots.txt-t egy crawler számára?
Tartsa a robots-szabályzatot magában a crawlerben, és értse meg a továbbító proxyn való kikényszerítés korlátait.
Ha egy crawler HTTP-proxyt kap, megváltozik, hogyan jutnak el a kérései a webhelyre. Ez azonban nem éri el, hogy a proxy letöltse a robots.txt-t, kiválassza a crawler szabálycsoportját, vagy udvariasan ütemezze a kéréseit.
A Robots Exclusion Protocol a crawlerek szabályait írja le. Kiterjed az egyeztetésre, a letöltési hibákra, az átirányításokra és a gyorsítótár viselkedésére. Egy proxy, amely csak továbbadja a kért dokumentumot, nem valósította meg ezt a szabályzatot a crawler nevében.
Tartsa a szabálydöntést a crawler kérési sorának közelében. Ott érhető el a szándékolt identitás, a cél-URI és az ütemezés állapota a munka elküldése előtt.
Miért nehezebb a proxy oldali szűrés, mint amilyennek hangzik
Egyszerű HTTP esetén egy erre épített szűrő láthatja a célútvonalat és a User-Agentet. Mégis valódi szabálymegvalósításra és meghatározott szabályzatra van szüksége az alkalmazandó robots-fájl letöltéséhez, gyorsítótárazásához és frissítéséhez. Néhány Disallow-sor statikus címblokká alakítása nem a teljes protokoll.
A szokásos CONNECT-en átfolyó HTTPS esetén a továbbító proxy az alagút célját látja, nem az egyes titkosított oldalak útvonalát és a belső User-Agentet. Hiányoznak nála az útvonal szintű robots-döntésekhez szükséges információk, hacsak egy másik szándékos megoldás nem biztosítja azokat.
A kimenő cím cseréje sem tesz egy tiltott útvonalat engedélyezetté. Hangolja össze az ütemet a crawler tevékenységét megosztó munkások között; az útvonalak váltogatása nem helyettesíti ezt a szabályzatot.
Végül a robots-szabályok nem hozzáférési engedélyek. Egy engedélyezett útvonal nem írja felül a hitelesítést vagy az oldal egyéb hozzáférési követelményeit, és egy nyilvános robots-fájl nem védi a privát tartalmat.