Vynucuje dopředná proxy robots.txt pro crawler?
Držte politiku robots v crawleru a pochopte meze jejího vynucování na dopředné proxy.
Když crawleru dáte HTTP proxy, změní se, jak se jeho požadavky dostávají na web. Neznamená to, že proxy stáhne robots.txt, vybere skupinu pravidel crawleru nebo jeho požadavky zdvořile naplánuje.
Robots Exclusion Protocol popisuje pravidla pro crawlery. Zahrnuje párování, selhání při načítání, přesměrování a chování mezipaměti. Proxy, které jen předá požadovaný dokument, tuto politiku za crawler neimplementovalo.
Držte rozhodnutí o pravidlech blízko fronty požadavků crawleru. Právě tam jsou před odesláním práce k dispozici zamýšlená identita, cílové URI a stav plánování.
Proč je filtr na straně proxy těžší, než to vypadá
U prostého HTTP může speciálně postavený filtr vidět cílovou cestu a User-Agent. Pořád ale potřebuje skutečnou implementaci pravidel a určenou politiku načítání, ukládání do mezipaměti a aktualizace příslušného souboru robots. Převod několika řádků Disallow na statické bloky adres není celý protokol.
U HTTPS přes běžné CONNECT vidí dopředná proxy cíl tunelu, ne cestu každé šifrované stránky ani vnitřní User-Agent. Chybí jí informace potřebné pro rozhodnutí robots na úrovni cesty, pokud je nedodá jiné záměrné uspořádání.
Změna výstupní adresy také neudělá ze zakázané cesty povolenou. Slaďte tempo mezi pracovníky, kteří sdílejí aktivitu crawleru; rotace tras tuto politiku nenahrazuje.
A konečně, pravidla robots nejsou přístupové oprávnění. Povolená cesta nepřebíjí ověřování ani další přístupové požadavky webu a veřejný soubor robots nezabezpečí soukromý obsah.