Vynucuje dopredná proxy robots.txt pre crawler?
Držte politiku robots v crawleri a pochopte hranice jej vynucovania na doprednej proxy.
Keď crawleru dáte HTTP proxy, zmení sa, ako sa jeho požiadavky dostávajú na web. Neznamená to, že proxy stiahne robots.txt, vyberie skupinu pravidiel crawlera alebo jeho požiadavky zdvorilo naplánuje.
Robots Exclusion Protocol opisuje pravidlá pre crawlery. Zahŕňa párovanie, zlyhania pri načítaní, presmerovania a správanie medzipamäte. Proxy, ktoré len odovzdá požadovaný dokument, túto politiku za crawler neimplementovalo.
Držte rozhodnutie o pravidlách blízko frontu požiadaviek crawlera. Práve tam sú pred odoslaním práce dostupné zamýšľaná identita, cieľové URI a stav plánovania.
Prečo je filter na strane proxy ťažší, než to vyzerá
Pri obyčajnom HTTP môže špeciálne postavený filter vidieť cieľovú cestu a User-Agent. Stále však potrebuje skutočnú implementáciu pravidiel a určenú politiku načítania, ukladania do medzipamäte a aktualizácie príslušného súboru robots. Prevod niekoľkých riadkov Disallow na statické bloky adries nie je celý protokol.
Pri HTTPS cez bežné CONNECT vidí dopredná proxy cieľ tunela, nie cestu každej šifrovanej stránky a vnútorný User-Agent. Chýbajú jej informácie potrebné na rozhodnutia robots na úrovni cesty, ak ich nedodá iné zámerné usporiadanie.
Zmena výstupnej adresy tiež neurobí zo zakázanej cesty povolenú. Zosúlaďte tempo medzi pracovníkmi, ktorí zdieľajú aktivitu crawlera; rotácia trás túto politiku nenahrádza.
Napokon, pravidlá robots nie sú prístupovým oprávnením. Povolená cesta neprebíja overovanie ani ďalšie prístupové požiadavky webu a verejný súbor robots nezabezpečí súkromný obsah.