Un proxy in avanti applica robots.txt per un crawler?
Tenete la politica robots nel crawler e capite i limiti della sua applicazione in un proxy di inoltro.
Dare un proxy HTTP a un crawler cambia il modo in cui le sue richieste raggiungono il sito. Non fa sì che il proxy scarichi robots.txt, scelga il gruppo di regole del crawler o pianifichi con cortesia le sue richieste.
Il Robots Exclusion Protocol descrive le regole per i crawler. Comprende la corrispondenza, gli errori di recupero, i reindirizzamenti e il comportamento della cache. Un proxy che si limita a inoltrare il documento richiesto non ha implementato quella politica per conto del crawler.
Tenete la decisione sulle regole vicino alla coda delle richieste del crawler. È lì che l'identità prevista, l'URI di destinazione e lo stato di pianificazione sono disponibili prima dell'invio del lavoro.
Perché un filtro lato proxy è più difficile di quanto sembri
Con HTTP semplice, un filtro costruito appositamente può vedere il percorso di destinazione e lo User-Agent. Ha comunque bisogno di una vera implementazione delle regole e di una politica definita per recuperare, memorizzare e aggiornare il file robots applicabile. Trasformare alcune righe Disallow in blocchi statici di indirizzi non è il protocollo completo.
Con HTTPS tramite CONNECT ordinario, il proxy di inoltro vede la destinazione del tunnel, non il percorso di ogni pagina cifrata e lo User-Agent interno. Gli mancano le informazioni necessarie alle decisioni robots a livello di percorso, a meno che un altro accorgimento deliberato non le fornisca.
Cambiare l'indirizzo di uscita non trasforma nemmeno un percorso vietato in uno consentito. Coordinate il ritmo tra i worker che condividono l'attività del crawler; la rotazione delle rotte non sostituisce quella politica.
Infine, le regole robots non sono un'autorizzazione all'accesso. Un percorso consentito non annulla l'autenticazione né gli altri requisiti di accesso del sito, e un file robots pubblico non protegge i contenuti privati.