Un proxy de redirecționare aplică robots.txt pentru un crawler?
Păstrați politica robots în crawler și înțelegeți limitele aplicării ei într-un proxy de redirecționare.
Darea unui proxy HTTP unui crawler schimbă modul în care cererile sale ajung la site. Totuși nu face ca proxy-ul să preia robots.txt, să aleagă grupul de reguli al crawlerului sau să îi programeze cererile cu curtoazie.
Robots Exclusion Protocol descrie reguli pentru crawlere. Include potrivirea, eșecurile de preluare, redirecționările și comportamentul memoriei cache. Un proxy care doar retransmite documentul cerut nu a implementat acea politică în numele crawlerului.
Păstrați decizia privind regulile aproape de coada de cereri a crawlerului. Acolo sunt disponibile identitatea intenționată, URI-ul țintă și starea de programare înainte de trimiterea lucrării.
De ce un filtru pe partea de proxy este mai dificil decât pare
La HTTP simplu, un filtru construit special poate vedea calea țintă și User-Agentul. Totuși are nevoie de o implementare reală a regulilor și de o politică definită pentru preluarea, stocarea și actualizarea fișierului robots aplicabil. Transformarea câtorva linii Disallow în blocaje statice de adrese nu este protocolul complet.
La HTTPS prin CONNECT obișnuit, proxy-ul de redirecționare vede destinația tunelului, nu calea fiecărei pagini criptate și User-Agentul intern. Îi lipsesc informațiile necesare deciziilor robots la nivel de cale, dacă o altă soluție deliberată nu le furnizează.
Schimbarea adresei de ieșire nu transformă nici ea o cale interzisă într-una permisă. Coordonați ritmul între lucrătorii care împart activitatea crawlerului; rotirea rutelor nu înlocuiește acea politică.
În fine, regulile robots nu sunt o autorizare de acces. O cale permisă nu se substituie autentificării sau celorlalte cerințe de acces ale site-ului, iar un fișier robots public nu protejează conținutul privat.