Toteuttaako välityspalvelin robots.txt:n crawlerin puolesta?
Pidä robots-käytäntö crawlerissa ja ymmärrä sen toteuttamisen rajat välityspalvelimessa.
HTTP-välityspalvelimen antaminen crawlerille muuttaa sitä, miten sen pyynnöt päätyvät verkkosivustolle. Se ei saa välityspalvelinta hakemaan robots.txt-tiedostoa, valitsemaan crawlerin sääntöryhmää tai ajoittamaan sen pyyntöjä kohteliaasti.
Robots Exclusion Protocol kuvaa crawlerien säännöt. Se kattaa täsmäytyksen, hakuvirheet, uudelleenohjaukset ja välimuistikäyttäytymisen. Välityspalvelin, joka vain välittää pyydetyn asiakirjan, ei ole toteuttanut tätä käytäntöä crawlerin puolesta.
Pidä sääntöpäätös lähellä crawlerin pyyntöjonoa. Siellä käytettävissä ovat ennen työn lähettämistä aiottu identiteetti, kohde-URI ja ajoitustila.
Miksi suodatin välityspalvelimen puolella on vaikeampi kuin miltä kuulostaa
Tavallisessa HTTP:ssä erikseen rakennettu suodatin voi nähdä kohdepolun ja User-Agentin. Se tarvitsee silti todellisen sääntötoteutuksen ja määritellyn käytännön soveltuvan robots-tiedoston hakemiseen, välimuistiin ja päivittämiseen. Muutaman Disallow-rivin muuttaminen staattisiksi osoiteblokeiksi ei ole koko protokolla.
Kun HTTPS kulkee tavallisen CONNECTin kautta, välityspalvelin näkee tunnelin kohteen, ei jokaisen salatun sivun polkua ja sisäistä User-Agentia. Siltä puuttuvat polkutason robots-päätöksiin tarvittavat tiedot, ellei jokin muu tarkoituksellinen järjestely tarjoa niitä.
Lähtevän osoitteen vaihtaminen ei sekään muuta kiellettyä polkua sallituksi. Sovi tahdista työntekijöiden kesken, jotka jakavat crawlerin toiminnan; reittien kierrättäminen ei korvaa tätä käytäntöä.
Lopuksi robots-säännöt eivät ole käyttöoikeus. Sallittu polku ei ohita tunnistautumista tai sivuston muita käyttövaatimuksia, eikä julkinen robots-tiedosto suojaa yksityistä sisältöä.