Framfylgir framsendingarproxy robots.txt fyrir skriðil?
Haltu robots-stefnunni í skriðlinum og skildu takmörkin á að framfylgja henni í framsendingarproxy.
Að gefa skriðli HTTP-proxy breytir því hvernig beiðnir hans ná til vefsins. Það fær proxyið ekki til að sækja robots.txt, velja regluhóp skriðilsins eða tímasetja beiðnir hans kurteislega.
Robots Exclusion Protocol lýsir reglum fyrir skriðla. Það nær til samsvörunar, villna við sækingu, endurbeininga og hegðunar skyndiminnis. Proxy sem aðeins sendir umbeðið skjal áfram hefur ekki innleitt þá stefnu fyrir hönd skriðilsins.
Haltu regluákvörðuninni nálægt beiðnarröð skriðilsins. Þar eru fyrirhuguð auðkenni, mark-URI og tímasetningarstaða aðgengileg áður en vinna er send.
Hvers vegna sía á proxýhlið er erfiðari en hún hljómar
Fyrir venjulegt HTTP getur sérsmíðuð sía séð markleiðina og User-Agent. Hún þarf samt raunverulega útfærslu reglna og skilgreinda stefnu til að sækja, skyndiminni og uppfæra viðeigandi robots-skrá. Að breyta nokkrum Disallow-línum í kyrrstæðar vefslóðablokkir er ekki allt samskiptaregluverkið.
Fyrir HTTPS í gegnum venjulegt CONNECT sér framsendingarproxyið áfangastað göngunnar en ekki slóð hverrar dulkóðaðrar síðu og innra User-Agent. Það skortir upplýsingarnar sem þarf fyrir robots-ákvarðanir á slóðastigi nema önnur viljandi ráðstöfun veiti þær.
Að skipta um útgangsfang heldur ekki bannaðri slóð verður leyfðri. Samstilltu hraðann milli starfsmanna sem deila virkni skriðilsins; að skiptast á leiðum kemur ekki í stað þeirrar stefnu.
Að lokum eru robots-reglur ekki aðgangsheimild. Leyfð slóð hnekkir ekki auðkenningu né öðrum aðgangskröfum vefsins, og opin robots-skrá tryggir ekki einkainnihald.