Aurreranzko proxy batek robots.txt betearazten al du crawler baterako?
Eduki robots politika crawlerrean bertan eta ulertu aurreranzko proxy batean betearaztearen mugak.
Crawler bati HTTP proxy bat emateak aldatu egiten du bere eskaerek webgunera iristeko modua. Baina ez dio proxyari robots.txt eskuratzen, ez crawlerraren arau-taldea aukeratzen, ez eta bere eskaerak adeitasunez programatzen ere.
Robots Exclusion Protocol-ek crawlerrentzako arauak deskribatzen ditu. Parekatzea, eskuratze-hutsegiteak, birbideratzeak eta cachearen portaera barne hartzen ditu. Eskatutako dokumentua soilik birbidaltzen duen proxy batek ez du politika hori crawlerraren izenean inplementatu.
Eduki arauen erabakia crawlerraren eskaeren ilararen ondoan. Han daude eskuragarri nahi den identitatea, helburuko URIa eta programazio-egoera lana bidali aurretik.
Zergatik den proxyaren aldeko iragazki bat dirudiena baino zailagoa
HTTP arrunterako, bereziki egindako iragazki batek helburuko bidea eta User-Agent ikus ditzake. Hala ere, arauen benetako inplementazioa eta aplikagarri den robots fitxategia eskuratu, cachean gorde eta eguneratzeko politika zehatza behar ditu. Disallow lerro batzuk helbide-bloke estatiko bihurtzea ez da protokolo osoa.
CONNECT arruntaren bidezko HTTPSan, aurreranzko proxyak tunelaren helmuga ikusten du, ez orri zifratu bakoitzaren bidea eta barneko User-Agent. Bide-mailako robots erabakietarako behar den informaziorik ez du, beste antolamendu deliberatu batek ematen ez badu.
Irteerako helbidea aldatzeak ere ez du debekatutako bidea baimendutako bihurtzen. Koordinatu erritmoa crawlerraren jarduera partekatzen duten langileen artean; ibilbideak txandakatzea ez da politika horren ordezkoa.
Azkenik, robots arauak ez dira sarbide-baimena. Baimendutako bide batek ez du autentifikazioa edo webgunearen beste sarbide-baldintzarik gainditzen, eta robots fitxategi publiko batek ez du eduki pribatua babesten.