Pinapatupad ba ng forward proxy ang robots.txt para sa isang crawler?
Panatilihin ang patakaran sa robots sa crawler at unawain ang mga hangganan ng pagpapatupad nito sa isang forwarding proxy.
Ang pagbibigay ng HTTP proxy sa isang crawler ay nagbabago kung paano nararating ng mga kahilingan nito ang website. Gayunman, hindi nito pinapakuha sa proxy ang robots.txt, pumipili ng rule group ng crawler, o nag-iiskedyul ng mga kahilingan nito nang may paggalang.
Inilalarawan ng Robots Exclusion Protocol ang mga tuntunin para sa mga crawler. Saklaw nito ang pagtutugma, mga kabiguan sa pagkuha, mga redirect, at pag-uugali ng cache. Ang proxy na nagpapasa lamang ng hiniling na dokumento ay hindi nagpatupad ng patakarang iyon sa ngalan ng crawler.
Panatilihin ang pagpapasya sa mga tuntunin malapit sa pila ng kahilingan ng crawler. Doon available ang nilalayong pagkakakilanlan, target na URI, at estado ng pag-iiskedyul bago ipadala ang trabaho.
Bakit mas mahirap ang pagsala sa panig ng proxy kaysa sa tunog nito
Para sa simpleng HTTP, ang isang sadyang ginawang filter ay maaaring makita ang target na landas at ang User-Agent. Kailangan pa rin nito ang tunay na implementasyon ng mga tuntunin at isang tinukoy na patakaran para sa pagkuha, pag-cache, at pag-update ng naaangkop na robots file. Ang paggawa ng ilang linya ng Disallow na static na hadlang sa address ay hindi ang buong protocol.
Para sa HTTPS sa pamamagitan ng karaniwang CONNECT, nakikita ng forward proxy ang destinasyon ng tunnel, hindi ang landas ng bawat naka-encrypt na pahina at ang panloob na User-Agent. Kulang ito sa impormasyong kailangan para sa mga desisyon sa robots sa antas ng landas, maliban kung may ibang sinadyang kaayusan na nagbibigay nito.
Ang pagpapalit ng outgoing address ay hindi rin ginagawang pinapayagan ang isang ipinagbabawal na landas. I-coordinate ang bilis sa mga manggagawang nagbabahagi ng aktibidad ng crawler; ang pag-ikot ng mga ruta ay hindi kapalit ng patakarang iyon.
Sa huli, ang mga tuntunin ng robots ay hindi pahintulot sa pag-access. Ang pinapayagang landas ay hindi lumalampas sa pagpapatotoo o iba pang pangangailangan sa pag-access ng site, at ang pampublikong robots file ay hindi nagpoprotekta ng pribadong nilalaman.