Hanfoarret in trochstjoerproxy robots.txt foar in crawler?
Hâld it robots-belied yn 'e crawler en begryp de grinzen fan it hanfoarjen dêrfan by in trochstjoerproxy.
In crawler in HTTP-proxy jaan feroaret hoe't syn oanfragen de website berikke. It soarget der net foar dat de proxy robots.txt ophellet, de regelgroep fan 'e crawler kiest of syn oanfragen hoflik ynplannt.
It Robots Exclusion Protocol beskriuwt regels foar crawlers. It omfiemet oerienkomst, ophaalflatings, trochferwizings en cache-gedrach. In proxy dy't it oanfrege dokumint gewoan trochstjoert, hat dat belied net út namme fan 'e crawler ymplementearre.
Hâld de regelbeslissing tichtby de oanfragewachtried fan 'e crawler. Dêr binne de bedoelde identiteit, it doeloantsjutting en de plenstatus beskikber foardat wurk ferstjoerd wurdt.
Wêrom't in filter oan 'e proxykant dreger is as it liket
Foar gewoane HTTP kin in spesjaal boud filter it doelpaad en de User-Agent sjen. It hat noch hieltyd in echte regelimplemintaasje en in fêststeld belied nedich foar it opheljen, cache-en en bywurkjen fan it jildende robots-bestân. In pear Disallow-regels omsette yn statyske adresblokken is net it folsleine protokol.
Foar HTTPS fia gewoane CONNECT sjocht de trochstjoerproxy it tunneldoel, net it paad fan elke fersifere side en de ynterne User-Agent. It mist de ynformaasje dy't nedich is foar robots-besluten op paadnivo, útsein as in oare bewuste regeling dy leveret.
It feroarjen fan it útgeande adres makket ek gjin ferbean paad ta in tastien paad. Koördinearje it tempo tusken arbeiders dy't de aktiviteit fan 'e crawler diele; it roulearjen fan rûtes ferfangt dat belied net.
Ta beslút binne robots-regels gjin tagongsrjocht. In tastien paad giet net foarby autentikaasje of oare tagongseasken fan 'e side, en in iepenbier robots-bestân beskermet gjin privee ynhâld.