Proxy bil-quddiem iħaddem robots.txt għal crawler?
Żomm il-politika robots fil-crawler u ifhem il-limiti li tiġi infurzata fi proxy bil-quddiem.
Li tagħti crawler proxy HTTP ibiddel kif it-talbiet tiegħu jaslu fis-sit. Ma jagħmilx il-proxy jieħu robots.txt, jagħżel il-grupp ta' regoli tal-crawler jew jippjana t-talbiet tiegħu bil-kortesija.
Il-Robots Exclusion Protocol jiddeskrivi regoli għall-crawlers. Jinkludi t-tqabbil, il-fallimenti fit-tniżżil, ir-ridirezzjonijiet u l-imġiba tal-cache. Proxy li sempliċement jgħaddi d-dokument mitlub ma implimentax dik il-politika f'isem il-crawler.
Żomm id-deċiżjoni dwar ir-regoli qrib il-kju tat-talbiet tal-crawler. Hemmhekk l-identità maħsuba, l-URI fil-mira u l-istat tal-iskedar ikunu disponibbli qabel ma x-xogħol jintbagħat.
Għaliex filter fuq in-naħa tal-proxy huwa aktar iebes milli jidher
Għal HTTP sempliċi, filter mibni apposta jista' jara l-passaġġ fil-mira u l-User-Agent. Xorta waħda jeħtieġ implimentazzjoni vera tar-regoli u politika definita għat-tniżżil, il-cache u l-aġġornament tal-fajl robots applikabbli. Li tibdel ftit linji Disallow f'blokki ta' indirizzi statiċi mhuwiex il-protokoll kollu.
Għal HTTPS permezz ta' CONNECT ordinarju, il-proxy bil-quddiem jara d-destinazzjoni tal-mina, mhux il-passaġġ ta' kull paġna encryptata u l-User-Agent ta' ġewwa. Jonqsu l-informazzjoni meħtieġa għal deċiżjonijiet robots fil-livell tal-passaġġ, sakemm ma jipprovdix arrangament deliberat ieħor.
It-tibdil tal-indirizz tal-ħruġ lanqas ma jbiddel passaġġ projbit f'wieħed permess. Ikkordina t-temp bejn il-ħaddiema li jaqsmu l-attività tal-crawler; id-dawran tar-rotot mhuwiex sostitut għal dik il-politika.
Fl-aħħar, ir-regoli robots mhumiex awtorizzazzjoni ta' aċċess. Passaġġ permess ma jissuperax l-awtentikazzjoni jew rekwiżiti oħra ta' aċċess tas-sit, u fajl robots pubbliku ma jipproteġix kontenut privat.