A yw dirprwy ymlaen yn gorfodi robots.txt ar gyfer cropiwr?
Cadwch y polisi robots yn y cropiwr a deallwch derfynau ei orfodi ar ddirprwy ymlaen.
Mae rhoi dirprwy HTTP i gropiwr yn newid sut mae ei geisiadau'n cyrraedd y wefan. Nid yw'n gwneud i'r dirprwy nôl robots.txt, dewis grŵp rheolau'r cropiwr na threfnu'i geisiadau'n gwrtais.
Mae'r Robots Exclusion Protocol yn disgrifio rheolau i gropwyr. Mae'n cynnwys paru, methiannau nôl, ailgyfeirio ac ymddygiad y storfa. Nid yw dirprwy sy'n syml trosglwyddo'r ddogfen a ofynnwyd wedi gweithredu'r polisi hwnnw ar ran y cropiwr.
Cadwch y penderfyniad rheolau'n agos at giw ceisiadau'r cropiwr. Yno y mae'r hunaniaeth a fwriadwyd, URI y targed a chyflwr y trefnu ar gael cyn anfon gwaith.
Pam mae hidlydd ar ochr y dirprwy'n anoddach nag y mae'n swnio
Ar gyfer HTTP plaen, gall hidlydd a adeiladwyd yn arbennig weld y llwybr targed a'r User-Agent. Mae dal angen gweithrediad rheolau go iawn a pholisi penodol ar gyfer nôl, storio a diweddaru'r ffeil robots berthnasol. Nid yw troi ychydig o linellau Disallow yn flociau cyfeiriadau sefydlog yw'r protocol cyfan.
Ar gyfer HTTPS trwy CONNECT cyffredin, mae'r dirprwy ymlaen yn gweld cyrchfan y tiwnel, nid llwybr pob tudalen wedi'i hamgryptio na'r User-Agent mewnol. Nid oes ganddo'r wybodaeth sydd ei hangen ar gyfer penderfyniadau robots ar lefel llwybr oni bai bod trefniant bwriadol arall yn ei darparu.
Nid yw newid y cyfeiriad allan yn troi llwybr gwaherddiedig yn un a ganiateir chwaith. Cydlynwch y tempo ymysg gweithwyr sy'n rhannu gweithgaredd y cropiwr; nid yw cylchdroi llwybrau'n cymryd lle'r polisi hwnnw.
Yn olaf, nid yw rheolau robots yn awdurdodiad mynediad. Nid yw llwybr a ganiateir yn diystyru dilysu na gofynion mynediad eraill y safle, ac nid yw ffeil robots gyhoeddus yn diogelu cynnwys preifat.