Ṣé proxy iwájú ń fi robots.txt ṣiṣẹ́ fún crawler?
Pa ìlànà robots mọ́ nínú crawler fúnra rẹ̀ kí o sì lóye àwọn ààlà fífi í ṣiṣẹ́ ní proxy ìtẹ̀síwájú.
Fífún crawler ní proxy HTTP ń yí ọ̀nà tí àwọn ìbéèrè rẹ̀ ń gbà dé ojúlé wẹ́ẹ̀bù padà. Ṣùgbọ́n kò mú kí proxy gbé robots.txt wá, yan ẹgbẹ́ ìlànà crawler tàbí ṣètò àwọn ìbéèrè rẹ̀ pẹ̀lú ọ̀wọ̀.
Ìlànà Ìyọkúrò fún Àwọn Rọ́bọ́tì ń ṣàpèjúwe àwọn ìlànà fún crawler. Ó ní ìbámu, ìkùnà gbígbé wá, àtúnjúwe àti ìhùwàsí káṣì. Proxy tí ó kàn ń gbé àkọsílẹ̀ tí a béèrè fún kọjá kò tí ì fi ìlànà yẹn ṣiṣẹ́ ní orúkọ crawler.
Pa ìpinnu ìlànà mọ́ sẹ́gbẹ̀ẹ́ ìlà ìbéèrè crawler. Níbẹ̀ ni ìdánimọ̀ tí a ní lọ́kàn, URI àfojúsùn àti ipò ìṣètò wà kí wọ́n tó fi iṣẹ́ ránṣẹ́.
Ìdí tí àṣẹ̀wá ní ẹ̀gbẹ́ proxy fi ṣòro ju bí ó ṣe dàbí
Nínú HTTP tí ó rọrùn, àṣẹ̀wá tí a kọ́ ní pàtàkì lè rí ọ̀nà àfojúsùn àti User-Agent. Síbẹ̀ ó ṣì nílò ìmúṣẹ ìlànà gidi àti ìlànà pàtó fún gbígbé, kíkó sínú káṣì àti ìmúdójúìwọ̀n fáìlì robots tí ó kan. Yíyí àwọn ìlà Disallow díẹ̀ padà sí ìdínà àdírẹ́sì tí kò yí padà kì í ṣe gbogbo ìlànà ìbáraẹnisọ̀rọ̀.
Nínú HTTPS nípasẹ̀ CONNECT déédé, proxy iwájú ń rí ibi tí ọ̀nà abẹ́lẹ̀ ń lọ, kì í ṣe ọ̀nà ojú-ìwé kọ̀ọ̀kan tí a fi àṣírí ṣe àti User-Agent inú. Kò ní ìsọfúnni tí ó nílò fún àwọn ìpinnu robots ní ìpele ọ̀nà, àyàfi tí ìṣètò mìíràn tí a mọ̀ọ́mọ̀ ṣe bá pèsè.
Yíyí àdírẹ́sì ìjáde padà kò tún sọ ọ̀nà tí a kà léèwọ̀ di ọ̀nà tí a gbà. Ṣètò ìyára láàárín àwọn òṣìṣẹ́ tí wọ́n pín iṣẹ́ crawler; yíyí àwọn ọ̀nà kì í rọ́pò ìlànà yẹn.
Níkẹyìn, àwọn ìlànà robots kì í ṣe àṣẹ ìwọlé. Ọ̀nà tí a gbà kò gbá ìjẹ́rìí tàbí àwọn ohun tí ojúlé wẹ́ẹ̀bù nílò fún ìwọlé kọjá, fáìlì robots tí gbogbo ènìyàn lè rí kò sì dáàbò bo àkóónú àṣírí.