¿Huk ñawpaq proxy robots.txt-ta crawler-paq churaykachinchu?
Robots kamachikuyta crawler ukupi waqaychay, hinaspa proxy-pi churakuy sayaykunata yachay.
Crawler-man HTTP proxy quyqa imaynatas mañakuyninkuna webman chayanankupaq hukniraqta ruwan. Ichaqa manam proxy robots.txt apamunanpaq, crawlerpa kamachikuy huñuntapas akllananpaqchu.
Robots kamachikuykunaqa crawler ukupim kanan. Ingles simipi qillqata ñawinchay.