Ðe proxy si le ŋgɔ naa wɔa dɔ le robots.txt ŋu na crawlera?
Ðo robots ƒe sea ɖo le crawlera ŋutɔ me eye nèse egɔmeɖoɖo le proxy ŋu ƒe se nu.
Ne ètsɔ HTTP proxy na crawlera la, eƒe biabiawo ƒe mɔ yi wɛbsaiti la ŋu trɔ. Ke menya be proxy la axe robots.txt o, alo atia crawlera ƒe se ƒe habɔbɔ o.
Ele be robots ƒe sea nanɔ crawlera ŋutɔ me. Xlẽ nuŋlɔɖi la le Eŋlisigbe me.