Mampiharihary robots.txt ho an'ny crawler ve ny proxy mialoha?
Tehirizo ao anatin'ny crawler ny politikan'ny robots ary fantaro ny fetran'ny fampiharana azy amin'ny proxy.
Ny fanomezana proxy HTTP ho an'ny crawler dia manova ny fomba hahatongavan'ny fangatahany any amin'ny tranokala. Tsy manao anefa izany hoe ny proxy no haka robots.txt na hisafidy ny vondron-dalàna ho an'ny crawler.
Tsara ny mitazona ny didim-pitsarana ao anatin'ny crawler mihitsy. Vakio amin'ny teny anglisy.