Proxy y'imbere ikoresha robots.txt ku crawler?
Guma ufite politike ya robots muri crawler kandi umenye imipaka yo kuyikoresha kuri proxy.
Guha crawler proxy ya HTTP bihindura uko ibisabwa byayo bigera kuri website. Ariko ntibitetse ko proxy izana robots.txt cyangwa igahitamo itsinda ry'amategeko ya crawler.
Amategeko ya robots agomba kuguma muri crawler ubwayo. Soma ikiganiro mu cyongereza.