Proxy ya liboso etiye robots.txt na mosala mpo na crawler?
Batela politiki ya robots na kati ya crawler mpe yeba ndelo ya kotiya yango na mosala na proxy.
Kopesa crawler proxy ya HTTP ebongisi ndenge basengi na ye ekómaka na site. Kasi esalisi te ete proxy ekamata robots.txt, epona etuluku ya mibeko ya crawler to etanda basengi na ye na bonkembo.
Mibeko ya robots esengeli kovandela na kati ya crawler mpenza. Tángá makambo na Lingelesi.