È in proxy da spedir robots.txt per in crawler?
Tein la politica da robots en il crawler sez e chapescha ils cunfins da l'applicar en in proxy da spedir.
Dar in proxy HTTP ad in crawler mida il die co ses dumondas arrivavan al website. Ma quai na fa betg che il proxy prenda robots.txt, tschernia la gruppa da reglas dal crawler u planifitgia ses dumondas cun curtesia.
Ils reglaments da robots duain restar en il crawler sez. Legia l'artitgel en englais.