Ці прымяняе прамы праксі robots.txt для краўлера?
Трымайце палітыку robots у самім краўлеры і разумейце межы яе прымянення на прамым праксі.
Калі даць краўлеру HTTP-праксі, змяняецца тое, як яго запыты дасягаюць сайта. Гэта не прымушае праксі загружаць robots.txt, выбіраць групу правілаў краўлера або ветліва планаваць яго запыты.
Robots Exclusion Protocol апісвае правілы для краўлераў. Ён уключае супастаўленне, збоі загрузкі, перанакіраванні і паводзіны кэша. Праксі, якое проста перадае запытаны дакумент, не рэалізавала гэтую палітыку за краўлер.
Трымайце рашэнне па правілах побач з чаргой запытаў краўлера. Менавіта там да адпраўкі працы даступныя меркаваная ідэнтычнасць, мэтавы адрас і стан планавання.
Чаму фільтр на баку праксі складанейшы, чым здаецца
Для звычайнага HTTP спецыяльна створаны фільтр можа бачыць мэтавы шлях і User-Agent. Але яму ўсё яшчэ патрэбна сапраўдная рэалізацыя правілаў і вызначаная палітыка загрузкі, кэшавання і абнаўлення адпаведнага файла robots. Пераўтварэнне некалькіх радкоў Disallow у статычныя блокі адрасоў — гэта не поўны пратакол.
Для HTTPS праз звычайны CONNECT прамы праксі бачыць прызначэнне тунэля, а не шлях кожнай зашыфраванай старонкі і ўнутраны User-Agent. Яму не хапае звестак для рашэнняў robots на ўзроўні шляху, калі іншая наўмысная схема іх не падасць.
Змена вонкавага адрасу таксама не робіць забаронены шлях дазволеным. Узгадніце тэмп паміж працоўнымі, якія падзяляюць актыўнасць краўлера; ратацыя маршрутаў не замяняе гэтую палітыку.
Нарэшце, правілы robots — гэта не дазвол на доступ. Дазволены шлях не адмяняе аўтэнтыфікацыю ці іншыя патрабаванні сайта да доступу, а публічны файл robots не абараняе прыватны змест.