A e zbaton një proxy përpara robots.txt për një crawler?
Mbajeni politikën robots në vetë crawler-in dhe kuptoni kufijtë e zbatimit të saj në një proxy përpara.
T'i japësh një crawleri një proxy HTTP ndryshon mënyrën se si kërkesat e tij arrijnë në faqen e internetit. Nuk bën që proxy-i të marrë robots.txt, të zgjedhë grupin e rregullave të crawler-it ose t'i planifikojë kërkesat e tij me mirësjellje.
Protokolli i Përjashtimit të Robotëve përshkruan rregulla për crawler-ët. Ai përfshin përputhjen, dështimet e marrjes, ridrejtimet dhe sjelljen e cache-s. Një proxy që thjesht përcjell dokumentin e kërkuar nuk e ka zbatuar atë politikë në emër të crawler-it.
Mbajeni vendimin mbi rregullat pranë radhës së kërkesave të crawler-it. Aty janë të disponueshme identiteti i synuar, URI-ja e synuar dhe gjendja e planifikimit para se të dërgohet puna.
Pse një filtër në anën e proxy-t është më i vështirë sesa duket
Për HTTP të thjeshtë, një filtër i ndërtuar posaçërisht mund të shohë shtegun e synuar dhe User-Agent-in. Megjithatë ai ka nevojë për një zbatim të vërtetë të rregullave dhe për një politikë të përcaktuar për marrjen, ruajtjen dhe përditësimin e skedarit robots të zbatueshëm. Shndërrimi i disa rreshtave Disallow në bllokime statike adresash nuk është protokolli i plotë.
Për HTTPS përmes CONNECT-it të zakonshëm, proxy-i përpara sheh destinacionin e tunelit, jo shtegun e çdo faqe të kriptuar dhe User-Agent-in e brendshëm. I mungon informacioni i nevojshëm për vendime robots në nivel shtegu, përveç nëse një rregullim tjetër i qëllimshëm e siguron atë.
Ndryshimi i adresës dalëse gjithashtu nuk e shndërron një shteg të ndaluar në të lejuar. Koordinoni ritmin midis punëtorëve që ndajnë aktivitetin e crawler-it; rrotullimi i rrugëve nuk e zëvendëson atë politikë.
Së fundi, rregullat robots nuk janë autorizim aksesi. Një shteg i lejuar nuk anulon vërtetimin ose kërkesat e tjera të aksesit të faqes, dhe një skedar robots publik nuk mbron përmbajtjen private.