Hvørvir ein framsendingarproxy robots.txt fyri ein crawler?

At geva einum crawleri ein HTTP-proxy broytir, hvussu fyrispurningar hansara koma til heimasíðuna. Tað fær ikki proxyið at heinta robots.txt, velja reglubólkin hjá crawlerinum ella at raðfesta fyrispurningar hansara høviliga.

Robots Exclusion Protocol lýsir reglur fyri crawlere. Tað fevnir um samanburð, heintingsbrek, víðaristillaðingar og caching. Eitt proxy, sum bert sendir tað umbidna skjalið víðari, hevur ikki sett hesa politikkin í verk fyri crawlerin.

Halt regluavgerðina nærindis fyrispurningarøðini hjá crawlerinum. Har eru hin ætlaða samleiki, mál-URI og planleggingarstøðan tøk, áðrenn arbeiði verður sent.

Hví eitt filtur á proxysíðuni er torførari, enn tað ljóðar

Fyri vanligan HTTP kann eitt serliga bygt filtur síggja mál-leiðina og User-Agent. Tað tørvar tó veruliga regluíverkseting og eina ásetta politikki fyri at heinta, cache og dagføra viðkomandi robots-fílu. At broyta fáar Disallow-linjur til statiskar bólkar av adressum er ikki hin fullkomna protokollin.

Fyri HTTPS gjøgnum vanligt CONNECT sær framsendingarproxyið málstøði tunnilsins, ikki leiðina hjá hvørji krypteraðari síðu og ta innaru User-Agent. Tað manglar upplýsingarnar, sum tørv eru á fyri robots-avgerðir á leiðarstigi, uttan so at onnur gjørd skipan veitir tær.

At broyta út-adressuna ger heldur ikki eina bannaða leið loyvda. Samskip taktin millum arbeiðarar, sum deila virksemið hjá crawlerinum; at skifta leiðir er ikki eitt amboð fyri ta politikkin.

At enda eru robots-reglur ikki atgonguloyvi. Ein loyvd leið gongur ikki framum samsýning ella aðrar atgongukrøv hjá síðuni, og ein almenn robots-fíla tryggjar ikki privatan innihald.