Vai pārsūtošais starpniekserveris piemēro robots.txt pārmeklētājam?
Turiet robots politiku pašā pārmeklētājā un izprotiet tās piemērošanas robežas starpniekserverī.
Ja pārmeklētājam dod HTTP starpniekserveri, mainās tas, kā tā pieprasījumi nonāk vietnē. Tas nepanāk, ka starpniekserveris iegūst robots.txt, izvēlas pārmeklētāja noteikumu grupu vai pieklājīgi plāno tā pieprasījumus.
Robots Exclusion Protocol apraksta noteikumus pārmeklētājiem. Tas ietver saskaņošanu, iegūšanas kļūdas, pāradresācijas un kešatmiņas uzvedību. Starpniekserveris, kas tikai pārsūta pieprasīto dokumentu, šo politiku pārmeklētāja vārdā nav ieviesis.
Turiet noteikumu lēmumu tuvu pārmeklētāja pieprasījumu rindai. Tieši tur pirms darba nosūtīšanas ir pieejama paredzētā identitāte, mērķa URI un plānošanas stāvoklis.
Kāpēc filtrs starpniekservera pusē ir grūtāks, nekā izklausās
Vienkāršam HTTP speciāli būvēts filtrs var redzēt mērķa ceļu un User-Agent. Tomēr tam joprojām vajag īstu noteikumu ieviešanu un noteiktu politiku attiecīgā robots faila iegūšanai, kešošanai un atjaunināšanai. Dažu Disallow rindu pārvēršana statiskos adrešu bloķējumos nav viss protokols.
HTTPS gadījumā caur parastu CONNECT pārsūtošais starpniekserveris redz tuneļa galamērķi, nevis katras šifrētās lapas ceļu un iekšējo User-Agent. Tam trūkst informācijas, kas vajadzīga robots lēmumiem ceļa līmenī, ja vien to nenodrošina cits apzināts risinājums.
Izejas adreses maiņa arī nepārvērš aizliegtu ceļu atļautā. Saskaņojiet tempu starp darbiniekiem, kuri dala pārmeklētāja darbību; maršrutu rotācija neaizstāj šo politiku.
Visbeidzot, robots noteikumi nav piekļuves atļauja. Atļauts ceļš neatsver autentifikāciju vai citas vietnes piekļuves prasības, un publisks robots fails neaizsargā privātu saturu.