Алдыңкы прокси краулер үчүн robots.txt эрежесин аткаратпы?
robots саясатын краулердин өзүндө кармап, аны алдыңкы проксиде аткаруунун чегин түшүнүңүз.
Краулерге HTTP проксисин берүү анын сурамдарынын сайтка жетүү жолун өзгөртөт. Бирок бул проксини robots.txt алып келүүгө, краулердин эрежелер тобун тандоого же сурамдарын сылык пландаштырууга мажбурлабайт.
Robots Exclusion Protocol краулерлер үчүн эрежелерди сүрөттөйт. Ал дал келтирүүнү, алуу ийгиликсиздиктерин, кайра багыттоолорду жана кэш жүрүм-турумун камтыйт. Суралган документти гана өткөрүп берген прокси бул саясатты краулердин атынан ишке ашырган эмес.
Эреже боюнча чечимди краулердин сурам кезегине жакын кармаңыз. Жумуш жөнөтүлгөнгө чейин көздөлгөн инсандык, максаттуу URI жана пландоо абалы ушунда жеткиликтүү.
Эмне үчүн прокси тараптагы чыпка көрүнгөндөн кыйыныраак
Жөнөкөй HTTP үчүн атайын курулган чыпка максаттуу жолду жана User-Agentти көрө алат. Бирок ага эрежелердин чыныгы ишке ашырылышы жана тиешелүү robots файлын алуу, кэштөө жана жаңыртуу боюнча белгиленген саясат керек. Бир нече Disallow саптарын статикалык дарек блокторуна айландыруу толук протокол эмес.
Кадимки CONNECT аркылуу HTTPS үчүн алдыңкы прокси туннелдин багытын көрөт, ар бир шифрленген барактын жолун жана ички User-Agentти эмес. Эгер башка атайын чечим бербесе, жол деңгээлиндеги robots чечимдери үчүн керектүү маалымат ага жетишсиз.
Чыгуучу даректи алмаштыруу да тыюу салынган жолду уруксат берилген жолго айландырбайт. Краулердин аракетин бөлүшкөн жумушчулардын ортосунда ыргакты шайкештириңиз; багыттарды айландыруу ошол саясатты алмаштырбайт.
Акырында, robots эрежелери кирүү уруксаты эмес. Уруксат берилген жол аутентификацияны же сайттын башка кирүү талаптарын жокко чыгарбайт, ал эми ачык robots файлы жеке мазмунду коргобойт.