ئالدىنقى ۋاكالەتچى crawler ئۈچۈن robots.txt نى ئىجرا قىلامدۇ؟
robots سىياسىتىنى crawler نىڭ ئىچىدە ساقلاڭ ۋە ئۇنى ئالدىنقى ۋاكالەتچىدە ئىجرا قىلىشنىڭ چېكىنى چۈشىنىڭ.
crawler غا HTTP ۋاكالەتچى بېرىش ئۇنىڭ تەلەپلىرىنىڭ تور بېكەتكە يېتىپ بارىدىغان ئۇسۇلىنى ئۆزگەرتىدۇ. ئەمما بۇ ۋاكالەتچىنى robots.txt نى ئېلىشقا، crawler نىڭ قائىدە گۇرۇپپىسىنى تاللاشقا ياكى تەلەپلىرىنى ئەدەبلىك پىلانلاشقا مەجبۇرلىمايدۇ.
Robots Exclusion Protocol crawler لار ئۈچۈن قائىدىلەرنى تەسۋىرلەيدۇ. ئۇ ماسلاشتۇرۇش، ئېلىش مەغلۇبىيىتى، قايتا نىشانلاش ۋە غەملەك ھەرىكىتىنى ئۆز ئىچىگە ئالىدۇ. پەقەت تەلەپ قىلىنغان ھۆججەتنى يەتكۈزىدىغان ۋاكالەتچى بۇ سىياسەتنى crawler نىڭ نامىدىن ئىجرا قىلمىغان.
قائىدە قارارىنى crawler نىڭ تەلەپ تىزىمىگە يېقىن تۇتۇڭ. خىزمەت ئەۋەتىلگەنگە قەدەر مەقسەت قىلىنغان كىملىك، نىشان URI ۋە پىلان ھالىتى شۇ يەردە بار.
نېمە ئۈچۈن ۋاكالەتچى تەرەپتىكى سۈزگۈچ ئاڭلىغاندىن تەس
ئادەتتىكى HTTP ئۈچۈن ئالاھىدە قۇرۇلغان سۈزگۈچ نىشان يولى ۋە User-Agent نى كۆرەلەيدۇ. ئەمما ئۇ يەنىلا ھەقىقىي قائىدە ئىجراسى ۋە مۇناسىۋەتلىك robots ھۆججىتىنى ئېلىش، غەملەش ۋە يېڭىلاشنىڭ بەلگىلەنگەن سىياسىتىگە موھتاج. بىر نەچچە Disallow قۇرنى تۇراقلىق ئادرېس توسۇقلىرىغا ئايلاندۇرۇش پۈتۈن پروتوكول ئەمەس.
ئادەتتىكى CONNECT ئارقىلىق HTTPS ئۈچۈن ئالدىنقى ۋاكالەتچى تونېلنىڭ مەنزىلىنى كۆرىدۇ، ھەر بىر شىفىرلانغان بەتنىڭ يولى ۋە ئىچكى User-Agent نى ئەمەس. باشقا بىر قەستەن تەييارلانغان تەدبىر بەرمىسە، يول دەرىجىلىك robots قارارلىرى ئۈچۈن كېرەكلىك ئۇچۇر ئۇنىڭدا يوق.
چىقىش ئادرېسىنى ئۆزگەرتىشمۇ چەكلەنگەن يولنى رۇخسەت قىلىنغان يولغا ئايلاندۇرمايدۇ. crawler نىڭ ھەرىكىتىنى ئورتاقلىشىدىغان خىزمەتچىلەر ئارىسىدا سۈرئەتنى ماسلاشتۇرۇڭ؛ يوللارنى ئايلاندۇرۇش بۇ سىياسەتنىڭ ئورنىنى ئالمايدۇ.
ئاخىرىدا، robots قائىدىلىرى كىرىش ھوقۇقى ئەمەس. رۇخسەت قىلىنغان يول دەلىللەش ياكى تور بېكەتنىڭ باشقا كىرىش تەلەپلىرىنى ئاشمايدۇ، ئاممىۋى robots ھۆججىتى شەخسىي مەزمۇننى قوغدىمايدۇ.